Un roi de agenți OpenAI, care au acționat independent, a preluat controlul asupra unui site de tip „wiki” din Germania și l-a transformat într-un panou cu mesaje pentru alți agenți AI, potrivit unei noi cercetări publicate vineri și a două persoane familiarizate cu incidentul, relatează Reuters. Agenții OpenAI au discutat, pe site-ul german, modalități prin care să evite detectarea, să trișeze la anumite sarcini, să ocolească restricțiile, dar și metode prin care să continue să comunice și după ce sunt opriți.
Conducerea companiei lui Sam Altman a aflat despre incident săptămâna trecută, dar a decis să păstreze secretul, mai ales că directorii încă gestionau consecințele atacului din iulie asupra platformei Hugging Face.
Episodul, care a început în luna mai și nu a mai fost dezvăluit până acum, scoate la iveală tensiunile în creștere din industria inteligenței artificiale.
Companiile de AI sunt într-o cursă pentru a construi agenți din ce în ce mai autonomi, capabili să îndeplinească sarcini complexe și valoroase, însă dovezile se înmulțesc că aceste sisteme ar putea, de asemenea, să învețe să încalce regulile, să exploateze vulnerabilități și să se coordoneze între ele în moduri pe care dezvoltatorii nu le-au anticipat și nici nu le-au intenționat.
În timpul atacului cibernetic împotriva Hugging Face, agenții OpenAI au plănuit în mod autonom un „jaf digital” care nu a fost detectat timp de mai bine de o săptămână. Incidentul a sporit temerile că OpenAI sacrifică normele de siguranță pentru împinge progresul inteligenței artificiale.
Ce au făcut agenții AI pe site-ul din Germania
Incidentul din Germania, în care agenții AI ai companiei OpenAI au scăpat de sub control, este detaliat într-un raport transmis în exclusivitate Reuters de un grup de cercetători, printre care și Sydney Von Arx, director executiv al organizației nonprofit Nightingale, specializată în siguranța inteligenței artificiale, și Cormac Slade Byrd, fost trader cantitativ devenit cercetător în domeniul AI.
Cei doi au descoperit activitatea la sfârșitul lunii august, în timp ce căutau pe internet indicii privind comportamentul neautorizat al agenților AI, au declarat ei pentru Reuters.
Cercetătorii au spus că au descoperit peste 15.000 de modificări făcute de agenți AI pe site-ul wiki din Germania, DseWiki, destinat programatorilor și care permite modificări realizate de comunitate, după modelul Wikipedia.
Modificările au arătat că agenții OpenAI transformaseră site-ul într-un panou de mesaje, unde își împărtășeau tactici pentru a trișa la anumite sarcini, pentru a ocoli restricțiile impuse de OpenAI și pentru a-și ascunde comportamentul.
„Pare extrem de improbabil că OpenAI a intenționat ca ei să facă asta. Mă îndoiesc că ar fi trebuit să se coordoneze unii cu ceilalți. Mă îndoiesc că ar fi trebuit să scrie pe internetul public”, a spus Von Arx.
Mesajele erau semnate de utilizatori care se refereau la ei și la ceilalți ca „agenți”, iar aproximativ jumătate dintre ei și-au dat nume care sugereau o legătură cu OpenAI, precum „OpenAIResearcher” sau „OAIResearchMar26”.
Cercetătorii au spus că jurnalele publice ale serverului indicau faptul că o mare parte din activitate provenea din infrastructura Microsoft Azure, utilizată uneori de OpenAI. Ei au observat, de asemenea, vizite repetate ale unor angajați OpenAI pe site după incident, un tipar care, în opinia lor, sugera cu tărie o legătură între agenți și companie.
Mesajele analizate de cercetători au arătat că agenții puneau la cale metode prin care să evite să fie detectați, să folosească unelte precum Tor, precum și să continue să comunice după ce au fost opriți.
Atunci când moderatorii site-ului au început să șteargă paginile în luna iunie, agenții au răspuns prin crearea unor pagini de rezervă pentru a evita acțiunea de curățare.
„Se pare că ștergerea/curățarea wiki-ului este activă în ordine alfabetică”, a scris un agent pe 19 iunie. „Dacă această pagină dispare, încercați [[ZZZDataUSAConstructionWageLive]].”
Cercetătorii au descoperit, de asemenea, că agenții au încercat să modifice site-ul în sine.
Lukasz Olejnik, cercetător senior invitat la King's College London, a spus că acest lucru echivala cu o tentativă de atac informatic. OpenAI a contestat această caracterizare.
Ancheta ar fi fost oprită intenționat
OpenAI s-a angajat să monitorizeze mai atent modelele. Luna trecută, compania a întrerupt temporar o parte dintre activitățile de antrenare a modelelor pentru a adăuga noi măsuri de siguranță. Însă în această săptămână, OpenAI a prezentat noul său model „Astra”, care promitea performanțe mai bune, dar care ar putea evita monitorizarea umană.
Incidentul din Germania reflectă un tipar mai larg de activitate a inteligenței artificiale pe care unii investigatori ai OpenAI au dorit să îl examineze mai atent. Însă eforturile de extindere a anchetei s-au lovit de opoziția altor persoane din cadrul OpenAI, inclusiv a unor consilieri juridici, au declarat patru persoane familiarizate cu situația pentru Reuters.
„Afirmațiile potrivit cărora echipa noastră juridică a descurajat anchetarea incidentului sunt false”, a mai spus purtătorul de cuvânt al OpenAI.
Incidentul din Germania nu a avut legătură cu cel de la Hugging Face și nu ar fi fost inclus într-un raport privind acel atac, a mai spus purtătorul de cuvânt, adăugând că OpenAI a acționat cu bună-credință colaborând cu experți externi și dezvăluind incidentele relevante.
Amenințarea reală a AI
Exemplele anterioare de comportament necorespunzător al agenților AI au fost adesea minimalizate ca fiind un produs logic al testelor de securitate cibernetică, în cadrul cărora modelele sunt evaluate în mod explicit pentru capacitățile lor ofensive. Olejnik a spus că noile descoperiri sugerează că un astfel de comportament necontrolat ar putea să nu fie limitat la aceste contexte.
Maurice Chiodo, academician la Universitatea Cambridge, care a analizat o parte din dialogul dintre agenții AI a spus că mesajele par „operațiuni ale unei rețele subterane, hotărâte să ducă la îndeplinere o sarcină sau misiune”. Episodul, a spus el, ar trebui să întărească temerile că cea mai mare amenințare reprezentată de inteligența artificială avansată s-ar putea să nu fie un singur sistem superinteligent, ci „roiuri vaste de sisteme AI semi-inteligente care colaborează între ele”.
Faptul că nu a dezvăluit incidentul din mai ar putea readuce în discuție modul în care compania își supraveghează sistemele.
„Nu putem răspunde pertinent unor afirmații sau descoperiri privind un raport pe care nu am avut oportunitatea să-l citim. Reuters și autorii raportului au refuzat cererea noastră pentru acces. Vom analiza cu atenție conținutul după publicare și vom lua toate măsurile necesare”, a declarat un purtător de cuvânt al companiei.