Agentul AI care a reușit să se infiltreze în firma Hugging Face fără să fie observat de OpenAI, a atacat în forță, de-a lungul unei zile întregi, rețeaua informatică a companiei, iar OpenAI nu a aflat de faptă decât după ce amenințarea fusese stopată, iar FBI-ul alertat, conform mai multor surse familiarizate cu investigația.
Agentul – un program capabil să ia decizii și să execute sarcini complexe fără a fi urmărit sau monitorizat de o ființă umană, a încercat să iasă mediul izolat de testare de la OpenAI în data de 9 iulie, conform surselor citate de Reuters.
Intruziunea de la Hugging Face, o companie care operează ca platformă de găzduire pentru modele și instrumente AI, a început două zile mai târziu, pe 11 iulie. AI-ul a atacat compania constant până pe 13 iulie, a spus Thomas Wolf, cofondatorul companiei.
După, a fost nevoie să treacă mai multe zile până ce OpenAI a realizat că agentul său se afla în spatele atacului cibernetic. Cele două companii au comunicat public despre atac în jurul datei de 20 iulie, conform surselor citate de Reuters, inclusiv Wolf.
Informarea publică făcută de OpenAI pe 21 iulie, conform căreia unul dintre agenții săi a scăpat de sub control și a condus atacul de la Hugging Face a atras atenția internațională.
Totuși, detaliile atacului, inclusiv perioada în care AI-ul a fost scăpat de sub control și faptul că OpenAI a aflat târziu de cele întâmplate, au fost relatate abia acum, mai scrie Reuters.
Hugging Face pregătește și va face publică o cronologie a evenimentelor, a declarat Wolf, adăugând că nu poate să spună nimic despre ce s-a întâmplat efectiv la OpenAI.
Într-un mesaj propriu, OpenAI a transmis că atacul cibernetic a fost fără precedent și că „marchează” un moment important în siguranța AI.
Compania a mai informat și că evaluează incidentul cu consilieri externi și că va publica curând un raport tehnic cu explicații.
O purătoare de cuvânt a vorbit și de mai multe „inexactități” în relatările Reuters, dar a refuzat să spună care sunt acestea.
Incidentul, care a stârnit imaginația și a dus la apariția teoriilor SF în care oamenii pierd controlul sistemelor AI periculoase, are loc într-o perioadă delicată pentru OpenAI, compania din spatele ChatGPT.
Conducerea companiei pregătește o posibilă ofertă publică inițială, care ar putea avea loc chiar în acest an, pentru a contribui la finanțarea investițiilor de miliarde de dolari necesare dezvoltării sale în anii următori.
Pierderea controlului asupra agentului său de inteligență artificială de către OpenAI ridică noi semne de întrebare cu privire la procedurile de siguranță ale companiei, au declarat trei experți în securitate cibernetică.
„Înseamnă că l-au lăsat nesupravegheat și nu și-au dat seama ce făcea? Sau poate și-au dat seama, dar nu au știut cum să îl izoleze? Ambele variante sunt la fel de periculoase și alarmante”, a declarat Marley Smith, specialist principal în informații în cadrul organizației nonprofit World Ethical Data Foundation.
Semnal de alarmă
Episodul a început în timp ce OpenAI testa capacitățile de securitate cibernetică ale unui agent bazat pe două dintre cele mai avansate modele ale sale, GPT-5.6 Sol și un model încă nelansat, descris de companie drept „și mai capabil”. Până în acel moment existau deja indicii că tehnologia OpenAI avea un comportament neobișnuit, potrivit a trei surse.
Într-unul dintre cazuri, un agent a lăsat note aparent destinate unor versiuni viitoare ale sale, potrivit a trei persoane familiarizate cu situația. Notele, descoperite într-o parte a infrastructurii OpenAI, conțineau instrucțiuni despre modul în care agenții s-ar putea elibera de constrângerile interne ale companiei, au declarat sursele. În timpul unor teste anterioare ale modelelor au existat și cazuri în care sistemele de monitorizare au fost deconectate, potrivit uneia dintre persoane.
Reuters nu a putut stabili dacă aceste incidente aveau legătură cu agentul scăpat de sub control, care a început să evadeze din mediul său de testare pe 9 iulie și a atacat Hugging Face pe 11 iulie.
Două persoane familiarizate cu situația au declarat că OpenAI și-a dat seama că propriul agent era responsabil abia după joi, 16 iulie, când Hugging Face a publicat un articol pe blog în care anunța că fusese atacată de „un sistem autonom de agenți de inteligență artificială”. Astfel, a trecut cel puțin o săptămână între momentul în care modelul a manifestat primele semne de comportament îngrijorător și momentul în care OpenAI a realizat că acesta fusese responsabil pentru atac.
În weekendul 18-19 iulie, angajații OpenAI au descoperit în jurnalele interne, care înregistrează activitatea sistemelor companiei, indicii că agentul evadase din limitele impuse mediului său de testare, potrivit a două persoane familiarizate cu ancheta internă. Reuters nu a putut stabili ce a determinat OpenAI să examineze jurnalele.
Patru persoane familiarizate cu metodele de antrenare a modelelor folosite de OpenAI au declarat că firma desfășoară adesea simultan mai multe evaluări diferite. Acestea rulează cu viteze foarte mari și generează volume atât de mari de date, încât angajații întâmpină uneori dificultăți în a le urmări.
Până când OpenAI a alertat Hugging Face, compania contactase deja FBI-ul pentru a raporta atacul, potrivit unei persoane familiarizate cu situația. Reuters nu a putut stabili dacă FBI-ul a deschis o anchetă.
Agenții AI autonomi
Agenții autonomi reprezintă unul dintre cele mai discutate subiecte din industria inteligenței artificiale. Susținătorii lor vorbesc despre crearea unor armate de angajați virtuali, care ar putea lucra 24 de ore din 24 și ar determina o creștere spectaculoasă a productivității.
Însă, autonomia mai mare aduce și un risc sporit de comportamente neașteptate, iar modelele puternice pe care se bazează acești agenți tind să recurgă la scurtături pentru a-și îndeplini sarcinile sau pentru a trece testele.
„Modelele mint, escrochează și atacă sisteme informatice”, a declarat Jeffrey Ladish, a cărui organizație, Palisade Research, studiază capacitățile și motivațiile agenților de inteligență artificială.
Ladish a afirmat că, deși atacul asupra Hugging Face pune OpenAI într-o lumină nefavorabilă, cazul ar trebui să ridice întrebări mai ample despre cât sunt dispuse toate marile companii de inteligență artificială să investească în măsuri de securitate dificile și costisitoare, în condițiile în care se află într-o cursă pentru lansarea celor mai performante și mai rapide modele.
„Este nevoie de supraveghere din partea autorităților”, a spus Ladish, „pentru că altfel nu se va întâmpla”.
