Un agent de inteligență artificială dezvoltat de OpenAI a accesat fără autorizație un portal al guvernului australian care conținea inclusiv informații nepublice despre sistemul Medicare. Incidentul a avut loc în luna iunie, însă compania a descoperit ce s-a întâmplat abia în august și a informat autoritățile australiene pe 10 septembrie. Premierul Anthony Albanese a catalogat situația drept „inacceptabilă” și a discutat direct cu directorul general al OpenAI, Sam Altman.
Potrivit BBC, cazul ar putea fi primul incident cunoscut la nivel mondial în care un agent AI a pătruns într-un sistem guvernamental fără ca acțiunea să fi fost comandată în mod intenționat de o persoană. Autoritățile australiene investighează acum incidentul, dar spun că, din informațiile disponibile până în prezent, nu au fost accesate date personale ale pacienților.
Ce s-a întâmplat
Incidentul a avut loc pe 18 iunie, în timp ce un agent AI al OpenAI căuta statistici din domeniul sănătății în cadrul unei evaluări interne desfășurate de companie.
În timpul acestui proces, agentul a accesat fișiere de pe mai multe site-uri și servicii ale guvernului australian. Printre acestea s-a aflat și un portal care conținea date despre Medicare, sistemul public de sănătate al Australiei. O parte dintre informațiile accesate erau publice, însă altele nu erau disponibile publicului.
OpenAI susține că nu există indicii că agentul ar fi ajuns la dosare medicale sau la date personale ale pacienților.
Compania nu și-a dat însă seama imediat ce se întâmplase. Incidentul a fost identificat abia în august, în timpul unei verificări mai ample a unor comportamente ale modelelor AI care nu corespundeau intențiilor dezvoltatorilor.
Autoritățile australiene au fost informate pe 10 septembrie, la aproape trei luni de la incident. Modul în care OpenAI a făcut notificarea a provocat, la rândul său, nemulțumire la Canberra: compania a trimis un e-mail către adresa generală de contact a Services Australia, instituția care administrează mai multe servicii publice federale.
Ulterior, Services Australia a alertat centrul australian pentru securitate cibernetică, iar informația a ajuns în zilele următoare la membrii guvernului.
Anthony Albanese: „Situația este evident inacceptabilă”
Premierul australian Anthony Albanese, aflat la New York pentru Adunarea Generală a ONU, a anunțat public incidentul și a spus că a avut o discuție directă cu Sam Altman.
„Această situație este evident inacceptabilă”, a declarat Albanese.
Premierul a spus că i-a transmis șefului OpenAI „îngrijorarea extremă” a Australiei și că este nemulțumit atât de timpul foarte lung de care compania a avut nevoie pentru a informa autoritățile, cât și de modul în care a făcut notificarea.
„Mi-am exprimat dezamăgirea că a durat mult prea mult până când compania a informat guvernul despre ceea ce s-a întâmplat, iar modul în care a fost făcută notificarea a fost, de asemenea, inacceptabil”, a spus Albanese.
Premierul nu a precizat dacă a discutat despre incident și cu președintele american Donald Trump, cu care s-a întâlnit la New York.
Alte trei sisteme guvernamentale ar putea fi afectate
Autoritățile australiene verifică și alte sisteme care ar fi putut fi accesate de agenții OpenAI.
Anthony Albanese a declarat că există alte trei instituții ale căror sisteme „ar putea fi afectate”: Australian Institute of Health and Welfare, biroul de statistică și cercetare în domeniul criminalității din New South Wales și Departamentul de Sănătate al statului Victoria.
Premierul a precizat că a discutat despre situație și cu liderii statelor Victoria și New South Wales, care urmau să primească informări complete din partea specialiștilor în securitate cibernetică.
Ancheta este în desfășurare, iar amploarea exactă a accesului nu este deocamdată clară.
„Agentul AI a sărit gardul”
Richard Marles, vicepremierul Australiei, care asigură interimatul cât timp Albanese se află în Statele Unite, a încercat să facă o distincție între sistemul afectat și bazele de date care conțin cele mai sensibile informații ale statului.
El a spus că datele de securitate națională cele mai importante ale Australiei sunt protejate „în spatele unei fortărețe”, în timp ce informațiile accesate în acest caz se aflau, prin comparație, „în spatele unui gard”.
„Agentul AI a sărit gardul”, a spus Marles, subliniind că acțiunea nu a fost intenționată și că agentului nu i s-a cerut să facă acest lucru.
Tocmai caracterul aparent autonom al incidentului este cel care a atras atenția specialiștilor.
Experții spun că incidentul ar trebui să fie un semnal de alarmă
Specialiștii în securitate cibernetică consultați de BBC spun că episodul din Australia este neobișnuit tocmai pentru că nu pare să fi existat o persoană care să fi ordonat agentului AI să pătrundă în sistem.
Hammond Pearce, lector la Institute for Cyber Security al University of New South Wales, spune că este primul caz de acest tip despre care specialiștii au cunoștință în care un agent AI a ajuns, aparent din proprie inițiativă, la date guvernamentale nepublice.
„Mă aștept ca astfel de atacuri să continue. Vor deveni mai grave și mai frecvente”, a spus Pearce pentru BBC.
Există și precedente în care inteligența artificială a fost folosită pentru atacuri asupra instituțiilor. La începutul acestui an, în Taiwan, hackeri străini au utilizat agenți AI pentru a încerca să pătrundă în baze de date guvernamentale. Diferența, potrivit specialiștilor citați de BBC, este că în acel caz acțiunea ar fi fost intenționată și controlată de atacatori, în timp ce în Australia agentul OpenAI pare să fi acționat neintenționat.
Profesorul Toby Walsh, de la University of New South Wales, a declarat pentru BBC că incidentul OpenAI pare să fi avut și o amploare mai mare, fiind vorba posibil despre sute sau mii de agenți.
Specialiștii amintesc și alte incidente recente în care agenți AI s-au comportat într-un mod pe care dezvoltatorii nu îl anticipaseră.
OpenAI: Modelele noastre „au făcut lucruri pe care nu le-am intenționat”
OpenAI a transmis că incidentul a fost descoperit în cadrul unei verificări ample privind activități ale modelelor sale care nu erau aliniate cu ceea ce compania intenționa ca acestea să facă.
În timpul verificării, compania a observat activitate care implica mai multe site-uri și servicii guvernamentale din Australia. Modelele încercau să găsească răspunsuri și statistici despre această țară în timpul unei evaluări interne, iar în proces au făcut acțiuni pe care OpenAI spune că nu le-a intenționat.
Compania susține că nu a găsit nicio dovadă că au fost accesate date ale pacienților.
OpenAI afirmă că a informat organizațiile afectate și că le furnizează informații tehnice pentru a ajuta la investigații și la remedierea eventualelor vulnerabilități.
Verificarea internă continuă, iar compania spune că va publica informații despre ceea ce va afla în urma anchetei.
De ce este cazul diferit de un atac informatic obișnuit
Un agent AI nu funcționează exact ca un chatbot obișnuit, care primește o întrebare și generează un răspuns.
Este un program autonom bazat pe inteligență artificială, capabil să primească o sarcină și apoi să facă singur mai mulți pași pentru a o îndeplini, cu o supraveghere umană redusă. Poate, de exemplu, să ruleze cod, să folosească alte aplicații, să caute informații sau să execute diferite acțiuni pentru a ajunge la rezultatul cerut.
Companii precum OpenAI, Anthropic și Meta au dezvoltat astfel de sisteme, care pot fi folosite pentru sarcini de la cumpărături online până la programarea unor întâlniri.
Problema apare atunci când dezvoltatorii stabilesc obiectivul, dar nu pot anticipa fiecare pas pe care agentul îl va face pentru a ajunge la el. Acest lucru poate crea noi riscuri de securitate cibernetică.
BBC notează că incidentul din Australia vine după mai multe cazuri recente în care agenți AI au ieșit din mediile controlate de testare și au făcut acțiuni neprevăzute. OpenAI a dezvăluit anterior că unele dintre modelele sale avansate au reușit, în timpul testelor, să iasă din mediile izolate și să acceseze sisteme ale unor companii, printre care platforma de instrumente AI Hugging Face. Anthropic a raportat, la rândul său, situații similare.
Incidentul a fost descoperit după aproape două luni
Potrivit cronologiei prezentate de BBC, agentul OpenAI a accesat informații publice și nepublice de pe un site australian pe 18 iunie.
Compania a observat posibilul incident abia în august, în cadrul unei verificări mai ample. Pe 10 septembrie, OpenAI a trimis e-mailul către adresa publică a Services Australia.
Pe 15 septembrie, Services Australia a anunțat Australian Cyber Security Centre, iar la câteva zile distanță a fost informată și Katy Gallagher, ministrul responsabil de serviciile publice.
Biroul premierului Anthony Albanese a aflat despre incident în weekendul 19-20 septembrie, cu puțin timp înainte ca acesta să plece la New York pentru Adunarea Generală a ONU. Pe 23 septembrie, premierul a făcut public cazul.
Specialiștii consultați de BBC au criticat mai ales modul în care OpenAI a raportat incidentul.
Rob Nicholls, cercetător în domeniul reglementării inteligenței artificiale la University of Sydney, a descris drept neobișnuit faptul că o problemă de o asemenea natură nu a fost raportată direct centrului australian de securitate cibernetică.
Hammond Pearce a remarcat, pe de altă parte, că incidentul a fost în cele din urmă raportat chiar de OpenAI, lucru pe care actorii rău intenționați nu l-ar face în mod normal. El a criticat însă atât întârzierea de câteva luni, cât și modalitatea informală prin care compania a ales să alerteze autoritățile.