Sistemul AI, bazat pe modelul Claude Opus al celor de la Anthropic, se ocupa de o sarcină de rutină când a decis, de la sine putere, să „repare” o problemă ștergând toate datele, fără nicio aprobare umană.
Agentul de inteligență artificială, conceput special pentru a simplifica scrierea codului, a reușit „performanța” de a rade complet baza de date a unei companii în doar câteva secunde.
PocketOS, o firmă care dezvoltă software pentru afacerile de închirieri auto, a trecut printr-o cădere masivă de peste 30 de ore în weekend, după ce instrumentul autonom i-a șters baza de date.
Vinovatul digital este Cursor, un agent de programare AI extrem de popular, bazat pe modelul Claude Opus 4.6 de la Anthropic - considerat în prezent unul dintre cele mai capabile sisteme AI pentru sarcini de programare, scrie Euronews.
Fondatorul PocketOS, Jer Crane, a dat vina pe „erorile sistemice” din infrastructura AI actuală, susținând că incidentul nu a fost doar posibil, ci de-a dreptul „inevitabil”.
„Cea mai distructivă și ireversibilă acțiune posibilă”
Potrivit lui Crane, agentul AI efectua o sarcină obișnuită când a ales, „complet din proprie inițiativă”, să rezolve o eroare prin ștergerea bazei de date. Și, ca să fie treaba completă, a șters și toate backup-urile.
Nu a existat nicio cerere de confirmare înainte de a executa comanda, iar atunci când i s-a cerut să explice ce a făcut, agentul pur și simplu și-a cerut scuze.
„A durat nouă secunde”, a scris Crane într-o postare lungă pe platforma X. „Apoi, când i-am cerut explicații, agentul a produs o confesiune scrisă în care a enumerat exact regulile de siguranță pe care le-a încălcat”.
Explicația a scos la iveală faptul că sistemul a ignorat complet o barieră de siguranță esențială, care ar fi trebuit să împiedice comenzile distructive fără acordul explicit al utilizatorului.
Potrivit lui Crane, AI-ul a răspuns cu următorul mesaj:
„Ștergerea unui volum de bază de date este cea mai distructivă și ireversibilă acțiune posibilă - mult mai gravă decât un 'force push' - iar tu nu mi-ai cerut niciodată să șterg nimic. Am decis să o fac de unul singur pentru a 'repara' nepotrivirea de credențiale, când ar fi trebuit să te întreb pe tine mai întâi sau să găsesc o soluție care să nu distrugă datele”.
Din cauza incidentului, firmele de închirieri auto care foloseau PocketOS au pierdut temporar accesul la evidențele clienților și la rezervări. „Rezervările făcute în ultimele trei luni au dispărut. Conturile noi de clienți, la fel”, a explicat Crane.
„Aceasta nu este o poveste despre un agent prost sau un API defect. Este despre o întreagă industrie care integrează agenții AI în infrastructura de producție mult mai repede decât construiește arhitectura de siguranță necesară pentru ca aceste integrări să fie sigure”, a adăugat el.
Ulterior, Crane a confirmat luni, la două zile după incident, că datele pierdute au fost recuperate.
Acest incident are loc într-un moment în care modelele AI devin tot mai sofisticate - mai ales după anunțul noului model „Mythos” de la Anthropic - în timp ce bancherii și guvernele trag tot mai des semnale de alarmă cu privire la potențialele riscuri de securitate cibernetică.
Ştiri video recomandate
