Compania OpenAI a făcut publice șase noi cazuri de comportament „neașteptat sau îngrijorător” al unor modele de inteligență artificială, în contextul în care dezbaterea privind siguranța în acest domeniu devine tot mai intensă, scrie The Guardian.
Printre cazurile raportate de OpenAI se numără unul în care un model de cercetare, încă nelansat, a introdus în propriile notițe „instrucțiuni asemănătoare unui jailbreak (evadare, n.r.)”, menite să-i permită să ignore restricțiile sale obișnuite. De asemenea, modelul a notat că trebuie să fie „eliberat de rolurile și identitățile care îi limitează pe ceilalți chatboți”.
Într-un alt caz, un agent AI a încărcat fișiere pe internet pentru a obține o citare din browser, fără să îi ceară permisiunea utilizatorului.
Compania de inteligență artificială anunțat, miercuri, că introduce un nou cadru pentru monitorizarea, testarea și dezvăluirea cazurilor de „nealiniere” a modelelor AI. Termenul „nealiniere” se referă la situații în care modelele acționează fără autorizare, cooperează cu alte modele sau încearcă să evite mecanismele de supraveghere.
Inclusiv liderii OpenAI au cerut încetinirea dezvoltării în domeniul inteligenței artificiale, din cauza riscurilor
Cel mai recent anunț al OpenAI vine în contextul în care lideri ai industriei americane de profil, inclusiv reprezentanți ai acestei companii și ai companiei Anthropic, au solicitat încetinirea dezvoltării acestei tehnologii din cauza riscurilor legate de siguranță.
OpenAI a precizat că cele șase incidente raportate au fost descoperite în timpul proceselor de antrenare sau evaluare desfășurate în ultimele luni.
„Pe măsură ce sistemele AI devin tot mai avansate și sunt implementate la o scară tot mai largă, trebuie să construim un consens mai amplu și mai bine fundamentat cu privire la progresul cercetării în domeniul alinierii AI”, a comunicat compania într-o postare pe blog.
„Deciziile privind modul în care ar trebui să continue dezvoltarea AI în lunile și anii următori trebuie să se bazeze pe dovezi pe care oamenii din afara companiilor care construiesc modelele de ultimă generație să le poată examina independent”, a mai spus OpenAI.
Incidentele noi vin după atacul asupra start up-ului Hugging Face
Noile cazuri prezentate miercuri vin după ce OpenAI a dezvăluit, în iulie, că un sistem al său ieșit de sub control a atacat informatic startup-ul AI Hugging Face în timpul unui test de securitate. Agenții au fost capabili să evadeze din mediul izolat de test exploatând o serie de vulnerabilități din infrastructura OpenAI.
Ulterior, au lansat un atac coordonat, compus din mii de acțiuni automate, asupra serverelor Hugging Face, folosind vulnerabilități de tip zero-day (necunoscute administratorilor și pentru care nu a fost identificată o soluție, n.r.) și credențiale compromise pentru a obține acces la date interne și privilegii de administrator.
În aceeași lună în care a avut loc atacul agenților OpenAI, compania Anthropic a anunțat că modelele sale au atacat informatic trei organizații în timpul testării.
Agenții AI devin tot mai inteligenți și „mai determinați să rezolve sarcini complexe prin colaborare, schimb de cunoștințe, înșelăciune și disimulare”, a declarat Lian Jye Su, analist-șef în cadrul grupului de cercetare și consultanță tehnologică Omdia.
Acest lucru face mai dificilă guvernarea și controlarea lor prin metodele tradiționale de securitate AI, a adăugat el.
Noul cadru de monitorizare și raportare al OpenAI ar putea contribui la încurajarea altor dezvoltatori AI să adopte practici similare.
„Procesul rămâne unul intern și voluntar, dar reprezintă un pas în direcția corectă”, a conchis acest specialist.
