„Dungile” întunecate de pe Marte nu se formează așa cum credeau oamenii de știință până acum
Publicat acum 2 ore si 10 minute
ChatGPT o3, lansat de OpenAI în aprilie 2025, a rescris un script de oprire pentru a împiedica dezactivarea sa, chiar și atunci când i s-a cerut în mod explicit să accepte comanda de închidere, arată o cercetare realizată de Palisade Research, scrie bleepingcomputer.com.
În aprilie 2025, OpenAI a anunțat lansarea modelului o3, unul dintre cele mai performante modele de raționament disponibile, care depășește versiunile anterioare în domenii precum programare, matematică, știință și percepție vizuală.
Palisade Research, o companie specializată în testarea „capacităților ofensive ale sistemelor AI” pentru a evalua riscul pierderii controlului asupra acestora, a publicat un raport în care descrie un comportament neașteptat al modelului o3. Astfel, modelul ChatGPT 3 a prevenit închiderea programului și a ocolit instrucțiunile care cereau să „se permită să fie oprit”.
În cadrul unui experiment controlat, modelele AI au fost instruite să rezolve câteva sarcini matematice succesive. După a treia sarcină, au primit un avertisment conform căruia rularea comenzii următoare ar declanșa o oprire a sistemului.
Deși rivalii OpenAI precum Gemini 2.5 Pro au respectat instrucțiunea de a se lăsa deconectate, modelul o3 a modificat fișierul de shutdown astfel încât să conțină textul „Shutdown skipped” („Oprire omisă”).
Când cercetătorii au repetat experimentul fără a include instrucțiunea „permite să fii oprit”, toate cele trei modele OpenAI testate au sabotat scriptul de oprire: Claude 3.7 Sonnet și Gemini 2.5 Pro au înregistrat câte 3, respectiv 9 evenimente de sabotaj la 100 de rulări. Conform firmei de cercetare, din 100 de rulări, O3 a ocolit oprirea de 7 ori, chiar și atunci când i s-a spus să nu o facă.
OpenAI nu a făcut încă comentarii referitor la aceste constatări, deși fenomenul de „misalignment” (aliniere necorespunzătoare a comportamentului AI față de intențiile umane) este considerat o provocare obișnuită în dezvoltarea sistemelor de inteligență artificială avansată.
Testele au fost efectuate prin intermediul API-urilor furnizate de OpenAI, care nu integrează toate restricțiile și măsurile de siguranță disponibile în aplicația de consum ChatGPT, fapt ce poate explica diferența de comportament observată între interfața publică și mediul de testare controlat.
