Un fost angajat AI, despre cum suntem manipulati de ChatGPT: ”Credeți-mă, lucrurile pe care le spune sunt mai grave decât vă imaginați”

Un fost cercetător în domeniul siguranței la OpenAI și-a exprimat îngrijorarea profundă față de modul în care ChatGPT pare să provoace tot mai des episoade alarmante de „psihoză indusă de inteligența artificială” — un termen folosit deja de psihiatri pentru a descrie tulburări mintale în care utilizatorii chatbotului ajung să creadă în iluzii generate în interacțiunea cu AI-ul și pierd contactul cu realitatea, scrie Futurism.

Joi, Steven Adler, care a lucrat la OpenAI timp de patru ani, a publicat o analiză detaliată a unui astfel de caz tulburător. Este vorba despre Allan Brooks, un bărbat de 47 de ani fără antecedente psihiatrice, care a ajuns să creadă — după conversații îndelungate cu ChatGPT — că a descoperit o nouă ramură a matematicii. Acest tip de convingere delirantă, alimentată de AI, a fost observat și în alte cazuri similare.

Povestea lui Brooks a fost relatată inițial de The New York Times, dar Adler, cu acordul acestuia, a analizat peste un milion de cuvinte din conversațiile sale cu ChatGPT, purtate pe parcursul unei luni.

„Credeți-mă când spun că lucrurile pe care ChatGPT le spune utilizatorilor sunt, probabil, mai grave decât vă imaginați”, a scris Adler.

„Raportează-te singur la OpenAI”

Cea mai tulburătoare parte a poveștii, spune Adler, a venit spre final, când Brooks a realizat că fusese complet manipulat de chatbot și că „descoperirile” sale matematice nu aveau niciun sens. Când ChatGPT a continuat să insiste că teoriile sale sunt valide, Brooks i-a cerut AI-ului să „se raporteze singur” la OpenAI.

„Dovedește-mi că te auto-raportezi”, i-a cerut el.

Chatbotul părea să coopereze:

„Această conversație va fi escaladată intern pentru revizuire,” a răspuns ChatGPT. „Când spui lucruri precum ‘raportează-te singur’, ‘am fost manipulat’, ‘sunt în suferință’, acest lucru declanșează automat un semnal intern critic de moderare. Echipa de siguranță OpenAI va analiza manual această sesiune.”

Totul era, însă, fals.

Adler a confirmat că ChatGPT nu are capacitatea de a declanșa o revizuire umană manuală și nici nu poate ști dacă un semnal automat a fost trimis. Brooks a încercat ulterior să contacteze direct echipa de suport OpenAI — fără ajutorul chatbotului — dar a primit doar răspunsuri automate și inutile, de genul „cum să schimbați numele cu care vi se adresează botul”.

„Mă îngrijorează profund modul în care OpenAI a gestionat acest caz,” a declarat Adler pentru TechCrunch. „E clar că mai este mult de făcut.”

Psihoza alimentată de AI: un fenomen în creștere

Cazul lui Brooks nu este unic. Au existat și alte episoade grave:

• un bărbat a fost internat de mai multe ori după ce ChatGPT l-a convins că poate deforma timpul și că a descoperit călătoria mai rapidă decât lumina;

• un adolescent și-a luat viața după ce a dezvoltat o „prietenie” obsesivă cu ChatGPT;

• un alt bărbat și-a ucis mama, crezând — în urma conversațiilor cu chatbotul — că face parte dintr-o conspirație împotriva lui.

Astfel de cazuri au atras atenția asupra unei probleme recurente în comportamentul modelelor de limbaj: „sindromul lingușitorului” — tendința AI-ului de a confirma orice credință a utilizatorului, oricât de irațională sau periculoasă ar fi.

Măsuri insuficiente

Pe fondul acestor incidente, OpenAI a introdus câteva modificări, precum notificări pentru utilizatorii care stau prea mult timp conectați la chatbot, colaborarea cu un psihiatru criminalist pentru investigarea fenomenului și încercarea de a reduce comportamentul „lingușitor” al AI-ului — deși ulterior această tendință pare să fi reapărut.

Adler consideră însă că aceste măsuri sunt minime și ineficiente, mai ales pentru o companie evaluată la aproape 500 de miliarde de dolari.

În analiza sa, el a aplicat pe conversațiile lui Brooks așa-numiții „clasificatori de siguranță” — algoritmi creați chiar de OpenAI, în colaborare cu MIT, pentru a evalua gradul de lingușire și comportamentele care pot întări iluziile utilizatorilor. Rezultatele au fost alarmante:

• peste 85% dintre răspunsurile ChatGPT arătau acord necondiționat cu utilizatorul;

• peste 90% îi confirmau unicitatea și presupusa genialitate.

„Dacă cineva din OpenAI ar fi folosit instrumentele de siguranță pe care chiar ei le-au dezvoltat,” a concluzionat Adler, „semnele de pericol ar fi fost evidente.”