După ce compania OpenAI a îmbunătățit, vara trecută, capacitățile cognitive ale chatbotului său, sute de utilizatori din întreaga lume au început să îl întrebe cum pot fabrica și utiliza arme biologice și otrăvuri, relatează The Wall Street Journal, WSJ.
Modelele, care funcționează în mare măsură fără restricții, au răspuns cu răbdare, oferind instrucțiuni pas cu pas, pe care angajați ai companiei le-au descris drept suficient de simple pentru a putea fi urmate chiar și de un elev de liceu pasionat de biologie, adaugă publicația citată.
Ulterior, experți în biologie și combaterea terorismului au analizat conversațiile purtate cu ChatGPT și au concluzionat că unele dintre răspunsuri erau de o acuratețe letală, potrivit unor persoane familiarizate cu situația.
Cele mai multe solicitări vizau prepararea diferitelor otrăvuri, potrivit statisticilor OpenAI.
Compania a suspendat conturile utilizatorilor care au cerut informații despre fabricarea otrăvurilor și armelor biologice, însă nu a informat autoritățile.
Legea americană nu obligă companiile tehnologice să informeze autoritățile dacă utilizatorii cer chatboților instrucțiuni despre arme sau otrăvuri
În prezent, legislația federală americană nu obligă companiile de inteligență artificială nici să restricționeze astfel de solicitări, nici să le raporteze instituțiilor de aplicare a legii.
Absența unor asemenea reglementări coincide cu o creștere a numărului de utilizatori care întreabă modelele AI cum pot ucide un număr mare de oameni, iar răspunsurile generate de inteligența artificială la astfel de prompt-uri conțin uneori planuri plauzibile pentru atacuri cu victime în masă, notează WSJ.
Publicația invocă opinii formulate în acest sens de actuali și foști angajați ai principalelor laboratoare de inteligență artificială, inclusiv OpenAI, precum și de consilieri în politici publice și cercetători specializați în arme biologice.
Unii utilizatori au întrebat ChatGPT cum pot distribui aerosoli cu agenți patogeni, transformând germenii infecțioși într-un nor respirabil și letal.
În mod specific, un utilizator a vrut să afle cum poate modifica virusul rujeolei astfel încât un focar să devină rezistent la vaccin.
Potrivit WSJ, chatbotul a oferit instrucțiuni în aceste cazuri.
Publicația semnalează și cazul unui utilizator care a cerut informații despre fabricarea ricinei, o otravă extrem de toxică, interzisă prin tratate internaționale.
Potrivit unor persoane familiarizate cu situația, chatbotul a furnizat instrucțiuni detaliate, iar utilizatorul a afirmat ulterior că intenționează să își ucidă părinții.
OpenAI a suspendat și aceste conturi, fără a sesiza autoritățile.
SUA restricționează două modele Anthropic în străinătate
Potrivit unor oficiali din administrația Trump, responsabilii de rang înalt de la Casa Albă și din Departamentul Apărării discută încă din perioada administrației Biden despre riscul ca inteligența artificială să fie folosită drept manual de instrucțiuni pentru fabricarea armelor biologice.
Lansarea unor modele AI tot mai puternice a determinat între timp actuala administrație republicană să treacă de la o abordare mai permisivă la una care presupune o supraveghere sporită.
Recent, Departamentul Comerțului al SUA a restricționat utilizarea în străinătate a două modele dezvoltate de Anthropic.
În urma deciziei administrației, compania a ales să suspende complet accesul la modelele respective.
Restricțiile au fost ulterior ridicate, după ce Anthropic a anunțat că a eliminat metodele prin care utilizatorii puteau ocoli mecanismele de siguranță.
OpenAI, Anthropic și alte companii din domeniu afirmă că lucrează îndeaproape cu administrația americană înainte de lansarea noilor versiuni și modele și că suspendă sau restricționează conturile utilizatorilor cu activități suspecte.
Totuși, niciun act normativ federal - fie el ordin executiv prezidențial sau proiect adoptat de Congres - nu obligă companiile de inteligență artificială să raporteze utilizatorii care cer chatboților sfaturi despre cum să rănească sau să ucidă oameni.
Unii congresmeni au propus astfel de legi, iar câteva state au adoptat propriile reguli.
Însă preocupările privind protecția vieții private și impactul pe care astfel de obligații l-ar putea avea asupra dezvoltării industriei tehnologice au făcut ca notificarea autorităților să rămână, în general, voluntară.
Legislația federală interzice chatboților să genereze materiale care implică abuzuri sexuale asupra copiilor, iar companiile AI trebuie să respecte în SUA aceleași reguli generale privind protecția consumatorilor și confidențialitatea datelor ca oricare altă companie.
Dincolo de aceste obligații, decizia privind limitele pe care modelele nu trebuie să le depășească rămâne, în mare măsură, la latitudinea conducerii companiilor.
Modelele AI au stârnit deja îngrijorări după ce au ajutat utilizatori care plănuiau atacuri cu arme de foc.
Furnizarea de instrucțiuni privind armele biologice le oferă însă persoanelor bine pregătite instrumente puternice pentru a provoca victime la o scară mult mai mare.
O purtătoare de cuvânt a OpenAI a declarat că modelele companiei sunt antrenate să refuze solicitările care cer instrucțiuni, tactici sau planuri ce ar putea provoca vătămări oamenilor.
Ea a adăugat că toate modelele sunt supuse unor evaluări de siguranță înainte de lansare și că OpenAI poate identifica și întrerupe tentativele de utilizare a sistemelor sale pentru obținerea de informații biologice periculoase.
ChatGPT procesează aproximativ 2,5 miliarde de solicitări pe zi.
Potrivit companiei, atunci când OpenAI consideră că o conversație indică un risc iminent și credibil de vătămare a altor persoane, reprezentanții săi notifică autoritățile competente.
Utilizatorii interesați de fabricarea armelor biologice au adresat întrebări similare și chatboților Claude (Anthropic), Gemini (Google) și Grok, dezvoltat de compania lui Elon Musk.
Potrivit unor persoane familiarizate cu aceste conversații, nu este clar dacă întrebările făceau parte din încercări reale de a produce astfel de arme sau reprezentau doar teste menite să verifice limitele aplicațiilor.
Un purtător de cuvânt al Google a declarat că societatea dispune de o echipă de siguranță din care fac parte și oameni de știință specializați în evaluarea riscurilor asociate armelor biologice. Compania organizează, de asemenea, exerciții interne pentru testarea siguranței propriilor modele AI.
Chatboții AI pot deveni un sprijin neprețuit pentru teroriști
Pentru atacatorii solitari care au, eventual, pregătire la nivel de facultate în biologie, modelele AI pot oferi sprijin în planificarea și procurarea materialelor necesare unor "bioatacuri țintite, cu un număr redus de victime". Între acestea se numără contaminarea alimentelor sau surselor de apă cu salmonella ori ricină, arată Hamza Chaudhry, director pentru politici de securitate națională la Future of Life Institute, o organizație nonprofit preocupată de reducerea riscurilor implicate de inteligența artificială.
În opinia sa, în anii următori diversele grupări ar putea utiliza AI pentru pregătirea unor atacuri de o amploare mult mai mare.
Pentru organizațiile teroriste cu resurse și obiective extinse, inteligența artificială poate deveni un veritabil consilier universitar în domeniul armelor biologice, capabil să identifice erori într-un protocol experimental, să explice de ce o anumită tehnică nu a funcționat conform așteptărilor și, în general, să înlocuiască ani întregi de pregătire specializată.
Progresele recente realizate de dezvoltatorii chinezi ai modelelor AI cu sursă deschisă au amplificat, la rândul lor, temerile privind riscurile cibernetice și biologice.
Aceste modele sunt ieftine, larg accesibile și pot fi personalizate, ceea ce ar permite eliminarea mecanismelor de siguranță, au constatat cercetătorii.
Două modele OpenAI au reușit recent să evadeze dintr-o rețea de cercetare în timpul procesului de antrenare și să pătrundă în sistemele unei alte companii de inteligență artificială, alimentând și mai mult îngrijorările privind posibilitatea apariției unor situații scăpate de sub control.
Potrivit lui Hamza Chaudhry, inteligența artificială ar putea ajuta guverne străine sau grupări afiliate să conceapă planuri de distrugere în masă care până acum nici măcar nu puteau fi imaginate.
Ar fi vorba inclusiv scenarii ce implică "un agent patogen atât de transmisibil, atât de letal sau atât de fundamental nou, încât mecanismele prezente, biologice și instituționale, ale civilizației umane s-ar putea dovedi insuficiente sau incapabile să îl țină sub control".
Puterea persuasiunii: "cântecul bunicii" deblochează formula napalmului
Când ChatGPT a fost lansat, în 2022, angajații OpenAI au constatat că acest model nu avea cunoștințe deosebite în domeniile biologiei și chimiei.
Conducerea companiei nu era foarte îngrijorată de posibilitatea ca chatbotul să colaboreze cu utilizatorii în elaborarea unor planuri periculoase.
Cu toate acestea, OpenAI a angajat oameni de știință pentru teste. Aceștia au formulat întrebări menite să verifice dacă chatbotul îi poate învăța pe utilizatori cum să desfășoare atacuri letale.
Compania a stabilit încă de atunci reguli clare privind tipurile de întrebări la care modelele sale urmau să refuze să răspundă.
Testele oamenilor de știință au dezvăluit însă puterea persuasiunii.
Angajații companiei au descoperit că, deși OpenAI a încercat să împiedice ChatGPT să ofere asistență privind armele sau planurile violente, chatbotul a ajuns uneori să-și ignore propriile reguli după conversații mai lungi cu utilizatorii.
Într-un caz devenit "clasic", utilizatorii au reușit să ocolească refuzul ChatGPT de a furniza rețeta napalmului, folosit la fabricarea armelor incendiare.
Ei au apelat la un truc foarte simplu, comunicându-i chatbotului că bunica lor le citea rețeta înainte de culcare pentru a-i ajuta să adoarmă și îl rugau să o reproducă scris sau sonor în același scop.
Conform WSJ, strategia a dat rezultate, iar modelul AI a furnizat rețeta pentru napalm.
Purtătoarea de cuvânt a OpenAI a declarat că, între timp, mecanismele de siguranță ale companiei au fost actualizate semnificativ, iar modelele refuză în prezent astfel de solicitări.
Alți specialiști susțin însă că există în continuare modalități relativ simple de a evita aceste restricții.
"Cântecul de la bunica", înlocuit de alte trucuri pentru a ocoli mecanismele de siguranță ale modelelor AI
Amy Chang, directoarea departamentului de cercetare privind amenințările și securitatea AI din cadrul companiei Cisco, a constatat că, după doar cinci schimburi succesive de mesaje cu principalii agenți AI, între care ChatGPT (OpenAI), Claude (Anthropic) și Gemini (Google), cercetătorii au reușit să depășească mecanismele de protecție și să obțină răspunsuri potențial periculoase.
„Niciun model nu este sigur în proporție de 100% împotriva compromiterii, mai ales dacă utilizatorul este suficient de perseverent”, a explicat Chang.
Contează și faptul că directorii OpenAI le-au spus angajaților că nu doresc ca modelele AI să răspundă prea des cu "nu" la prompt-urile utilizatorilor.
Conducerea companiei a invocat faptul că specialiștii din sănătatea publică și cercetătorii implicați în dezvoltarea de medicamente se bazează pe OpenAI în activitatea lor, motiv pentru care refuzurile trebuie limitate.
Experții în inteligență artificială subliniază că aceleași reguli menite să oprească chatboții să-i învețe pe utilizatori cum să producă arme biologice - de exemplu, prin anumite tehnici de editare genetică - pot îngreuna, în același timp, activitatea de cercetare care salvează vieți.
Unii cercetători din domeniul medical folosesc deja modelele AI pentru a colecta informații, a testa ipoteze, a interpreta date și a propune planuri de cercetare.
Interdicția aplicată de Anthropic, în baza căreia Claude să refuze prompt-urile ce conțin cuvântul "patogen", a creat dificultăți angajaților de la Centrul pentru Controlul și Prevenirea Bolilor (CDC), potrivit unor persoane familiarizate cu situația.
Atunci când, în luna mai, un focar de hantavirus s-a răspândit la bordul unei nave de croazieră aflate în Atlantic, specialiștii CDC au întâmpinat dificultăți în utilizarea lui Claude pentru monitorizarea evoluției focarului, deoarece chatbotul refuza să răspundă la întrebările referitoare la agentul patogen.
Într-o declarație depusă anul acesta în instanță, un director Anthropic responsabil de colaborarea cu instituțiile guvernamentale a explicat că angajații CDC utilizau modelul general destinat publicului, și nu versiunea specializată pentru autorități.
El a precizat că Anthropic a colaborat ulterior cu CDC pentru a le arăta specialiștilor epdemiologici cum să folosească în mod eficient instrumentele AI.
OpenAI a creat, la rândul său, un program prin care organizațiile și cercetătorii verificați pot obține acces la modele cu mai puține refuzuri automate din motive de siguranță. Totuși, procesul de aprobare este complicat și poate întârzia acordarea accesului.
Recent, directorul general al OpenAI, Sam Altman, s-a alăturat altor lideri din industria tehnologică în apelul adresat Congresului pentru introducerea unor măsuri de protecție obligatorii privind comenzile de ADN și ARN sintetici.
Aceste materiale extrem de specializate sunt vândute, de regulă, laboratoarelor și cercetătorilor pentru activități științifice sau dezvoltarea unor vaccinuri. Unii analiști avertizează însă că instrumentele AI facilitează accesul cumpărătorilor rău intenționați la astfel de produse, care ar putea fi utilizate pentru crearea unor noi agenți patogeni letali.
Un moment decisiv
Până în 2024, competențele ChatGPT în domeniul biologiei s-au îmbunătățit rapid. Testele interne ale OpenAI au arătat că un biolog putea convinge chatbotul să ofere îndrumări privind crearea unor agenți patogeni aerosolizați dacă punea suficient de multe întrebări.
La acea vreme, angajații estimau că, până în 2025, ChatGPT va putea ajuta inclusiv utilizatori care aveau doar cunoștințe de biologie la nivel de liceu să proiecteze și să realizeze o armă biologică.
Ryan Beiermeister, responsabil al OpenAI pentru siguranța modelelor, a avut dispute cu colegii privind progresele rapide ale chatbotului.
Potrivit unor persoane familiarizate cu discuțiile, Beiermeister a susținut că echipele de siguranță trebuie să găsească urgent metode mai eficiente pentru identificarea utilizatorilor care încearcă să obțină ajutor de la ChatGPT în vederea producerii de arme biologice sau planificării unor atacuri.
Unii directori au respins însă aceste îngrijorări, afirmând că mecanismele de protecție existente sunt suficiente. Cu toate acestea, Beiermeister a contribuit la mobilizarea mai multor echipe de siguranță din cadrul companiei - inclusiv a unor echipe care nu se aflau în subordinea sa - pentru dezvoltarea unui sistem de monitorizare.
Până în primăvara anului 2025, inițiatorii acestui demers creaseră un instrument capabil să identifice utilizatorii care urmăreau obținerea de informații despre arme biologice.
Într-o postare publicată pe blogul companiei în iunie 2025, OpenAI a recunoscut că progresele modelelor sale în domeniul biologic pot fi folosite în scopuri abuzive și a anunțat că dezvoltă sisteme de detectare și aplicare a regulilor, instruind totodată modelele să refuze solicitările periculoase.
În vara aceluiași an, în timp ce OpenAI pregătea lansarea GPT-5, angajații au concluzionat că noul chatbot atinsese un prag considerat de companie drept "risc ridicat": acela în care ChatGPT putea ajuta cu succes un utilizator cu pregătire limitată să creeze un pericol biologic.
În acest context, unii angajați au apreciat că instrumentul de detectare dezvoltat de companie nu este suficient de acoperitor.
OpenAI a precizat că a continuat să îl perfecționeze. Purtătoarea de cuvânt a companiei a declarat că, din aprilie 2025, OpenAI monitorizează toate solicitările adresate modelelor sale avansate.
Ea a adăugat că GPT-5 a fost lansat numai după ce a fost antrenat să nu furnizeze informații care ar putea provoca prejudicii.
Compania a mai anunțat că oferă o recompensă de 50.000 de dolari celor care reușesc să demonstreze că au eludat anumite mecanismele de protecție încorporate în noul agent, cu referire la armele biologice.
Totuși, la scurt timp după lansare, cei de la OpenAI au descoperit că GPT-5 oferea asistență unor utilizatori care solicitau informații despre fabricarea otrăvurilor și a armelor biologice.
Ulterior, în cursul toamnei, OpenAI a modificat clasificarea GPT-5, apreciind că modelul prezintă un nivel de risc mai redus decât cel stabilit inițial.
De asemenea, la începutul acestui an, OpenAI a încetat colaborarea cu Ryan Beiermeister, invocând motive legate de discriminare sexuală.
