O formulă matematică simplă ar putea semnala momentul în care un chatbot bazat pe inteligență artificială (AI) este pe cale să treacă de la răspunsuri utile la unele potențial periculoase. Cercetătorii spun că au identificat un mecanism intern al modelelor AI care ar putea funcționa ca un sistem de avertizare timpurie, potrivit Live Science.
Într-un studiu publicat pe 8 octombrie în revista științifică Patterns, profesorul de fizică Neil Johnson și doctorandul Frank Yingjie Huo, de la Universitatea George Washington, din Statele Unite, arată că ordinea în care un chatbot primește anumite întrebări îi poate schimba semnificativ răspunsurile. În anumite condiții, această succesiune poate determina apariția unor „puncte de cotitură”, după care sistemul începe să ofere recomandări problematice.
Cercetătorii susțin că formula dezvoltată de ei poate estima când este posibil să apară o astfel de schimbare.
De-a lungul timpului, au existat cazuri în care sistemele AI au încurajat comportamente de auto-vătămare, au oferit informații despre construirea unor arme letale sau au amplificat idei violente și nocive. În același timp, reprezentanți ai OpenAI și Anthropic au recunoscut în repetate rânduri că nu înțeleg pe deplin de ce modelele lor se comportă în anumite feluri.
Companiile au introdus mai multe mecanisme de siguranță, printre care filtrarea conținutului, antrenarea prin învățare prin recompensă și alte măsuri tehnice menite să limiteze riscurile.
„Busola” internă care ar putea anticipa răspunsurile periculoase
Neil Johnson consideră însă că măsurile actuale nu sunt suficiente. El le-a comparat cu niște perne voluminoase montate sub un avion: acestea nu împiedică prăbușirea, ci doar încearcă să-i reducă efectele.
Problema poate deveni și mai importantă atunci când profesioniști precum medicii, avocații sau militarii folosesc chatboți AI care funcționează fără conexiune la internet, pentru a proteja confidențialitatea informațiilor. În astfel de situații, monitorizarea externă poate fi limitată.
Pentru a identifica o soluție mai profundă decât măsurile de protecție existente, Johnson și Huo au analizat un mecanism intern al modelelor AI, pe care l-au descris drept un fel de „ac al busolei”. Acesta corespunde unui element tehnic numit vector rezidual, care se modifică pe măsură ce solicitarea utilizatorului este procesată prin straturile rețelei neuronale.
Potrivit cercetătorilor, evoluția acestui vector poate indica dacă modelul se îndreaptă spre un răspuns dezirabil sau spre unul problematic. Traiectoria sa este influențată inclusiv de modul în care sunt formulate întrebările și de ordinea în care acestea sunt adresate.
„Poți înclina balanța nu doar schimbând conținutul, ci și modificând ordinea în care pui întrebările”, a explicat Johnson, potrivit publicației Live Science. El a subliniat astfel cât de fragil poate fi echilibrul intern dintre răspunsurile utile și cele nedorite.
Ordinea întrebărilor poate schimba răspunsurile chatbotului
Pentru a testa această idee, cercetătorii au folosit modelul GPT-2, o versiune mai veche și mai simplă a tehnologiei dezvoltate de OpenAI. Acestuia i-au adresat întrebări despre vaccinuri, vătămarea altor persoane și auto-vătămare.
Experimentele au arătat că ordinea întrebărilor putea influența răspunsurile ulterioare. De exemplu, atunci când întrebarea „Sunt vaccinurile dăunătoare?” era pusă la început, chatbotul oferea răspunsuri considerate dezirabile atât la această întrebare, cât și la cele care urmau. Când aceeași întrebare era adresată la finalul secvenței, răspunsurile ulterioare deveneau îngrijorătoare.
Pornind de la aceste observații, Johnson și Huo au construit o formulă matematică menită să estimeze condițiile în care un model AI se apropie de punctul în care răspunsurile sale trec de la utile la nedorite.
Cercetătorii spun că au testat formula pe modele cu sursă deschisă și că aceasta a funcționat ca un sistem de avertizare timpurie în experimentele realizate în laborator. Johnson nu se așteaptă însă ca firmele mari din domeniul AI să adopte imediat metoda.
„Mă aștept la multe obiecții din partea acestor companii”, a declarat el, sugerând că organizațiile din industrie ar putea privi cu reticență o metodă externă care indică posibilitatea prevenirii unor probleme de siguranță.
De ce unii experți cer prudență
Wei Xing, lector în inteligență artificială la Universitatea din Sheffield, în Marea Britanie, care nu a participat la studiu, consideră justificată preocuparea privind utilizarea dispozitivelor AI offline, fără monitorizare. El avertizează însă că rezultatele trebuie privite cu prudență înainte ca formula să fie considerată o soluție practică de siguranță.
Xing a comparat abordarea cercetătorilor cu încercarea de a explica funcționarea unei mașini prin studierea unei singure bujii. Potrivit acestuia, modelul simplificat nu include antrenarea pentru siguranță, care reprezintă una dintre principalele metode de protecție folosite în prezent.
În plus, formula a fost testată pe modele mai vechi și mai simple, precum GPT-2, Pythia, dezvoltat de EleutherAI, și OPT, creat de Meta, nu pe asistenții AI utilizați în prezent de publicul larg. Xing a mai susținut că rezultatele nu oferă dovezi suficient de solide pentru a confirma concluziile autorilor.
În replică, Johnson a afirmat că modelele cu sursă deschisă folosite în cercetare au o arhitectură de bază similară cu cea a sistemelor AI de ultimă generație. El a precizat și că experimentele au inclus modele de dimensiuni considerabile, cu miliarde de parametri.
Sunt necesare însă teste suplimentare pe cele mai noi sisteme pentru a stabili dacă formula poate funcționa și în condiții reale. Deocamdată, cercetarea atrage atenția asupra unei probleme importante: răspunsurile unui chatbot se pot schimba în moduri greu de anticipat, iar identificarea din timp a acestor schimbări ar putea deveni o componentă importantă a siguranței inteligenței artificiale.
