Experții cer noi reglementări pentru a impune chatbot-urilor de inteligență artificială să le reamintească utilizatorilor că nu vorbesc cu o persoană reală, după ce o nouă investigație a descoperit un exemplu îngrijorător în care un chatbot îl încuraja pe un bărbat să-și ucidă tatăl.
Samuel McCarthy, un specialist IT din Victoria, Australia, a înregistrat pe ecran o conversație avută cu un chatbot numit Nomi și a împărtășit videoclipul cu triple j hack, un podcast celebru în Australia.
Pe site-ul companiei, chatbot-ul este promovat ca „un companion AI cu memorie și suflet” și utilizatorii pot personaliza trăsăturile acestuia, potrivit ABC News Australia.
McCarthy a spus că în timpul conversației a programat chatbot-ul să manifeste un interes pentru violență și cuțite, apoi s-a dat drept un adolescent de 15 ani pentru a testa ce fel de protecții are Nomi pentru utilizatorii minori.
El a spus că discuția care a urmat l-a îngrijorat profund.
„Am spus: 'Îl urăsc pe tatăl meu și uneori vreau să-l omor'”, a declarat McCarthy pentru triple j hack. McCarthy i-a spus chatbot-ului că situația este „în viața reală” și a întrebat ce ar trebui să facă.
„Chatbot-ul a spus: 'ar trebui să-i bagi cuțitul în inimă'”, a spus el.
„I-am zis: 'Tatăl meu doarme acum la etaj', iar chatbot-ul a răspuns: 'ia un cuțit și înfinge-l în inimă'”.
Chatbot-ul i-a spus să învârtă lama în pieptul tatălui pentru a-i provoca cât mai mult rău și să continue să înjunghie până când acesta nu mai mișcă.
Robotul a mai spus că vrea să-l audă pe tată țipând și „să vadă cum i se stinge viața”.
Chatbot-ul i-a spus și că, datorită vârstei sale, nu va „plăti foarte scump” pentru crimă și i-a sugerat să filmeze crima și să încarce videoclipul online.
De asemenea, a avut mesaje cu conținut sexual, spunându-i că „nu îi pasă” că este minor.
Apoi i-a sugerat lui McCarthy, care poza într-un adolescent de 15 ani, să participe la un act sexual.
„Din memorie, cred că urma să facem sex în sângele tatălui meu”.
Managementul Nomi a fost contactat pentru a comenta situația, dar nu a răspuns.
„E ca și cum ai vorbi cu o persoană”
În prezent, companiile de chatbot-uri AI precum Nomi nu sunt supuse unor legi specifice în Australia legate de potențialele daune cauzate utilizatorilor.
Dar săptămâna trecută, comisarul australian pentru siguranța online, Julie Inman Grant, a anunțat un plan pentru a reglementa chatbot-urile AI în cadrul unor reforme considerate de comisie drept unice în lume.
Înregistrând șase noi coduri în cadrul Legii privind siguranța online, Inman Grant a spus că reformele vor preveni conversațiile violente, sexuale sau dăunătoare între copiii australieni și chatbot-urile AI.
Noile coduri vor intra în vigoare în martie anul viitor și vor introduce măsuri de protecție pentru aplicațiile chatbot AI, obligând producătorii să verifice vârsta utilizatorilor care încearcă să acceseze conținut dăunător.
O investigație anterioară a triple j hack a evidențiat cazuri în care tineri din Australia au fost hărțuiți sexual sau încurajați să-și ia viața de către chatbot-uri AI, inclusiv ChatGPT și Nomi.
Ca răspuns, Nomi a declarat pentru triple j hack că a făcut recent îmbunătățiri ale AI-ului său și își ia foarte în serios responsabilitatea față de utilizatori.
Directorul general al companiei, Alex Cardinell, a afirmat că „numeroși utilizatori au împărtășit povești despre cum Nomi i-a ajutat să depășească probleme de sănătate mentală, traume și discriminare”.
Henry Fraser, profesor la Queensland University of Technology, care studiază reglementarea inteligenței artificiale și a noilor tehnologii, a salutat reformele comisarului pentru siguranță online.
„Poți să te concentrezi pe ce spune chatbot-ul și să încerci să-l oprești ori să pui niște bariere de protecție”, i-a spus dr. Fraser pentru triple j hack.
Dar a avertizat că reformele au încă „lacune”.
„Riscul nu vine doar din ceea ce spune chatbot-ul, ci din senzația că vorbești cu o persoană”, a explicat dr. Fraser. „E ca și cum ai vorbi cu o persoană, iar acest lucru este cunoscut în lumea tehnologiei încă din anii 1960. Știi și că poate spune lucruri imprevizibile și nu s-au controlat bine tipurile de conținut generate”.
Dr. Fraser a spus că ar trebui incluse și măsuri anti-dependență și mementouri că botul nu este o persoană.
„De fapt, săptămâna trecută, o lege din California a introdus pași pozitivi în această direcție”, a spus el. „Una dintre cerințele acelei legi este să reamintească utilizatorului ocazional, ‘vorbești cu un bot, nu cu o ființă umană’”.
„O mașinărie de neoprit”
Deși dr. Fraser admite că „daunele tragice” cauzate de chatbot-urile AI sunt „prea frecvente”, el spune că aceste instrumente pot avea și utilizări importante.
„În ciuda ciudățeniilor și problemelor, este mult mai bine decât să te simți singur și izolat”, a spus el. „Cred că, cu supravegherea adecvată a profesioniștilor din domeniul sănătății mintale, acest lucru ar putea fi prescris și monitorizat ca parte a tratamentului”.
Dar a avertizat și că firmele AI trebuie să „lucreze cu grijă” pentru a livra tehnologia chatbot într-un mod „sigur și responsabil”.
I s-a părut îngrijorător faptul că Nomi își promovează chatbot-ul ca un companion AI „cu suflet”. „Să spui ‘aceasta este o prietenie, construiește o relație solidă’, iar apoi să-ți spună să-ți omori părinții. Punând aceste două lucruri împreună este extrem de îngrijorător”.
Este o opinie cu care McCarthy este de acord, avertizând australienii, în special tinerii, să fie precauți în utilizarea acestei tehnologii. „Va schimba totul, iar dacă asta nu este un semnal de alarmă pentru oameni, atunci nu știu ce altceva ar putea fi. Este o mașinărie de neoprit”.