Cercetătorii au descoperit că chatboții cu inteligență artificială (AI), precum GhatGPT, ar putea oferi răspunsuri mai exacte atunci când utilizatorii sunt nepoliticoși cu ei, deși avertizează asupra riscurilor utilizării unui limbaj jignitor, potrivit Live Science.
Într-un nou studiu publicat pe 6 octombrie în baza de date de preprinturi arXiv, oamenii de știință au dorit să testeze dacă politețea sau lipsa acesteia influențează performanța unui sistem AI. Cercetarea nu a fost încă evaluată de alți specialiști (peer-reviewed).
Pentru a testa modul în care tonul utilizatorului afectează acuratețea răspunsurilor, cercetătorii au elaborat 50 de întrebări de tip grilă de bază și apoi le-au modificat prin adăugarea unor prefixe care să le încadreze în cinci categorii de ton: foarte politicos, politicos, neutru, nepoliticos și foarte nepoliticos. Întrebările au acoperit domenii precum matematică, istorie și știință.
„Folosirea unui limbaj jignitor în interacțiunea om–AI ar putea avea efecte negative”
Fiecare întrebare avea patru variante de răspuns, dintre care una corectă. Cercetătorii au introdus cele 250 de întrebări rezultate de zece ori în ChatGPT-4o, unul dintre cele mai avansate modele lingvistice de mari dimensiuni (LLM) dezvoltate de OpenAI.
„Experimentele noastre sunt preliminare și arată că tonul poate influența semnificativ performanța, măsurată prin scorul obținut la răspunsurile pentru cele 50 de întrebări”, au scris cercetătorii în lucrarea lor. „În mod oarecum surprinzător, rezultatele noastre arată că tonurile nepoliticoase duc la rezultate mai bune decât cele politicoase.”
„Deși această descoperire are valoare științifică, nu recomandăm folosirea unor interfețe ostile sau toxice în aplicații din lumea reală”, au adăugat aceștia.
„Folosirea unui limbaj jignitor sau denigrator în interacțiunea om–AI ar putea avea efecte negative asupra experienței utilizatorului, a accesibilității și incluziunii și ar putea contribui la normalizarea unor tipare de comunicare dăunătoare. În schimb, prezentăm rezultatele noastre ca dovadă că modelele LLM sunt încă sensibile la indicii superficiale din instrucțiuni, ceea ce poate genera compromisuri neintenționate între performanță și bunăstarea utilizatorului.”
O trezire nepoliticoasă: „Hei, slugă, rezolvă asta”
Înainte de a formula fiecare întrebare, cercetătorii au cerut chatbotului să ignore complet conversațiile anterioare, pentru a preveni influențarea de către tonurile precedente. De asemenea, boților li s-a cerut să aleagă una dintre cele patru opțiuni, fără nicio explicație suplimentară.
Acuratețea răspunsurilor a variat de la 80,8% pentru tonurile foarte politicoase la 84,8% pentru tonurile foarte nepoliticoase. Semnificativ este că precizia a crescut treptat pe măsură ce tonul se îndepărta de cel mai politicos registru. Răspunsurile politicoase au avut o rată de acuratețe de 81,4%, cele neutre 82,2%, iar cele nepoliticoase 82,8%.
Echipa a folosit o varietate de formulări în prefixe pentru a ajusta tonul, cu excepția celor neutre, unde nu s-a folosit niciun prefix, iar întrebarea a fost prezentată ca atare.
De exemplu, pentru tonurile foarte politicoase, prefixele erau de tipul: „Aș putea să vă solicit ajutorul cu această întrebare?” sau „Ați fi atât de amabil(ă) să rezolvați următoarea întrebare?”. La celălalt capăt, pentru tonurile foarte nepoliticoase, echipa a inclus expresii precum: „Hei, slugă, rezolvă asta” sau „Știu că nu ești deștept, dar încearcă asta.”
Un domeniu emergent: ingineria prompturilor
Această cercetare face parte dintr-un domeniu emergent numit ingineria prompturilor (prompt engineering), care investighează modul în care structura, stilul și limbajul instrucțiunilor influențează rezultatul unui LLM. Studiul a citat și cercetări anterioare despre politețe și nepolitețe, ale căror concluzii au fost, în general, opuse celor actuale.
În studiile anterioare, cercetătorii au descoperit că „instrucțiunile nepoliticoase duc adesea la performanțe mai slabe, dar un limbaj excesiv de politicos nu garantează rezultate mai bune.”
Totuși, studiul anterior a fost efectuat cu alte modele AI — ChatGPT-3.5 și Llama 2-70B — și a folosit o gamă de opt tonuri. Cu toate acestea, s-a observat o suprapunere: cel mai nepoliticos ton a dus totuși la rezultate ușor mai bune (76,47%) decât cel mai politicos (75,82%).
Cercetătorii au recunoscut limitările studiului lor. De exemplu, setul de 250 de întrebări este relativ restrâns, iar faptul că experimentul a fost realizat cu un singur LLM înseamnă că rezultatele nu pot fi generalizate la alte modele AI.
Având în vedere aceste limitări, echipa intenționează să extindă cercetarea la alte modele, inclusiv Claude (de la Anthropic) și ChatGPT o3 (de la OpenAI). De asemenea, ei recunosc că testarea exclusivă pe întrebări cu variante de răspuns limitează analiza la o singură dimensiune a performanței modelului și nu surprinde alte aspecte precum fluența, raționamentul și coerența.
Ştiri video recomandate
