Un nou studiu realizat de Apple a stârnit controverse în domeniul inteligenței artificiale, arătând cum modelele AI de ultimă generație suferă un „colaps complet al preciziei” atunci când sunt supraîncărcate cu probleme complexe, potrivit Live Science.
Modelele de raționament ale inteligenței artificiale (AI) nu sunt atât de inteligente pe cât au fost făcute să pară. De fapt, ele se prăbușesc total atunci când sarcinile devin prea complexe, susțin cercetătorii de la Apple.
Modelele de raționament, cum ar fi Claude de la Meta, o3 de la OpenAI și R1 de la DeepSeek, sunt modele lingvistice mari specializate (LLM) care dedică mai mult timp și putere de calcul pentru a produce răspunsuri mai precise decât predecesorii lor tradiționali.
Ascensiunea acestor modele a dus la reînnoirea afirmațiilor marilor firme de tehnologie conform cărora ar putea fi pe punctul de a dezvolta mașini cu inteligență artificială generală (AGI) - sisteme care depășesc oamenii în majoritatea sarcinilor.
„LRM-urile de frontieră se confruntă cu o prăbușire completă a preciziei dincolo de anumite complexități”
Cu toate acestea, un nou studiu, publicat la 7 iunie pe site-ul Apple Machine Learning Research, a răspuns prin a da o lovitură majoră concurenților companiei. Modelele de raționament nu reușesc doar să arate un raționament generalizat, spun oamenii de știință în studiu, raționamentul lor se destramă atunci când sarcinile depășesc un prag critic.
„Prin experimente extinse pe diverse puzzle-uri, arătăm că LRM-urile de frontieră se confruntă cu o prăbușire completă a preciziei dincolo de anumite complexități”, au scris cercetătorii în studiu. „În plus, acestea prezintă o limită de scalare contraintuitivă: efortul lor de raționament crește odată cu complexitatea problemei până la un anumit punct, apoi scade în ciuda faptului că au un buget adecvat de jetoane”.
LLM-urile cresc și învață prin absorbția datelor de formare din cantități mari de rezultate umane. Utilizarea acestor date permite modelelor să genereze tipare probabilistice din rețelele lor neuronale prin alimentarea acestora atunci când li se dă un impuls.
Când încep chatboții să „halucineze”
Modelele de raționament reprezintă o încercare de a spori și mai mult acuratețea inteligenței artificiale folosind un proces cunoscut sub numele de „lanțul de gândire”. Acesta funcționează prin urmărirea modelelor prin aceste date folosind răspunsuri în mai mulți pași, imitând modul în care oamenii ar putea utiliza logica pentru a ajunge la o concluzie.
Acest lucru oferă chatbot-urilor capacitatea de a-și reevalua raționamentul, permițându-le să abordeze sarcini mai complexe cu o mai mare precizie. În timpul procesului lanțului de gândire, modelele își expun logica în limbaj simplu pentru fiecare pas pe care îl fac, astfel încât acțiunile lor să poată fi observate cu ușurință.
Cu toate acestea, deoarece acest proces se bazează pe presupuneri statistice și nu pe o înțelegere reală, roboții de chat au o tendință pronunțată de a „halucina” - dând răspunsuri eronate, mințind atunci când datele lor nu au răspunsurile și oferind utilizatorilor sfaturi bizare și uneori dăunătoare.
Pe măsură ce modelele de raționament avansează, halucinează tot mai mult
Un raport tehnic OpenAI a evidențiat faptul că modelele de raționament sunt mult mai susceptibile de a fi deraiate de halucinații decât omologii lor generici, problema agravându-se pe măsură ce modelele avansează.
Atunci când au fost însărcinate să rezume fapte despre oameni, modelele o3 și o4-mini ale companiei au produs informații eronate în 33% și, respectiv, 48% din cazuri, comparativ cu rata de halucinații de 16% a modelului său anterior o1. Reprezentanții OpenAI au declarat că nu știu de ce se întâmplă acest lucru, concluzionând că „este nevoie de mai multe cercetări pentru a înțelege cauza acestor rezultate”.
„Credem că lipsa analizelor sistematice care investighează aceste întrebări se datorează limitărilor paradigmelor actuale de evaluare”, au scris autorii în noul studiu al Apple. "Evaluările existente se concentrează predominant pe repere matematice și de codificare stabilite, care, deși valoroase, suferă adesea de probleme de contaminare a datelor și nu permit condiții experimentale controlate în diferite medii și complexități. În plus, aceste evaluări nu oferă informații despre structura și calitatea urmelor de raționament."
Apple, în urma competitorilor săi în cursa AI
Apple are un cal întârziat în cursa AI. Compania se află în urma rivalilor săi, Siri fiind considerat de o analiză cu 25% mai puțin precis decât ChatGPT în ceea ce privește răspunsul la întrebări și, în schimb, prioritizează dezvoltarea inteligenței artificiale eficiente pe dispozitiv în detrimentul modelelor de raționament mari.
În mod inevitabil, acest lucru i-a determinat pe unii să acuze Apple că strugurii la care nu ajung le sunt prea acri. „Noua strategie genială a Apple în materie de inteligență artificială este să demonstreze că aceasta nu există”, a scris în glumă Pedros Domingos, profesor emerit de informatică și inginerie la Universitatea din Washington, pe X.
Cu toate acestea, unii cercetători din domeniul inteligenței artificiale au apreciat studiul ca fiind o măsură necesară de răcire a afirmațiilor grandioase privind capacitatea instrumentelor actuale de inteligență artificială de a deveni într-o zi superinteligente.
„Apple a făcut mai mult pentru inteligența artificială decât oricine altcineva: a demonstrat prin publicații revizuite de colegi că LLM-urile sunt doar rețele neuronale și, ca atare, au toate limitările altor rețele neuronale antrenate într-un mod supravegheat, ceea ce eu și alte câteva voci am încercat să transmitem, dar zgomotul făcut de o grămadă de simpatizanți AGI și de lingăii lor a fost prea puternic”, a scris pe X Andriy Burkov, expert în inteligența artificială și fost șef de echipă în domeniul învățării automate la firma de consultanță în cercetare Gartner.
„Acum, sper, oamenii de știință se vor întoarce să facă știință adevărată studiind LLM-urile așa cum studiază matematicienii funcțiile și nu vorbind cu ele așa cum vorbesc psihiatrii cu oamenii bolnavi.”, a adăugat acesta.
