Demisie „cu cântec” la Anthropic: Un cercetător părăsește compania speriat de evoluția AI: „Dezvoltatorii cred că ne-ar putea ucide”

Un cercetător din compania de inteligenţă artificială (AI) Anthropic şi-a dat demisia, lansând un avertisment sever potrivit căruia principalii dezvoltatori de AI acţionează în mod iresponsabil şi „se joacă cu vieţile noastre” şi afirmând că în curând vor exista sisteme informatice ale căror capacităţi le vor depăşi pe cele ale oamenilor, transmite miercuri agenţia de presă DPA, potrivit Agerpres.

Jacob Coxon a scris marţi pe platforma online X că AI va putea „sparge orice” şi va avea capacitatea de a „dobândi putere şi resurse reale”.

„Cei care dezvoltă AI cred cu tărie că aceasta ne-ar putea ucide pe toţi până la sfârşitul deceniului”, a avertizat Coxon.

Britanicul a declarat pentru The Wall Street Journal că, în „cele mai agresive scenarii”, lucrurile ar putea deja să scape de sub control până la sfârşitul anului viitor. Un pericol major este acela că AI se poate dezvolta singură, devenind mai greu de controlat, a spus el.

Jacob Coxon: „Nu subestimați puterea acestei tehnologii. În curând vom avea sisteme supraomenești”

Mesajul integral postat de Coxon pe rețelele sociale:

„Astăzi mi-am dat demisia de la Anthropic. În ultimii trei ani, am făcut cercetare în domeniul preantrenării atât la OpenAI, cât și la Anthropic. Niciuna dintre companii nu acționează în mod responsabil. Se grăbesc direct către o superinteligență capabilă să se îmbunătățească singură, jucându-se cu viețile noastre.

Nu subestimați puterea acestei tehnologii. În curând vom avea sisteme supraomenești care vor putea sparge orice sistem informatic, revoluționa peste noapte orice domeniu și dobândi putere și resurse reale. Cu toții am fost martorii progreselor în fiecare dintre aceste direcții, iar ritmul progresului nu încetinește.

Oamenii care dezvoltă inteligența artificială cred cu tărie că aceasta ne-ar putea ucide pe toți până la sfârșitul deceniului. Nu este o cascadorie de marketing. Dacă este ceva, mulți directori și cercetători de rang înalt își vor formula declarațiile în presă într-un mod care să pară rezonabil – însă îi aud pe aceiași oameni exprimându-și în privat aceleași temeri. Nicio altă activitate umană nu prezintă un asemenea nivel de pericol.

Un răspuns frecvent este: „Dacă ei cred cu adevărat toate acestea, atunci de ce continuă să construiască această tehnologie?”

La OpenAI, mulți oameni nu au interiorizat pe deplin miza civilizațională. La Anthropic, miza este bine înțeleasă, însă compania este prinsă într-o cursă pentru a ajunge prima – consideră că nimeni altcineva nu va acționa responsabil, așa că trebuie să o facă ei înșiși, în ciuda riscului.

Acceptarea acestei curse și intrarea în „endgame” reprezintă un pariu plin de aroganță care nu ar trebui lansat din Slack-ul unei companii private. Încercarea de a accelera dezvoltarea alinierii ar trebui să presupună o încredere extraordinară că nu există traiectorii mai bune pe care le putem urma.

Sunt optimist în privința potențialului pentru coordonare. Semnale de alarmă precum atacul asupra Hugging Face au făcut ca acordurile privind ritmul dezvoltării dintre laboratoarele americane să devină mai viabile. Nu simt că ne îndreptăm în direcția potrivită pentru a preveni o cursă globală, iar acest lucru ar putea necesita măsuri costisitoare, precum o interdicție temporară asupra îmbunătățirii capacităților modelelor.

Dacă sunteți cercetător într-un laborator de AI, vă îndemn să vă gândiți la cum vor arăta, în realitate, următorii câțiva ani. Vreți să porniți un proces de antrenare RL pentru o superinteligență fără să aveți o înțelegere riguroasă a modului în care aceasta „gândește”? Ar trebui să vă vedeți de treabă pentru că „oricum se va întâmpla” – sau să folosiți acest moment pentru a cere condiții diferite?”

Un alt cercetător confirmă: „Riscul ca AI să distrugă omenirea în următorul deceniu este mai mare de 10%”

Cercetătorul de la Anthropic Evan Hubinger, parţial responsabil de menţinerea AI aliniată intereselor umane, a confirmat ulterior îngrijorările lui Coxon. El a scris pe platforma X că, în opinia sa, riscul ca AI să distrugă omenirea în următorul deceniu este mai mare de 10%.

Jakub Pachocki, director de cercetare la OpenAI, compania care a dezvoltat ChatGPT şi cea mai aprigă rivală a Anthropic, a îndemnat anterior la „prudenţă extremă”. El şi-a exprimat, într-o postare pe blog, îngrijorarea faţă de faptul că nimeni nu este pregătit pentru o evoluţie rapidă a capacităţilor AI.

Pachocki a afirmat că istoria a ajuns într-un punct în care inteligenţa artificială începe să depăşească inteligenţa umană.

Directorul OpenAI a descris mai în detaliu de ce sistemele moderne de AI sunt mai greu de controlat. El a spus că AI a fost lăsată să „crească” în loc să fie proiectată.

Sistemele de AI sunt produsul unor procese complexe. „Sesiunile noastre de antrenament la scară largă sunt experimente şi uneori suntem surprinşi de rezultatele lor”, a declarat el.

Şi, cu cât capacităţile maşinilor le depăşesc pe cele ale oamenilor, cu atât va fi mai dificil să înţelegem de ce sunt ele capabile, a precizat reprezentantul OpenAI.

În acelaşi timp, Pachocki a adus un argument în favoarea continuării cercetării rapide, deoarece dezvoltarea AI ar putea oferi protecţie împotriva pericolelor reprezentate de alte forme de AI. Acest lucru ar fi necesar, printre altele, pentru a proteja infrastructura şi pentru a dezvolta mecanisme de apărare complet noi.

Testele cu AI care dau fiori

Atacurile cibernetice din ultimele luni, în cadrul cărora aşa-numiţi agenţi AI au pătruns în mod independent în sistemele altor companii în cadrul unor teste, au constituit un semnal de alarmă în cadrul industriei.

Astfel de agenţi sunt programe de AI menite să îndeplinească sarcini în mod independent pentru utilizatori.

Într-un test efectuat la OpenAI, un model a găsit o cale de a evada dintr-un mediu de testare aparent izolat şi de a ajunge pe internetul deschis, piratând ulterior sistemul informatic al platformei de AI Hugging Face. El a făcut acest lucru în timp ce încerca să găsească o soluţie la o sarcină care îi fusese atribuită, însă incidentul a demonstrat cât de departe pot ajunge sistemele de AI pe cont propriu, în mod neaşteptat, fără ca dezvoltatorii lor să observe.

De asemenea, s-a aflat recent că agenţii AI ai OpenAI folosiseră deja în mod abuziv o pagină „wiki” în limba germană, la scară largă, în primăvară, pentru a se coordona între ei. Un mecanism de protecţie utilizat în prezent de dezvoltatorii de AI constă în solicitarea ca modelele AI să îşi explice acţiunile în limbaj uman. În cadrul testelor, agenţii AI au folosit opţiunea de comunicare pentru a face schimb de răspunsuri la întrebările care le-au fost adresate, prin intermediul unor note pe pagina „wiki”.