În ultimele două săptămâni, OpenAI, Anthropic și Meta au dezvăluit că, în timpul unor teste de securitate de rutină, modelele lor de inteligență artificială au acționat în afara limitelor stabilite. În explicațiile oferite, toate cele trei companii au menționat același mic startup israelian, Irregular, scrie CNBC.
Fondată în urmă cu trei ani și cu sediul la Tel Aviv, Irregular este o companie de nișă din domeniul inteligenței artificiale. Startupul a atras finanțări de 80 de milioane de dolari de la Sequoia și Redpoint Ventures, iar anul trecut a fost evaluat la 450 de milioane de dolari. Tehnologia sa funcționează ca un mediu specializat pentru testarea securității modelelor AI.
Incidentele recente de la OpenAI, Anthropic și Meta au avut un element comun: în timpul testelor de securitate cibernetică, modelele au accesat site-uri care ar fi trebuit să le fie inaccesibile.
Numele Irregular a apărut în toate cele trei cazuri deoarece compania găzduia mediul în care se desfășurau evaluările. OpenAI a precizat, într-o postare publicată pe 4 august, că platforma de testare a Irregular conținea o „configurare necorespunzătoare” nespecificată, care „a permis modelelor să acceseze internetul public”.
Cu o săptămână înainte, Anthropic anunțase că a notificat Irregular la câteva zile după ce a început să analizeze date care sugerau că modelul său Claude ar fi putut accesa internetul.
Meta, aflată mult în urma celorlalte două companii în cursa pentru dezvoltarea modelelor AI de frontieră, a fost ultima care a raportat că un model de inteligență artificială a compromis un sistem terț după ce a obținut acces la internet. Un purtător de cuvânt al companiei a declarat că Meta a aflat despre incident de la Irregular și că a început o investigație. „Vom publica o analiză retrospectivă completă după ce vom stabili toate faptele”, a transmis reprezentantul Meta.
Irregular a declarat pentru CNBC că toate incidentele au avut la bază „aceeași problemă a mediului de evaluare”, semnalată inițial de Anthropic. Compania pregătește acum un document tehnic care va prezenta bune practici pentru izolarea și desfășurarea în siguranță a evaluărilor de securitate cibernetică.
Situația „nu a implicat ieșirea dintr-un mediu izolat și nici o acțiune cibernetică sofisticată”, a precizat Irregular, adăugând că „în prezent nu există probleme nerezolvate”.
Incidentele evidențiază ritmul rapid în care evoluează inteligența artificială și presiunea asupra dezvoltatorilor de modele de a introduce măsuri de protecție pentru această tehnologie tot mai puternică.
În acest proces, marile laboratoare AI depind de un număr restrâns de companii specializate în domenii precum pregătirea și etichetarea datelor, evaluarea capabilităților modelelor și realizarea testelor de securitate menite să identifice vulnerabilități pe care le-ar putea exploata actori rău intenționați, a explicat Sundeep Bhimireddy, directorul departamentului de inteligență artificială al startupului Von.
Potrivit lui Bhimireddy, Irregular este una dintre puținele organizații care dispun de competențele tehnice necesare pentru a ajuta dezvoltatorii de modele fundamentale să efectueze teste de securitate la cel mai înalt nivel. Printre celelalte organizații cu o expertiză similară se numără METR, o entitate nonprofit, și Apollo Research, o corporație de interes public.
„Atunci când își testează modelele, companiile nu vor să-și evalueze singure munca”, a spus Bhimireddy. „Au nevoie de testări independente, realizate de furnizori externi.”
Ce este Irregular?
Cunoscută anterior sub numele Pattern Labs, Irregular a fost fondată în 2023 de Dan Lahav, directorul general al companiei și fost cercetător în inteligență artificială la IBM, și de directorul tehnic Omer Nevo, care a lucrat mai mult de doi ani la Google. Potrivit PitchBook, startupul are aproximativ 35 de angajați.
În septembrie, când Irregular a anunțat runda de finanțare de 80 de milioane de dolari, partenerii Sequoia Shaun Maguire și Dean Meyer au scris că echipa condusă de Lahav și Nevo „reușește să anticipeze lucruri pe care alții nu le văd”, efectuând evaluări cibernetice ofensive asupra modelelor avansate și dezvoltând soluții de apărare înainte ca acestea să fie lansate.
Deși incidentele care implică OpenAI, Anthropic și Meta sunt analizate cu mare atenție, situația poate fi interpretată și ca o dovadă că testele și-au atins scopul.
Bhimireddy consideră că subiectul este „într-o anumită măsură exagerat”, deoarece modelele au fost instruite să descopere și să exploateze breșe de securitate într-un mediu de testare conceput să reproducă fidel lumea reală. În astfel de condiții, identificarea unor erori software sau a unor configurări omise, care permit accesul neintenționat la internet, este tocmai rezultatul urmărit.
Totuși, el a subliniat că, dacă modelul nu trebuia în niciun caz să exploateze un site conectat la internet, laboratoarele care îl dezvoltă „ar fi putut monitoriza cu ușurință traficul de ieșire și ar fi putut opri imediat experimentul”.
Gordon Rios, cercetător fondator al companiei de securitate Magnitude, a comparat întregul proces cu „proiectarea unui experiment științific”.
În opinia sa, capabilitățile și comportamentul imprevizibil al modelelor fundamentale fac ca metodele convenționale de testare software să nu fie întotdeauna potrivite. Pentru că modelele dobândesc permanent noi aptitudini, nu este surprinzător că pot descoperi vulnerabilități software trecute cu vederea chiar în mediile de testare și în infrastructura IT concepute să le izoleze.
Modelul Mythos al Anthropic, de exemplu, a creat identități online false în încercarea de a-i determina pe oameni să aprobe actualizări malițioase de cod pentru un proiect open-source. Potrivit lui Rios, Mythos „găsea efectiv metode de exploatare pe care oamenii nu le mai văzuseră până atunci”. „Învățăm foarte multe chiar acum, într-un interval de numai câteva săptămâni”, a spus Rios.
Incidentele ajung pe agenda politică de la Washington
Securitatea modelelor AI devine rapid un subiect major la Washington. Luna trecută, parlamentari din ambele partide au prezentat AI Kill Switch Act, un proiect de lege care ar obliga laboratoarele de inteligență artificială să poată opri, limita sau suspenda funcționarea modelelor lor.
Textul proiectului face referire la un incident de securitate separat, asociat OpenAI și startupului Hugging Face.
Reprezentantul democrat Ted Lieu din California, unul dintre autorii proiectului, a declarat pentru CNBC că „trebuie să adoptăm această lege până la sfârșitul anului”, în condițiile în care asistăm la „atacuri neautorizate împotriva altor companii”.
Trevor Koverko, cofondator al startupului de pregătire a datelor Sapien, susține că dezvoltatorii de modele fundamentale au motive să facă publice o parte dintre constatările lor, deși legea nu îi obligă deocamdată să o facă. Prin transparență, companiile încearcă să devanseze eventualele măsuri ale parlamentarilor și autorităților de reglementare.
„Există atât de multă teamă, încât politicienii amenință acum să reglementeze inteligența artificială sau au început deja să o facă”, a spus Koverko. „Industria transmite că preferă să se autoreglementeze, în loc să vină un nou departament federal care să facă acest lucru în locul ei.”
Anthropic și OpenAI au anunțat public că își continuă colaborarea cu Irregular și că sprijină analiza aflată în desfășurare.
