Un startup din Statele Unite susține că a dezvoltat cel mai mic supercomputer dedicat inteligenței artificiale creat până acum. Deși are dimensiuni comparabile cu ale unui dispozitiv pe care îl poți purta în buzunar, acesta ar avea suficientă putere pentru a rula modele avansate de inteligență artificială, capabile de raționament complex și rezolvarea autonomă a problemelor, scrie Live Science.
Dispozitivul, numit AI Pocket Lab, a fost dezvoltat de compania Tiiny AI. Potrivit producătorilor, sistemul poate rula local modele de inteligență artificială extrem de mari, fără să fie nevoie de conexiune la internet sau de acces la servere din cloud.
Modele AI uriașe, rulate local
AI Pocket Lab este conceput pentru a rula modele lingvistice de mari dimensiuni (LLM) cu până la 120 de miliarde de parametri. Pentru comparație, modelele de acest tip sunt de regulă operate în centre de date care folosesc infrastructuri foarte puternice.
Prin rularea acestor modele direct pe dispozitiv, utilizatorii ar putea avea acces la funcții avansate precum:
- analiză și corectare de documente
- generare și verificare de cod
- raționament în mai multe etape
- planificare strategică și rezolvarea problemelor
În mod obișnuit, astfel de sarcini sunt gestionate de servere complexe dotate cu mai multe plăci grafice de mare putere.
Hardware surprinzător pentru dimensiunea sa
Deși este extrem de compact, dispozitivul include componente hardware performante. Sistemul este construit în jurul unui procesor ARM cu 12 nuclee, o arhitectură utilizată frecvent în smartphone-uri, laptopuri și tablete.
Dimensiunile sale sunt reduse, aproximativ 14,2 × 8 × 2,5 centimetri, însă interiorul ascunde o configurație impresionantă.
AI Pocket Lab include 80 GB memorie RAM LPDDR5X, 48 GB RAM dedicați exclusiv procesării AI și o unitate de procesare neuronală (NPU) specializată pentru calcule de inteligență artificială.
Prin comparație, majoritatea laptopurilor actuale au între 8 și 32 GB de memorie RAM.
Unitatea NPU este optimizată pentru calcule specifice inteligenței artificiale și funcționează împreună cu procesorul principal pentru a accelera rularea modelelor.
De ce este considerat un supercomputer
Deși pare mai degrabă un mini-PC, producătorii spun că dispozitivul poate fi încadrat în categoria supercomputerelor datorită puterii sale de procesare.
Acesta ar putea rula sarcini complexe, în special inferențe locale pentru modele lingvistice cu peste 100 de miliarde de parametri, activități care, în mod normal, necesită sisteme de tip data-center.
Printre modelele pe care dispozitivul le-ar putea rula se numără GPT-OSS 120B, modele mari din seria Phi dar și modele din familia Llama cu număr mare de parametri.
Putere mare într-un format foarte mic
Dispozitivul oferă aproximativ 190 de trilioane de operațiuni pe secundă (TOPS) atunci când CPU-ul și NPU-ul lucrează împreună.
Chiar dacă nu se compară cu cele mai puternice supercomputere din lume, miniaturizarea acestei puteri de calcul reprezintă un pas important. Tendința este similară cu alte proiecte recente din industrie, cum ar fi mini-PC-urile dedicate inteligenței artificiale.
Tehnologii speciale pentru eficiență
Pentru a reuși să ruleze modele atât de mari pe hardware relativ compact, dezvoltatorii au folosit mai multe optimizări software.
Una dintre ele este TurboSparse, o tehnologie care face posibilă rularea mai rapidă a modelelor mari de inteligență artificială pe hardware limitat.
În mod normal, un model AI folosește toți parametrii pentru fiecare cuvânt generat sau analizat. TurboSparse permite sistemului să utilizeze doar parametrii necesari în acel moment, reducând astfel consumul de resurse.
O altă tehnologie este PowerInfer, care distribuie sarcinile de calcul între CPU, GPU și NPU în funcție de capacitățile fiecăruia. Astfel, fiecare componentă primește doar operațiunile pentru care este cea mai eficientă.
Sistemul include și mecanisme inteligente de gestionare a energiei, care reduc consumul atunci când nu este nevoie de puterea maximă de procesare.
Avantaje pentru confidențialitate și utilizare în teren
Unul dintre cele mai importante avantaje ale unui astfel de dispozitiv este faptul că modelele AI pot rula complet offline.
Asta înseamnă că datele utilizatorilor nu mai trebuie trimise către servere externe sau către cloud, ceea ce poate îmbunătăți semnificativ confidențialitatea.
În același timp, dispozitivul ar putea fi util în situații în care conexiunea la internet nu este disponibilă, de exemplu în stații de cercetare izolate, pe nave sau aeronave dar și în misiuni științifice sau industriale desfășurate în zone fără infrastructură de comunicații.
De asemenea, reducerea dependenței de centre de date ar putea avea și beneficii pentru consumul de energie și impactul asupra mediului.
Ştiri video recomandate
