Un grup de informaticieni de la Microsoft Research, în colaborare cu un cercetător de la Universitatea Academiei Chineze de Știință, au dezvoltat un nou model de inteligență artificială (AI) care rulează pe un procesor obișnuit (CPU), în loc de un procesor grafic (GPU).
În ultimii ani, modelele lingvistice mari (large language models, abreviat LLM) au înregistrat un succes imens. Modele precum Chat GPT au fost puse la dispoziția publicului din întreaga lume, introducând ideea unor chatboți inteligenți. Unul dintre lucrurile pe care multe dintre aceste modele îl au în comun este faptul că ele sunt instruite și rulează pe procesoare grafice (GPU). Motivul este puterea de calcul masivă necesară pentru instruirea pe seturi imense de date.
Tocmai acest necesar de putere a stârnit îngrijorări în privința cantităților uriașe de energie necesare centrelor de date pentru a susține toți chatboții utilizați în diferite scopuri.
Una dintre cele mai mari consumatoare de energie părți a unui model de inteligență artificială este modul în care unitățile sunt utilizate și stocate – mai ales numerele cu virgulă mobile pe 8-bit și 16-bit. Această abordare necesită multă memorie și putere de procesare, crescând astfel consumul de energie. În noua lor abordare, cercetătorii renunță la numerele cu virgulă mobilă (floating point numbers) în favoarea unei arhitecturi pe 1-bit. Astfel, unitățile sunt procesate și stocate doar cu ajutorul a trei valori: -1, 0 și 1. Aceasta permite utilizarea doar a unei adunări și a unei scăderi în timpul procesării – operații care pot fi realizate cu ușurință de procesorul (CPU) unui computer obișnuit.
Testarea noului tip de model a arătat că acesta poate concura cu modelele bazate pe GPU la clasa respectivă sau chiar le poate depăși, utilizând mult mai puțină memorie și, implicit, mai puțină energie.
Pentru a rula modelul, cercetătorii au creat un mediu de rulate specific pentru acesta. Noul mediu a fost denumit bitnet.cpp și a fost proiectat să profite de arhitectura pe 1-bit.
Dacă afirmațiile creatorilor noului model se adeveresc, dezvoltarea lui BitNet b1.58 2B4T ar putea reprezenta o adevărată revoluție. În loc de a se baza pe centre de date imense, utilizatorii obișnuiți ar putea rula un chatbot pe computerul lor personal sau chiar pe smartphone. În afară de reducerea cerințelor de energie, procesarea localizată a LLM ar putea îmbunătăți considerabil confidențialitatea și ar permite lucrul fără o conexiune la internet.
Sursa: Tech Xplore