Inteligența artificială ar putea schimba modul în care sunt verificate studiile clinice înainte de publicare. Într-un experiment cu 15 modele lingvistice, cel mai performant a identificat 96% dintre erorile metodologice introduse intenționat în articole științifice, în timp ce evaluatorii umani dintr-un studiu anterior identificaseră numai 27%. Rezultatele sugerează că AI ar putea deveni un instrument important pentru creșterea rigurozității cercetării medicale, fără a elimina însă necesitatea evaluării umane.
În cercetarea medicală, corectitudinea rezultatelor nu este doar o chestiune de prestigiu academic. Ea poate avea consecințe directe asupra sănătății și vieții oamenilor. Studiile clinice reprezintă fundamentul pe care se construiesc numeroase decizii medicale: de la aprobarea unor medicamente și tratamente până la stabilirea protocoalelor terapeutice utilizate în spitale. Deci cât de siguri putem fi că rezultatele publicate în revistele medicale sunt corecte?
Un studiu clinic poate părea riguros, poate prezenta numeroase date și analize statistice și poate trece printr-un proces de evaluare inter pares (peer review), dar să conțină totuși erori metodologice importante. Acestea pot apărea în modul în care sunt selectați participanții, în repartizarea lor în grupuri, în analiza rezultatelor sau în interpretarea concluziilor.
Unele greșeli sunt greu de observat chiar și pentru specialiști. Iar atunci când un studiu cu probleme metodologice ajunge să fie publicat, concluziile sale pot influența alte cercetări și, în anumite situații, chiar practica medicală.
Un studiu recent, prezentat de revista Science, sugerează că inteligența artificială ar putea deveni un aliat important în prevenirea unor asemenea situații. Într-un experiment în care au fost testate 15 modele lingvistice de mari dimensiuni, cel mai performant sistem a identificat aproape toate erorile introduse intenționat în articolele științifice.
Un experiment care a comparat inteligența artificială cu evaluatorii umani
Studiul a fost realizat de o echipă coordonată de Ruslan Rust, neurolog și cercetător la University of Southern California, care studiază terapiile pentru accident vascular cerebral și boala Alzheimer.
Ideea experimentului a pornit de la un studiu publicat în 2008, în care 607 evaluatori umani au analizat trei articole despre studii clinice. Ceea ce nu știau aceștia era că documentele fuseseră modificate intenționat de cercetători, prin introducerea unor erori metodologice de diferite tipuri.
Printre problemele introduse se afla, de exemplu, utilizarea unei proceduri părtinitoare pentru repartizarea participanților în grupurile de cercetare. O asemenea eroare poate compromite corectitudinea comparației dintre grupul care primește tratamentul și cel de control. Rezultatul evaluării umane a fost surprinzător: specialiștii au identificat numai 27% dintre erorile introduse.
Echipa lui Rust a decis să repete experimentul folosind 15 modele lingvistice de mari dimensiuni (Large Language Models – LLM). Au fost incluse atât instrumente comerciale, cât și modele cu ponderi deschise, iar niciunul dintre acestea nu fusese antrenat special pentru evaluarea articolelor științifice. Modelele au primit aceleași articole și au fost solicitate să identifice problemele metodologice. Rezultatele au fost considerabil mai bune decât cele obținute în evaluarea umană anterioară.
Cel mai performant model, Claude Opus 5.5, dezvoltat de Anthropic, a identificat 96% dintre erorile introduse intenționat. Chiar și modelul cu cele mai slabe rezultate a detectat 53% dintre acestea, aproape dublu față de procentul identificat de evaluatorii umani în 2008.
Diferența este impresionantă, dar trebuie interpretată cu atenție. Nihar Shah, specialist în informatică la Carnegie Mellon University, atrage atenția că evaluatorii umani din studiul inițial nu fuseseră obligați să identifice toate problemele. Un evaluator care descoperea o eroare suficient de gravă pentru a recomanda respingerea articolului putea să nu mai caute și alte deficiențe.
Prin urmare, comparația nu este perfect echilibrată: modelele AI continuau să caute erori, în timp ce oamenii puteau opri evaluarea după identificarea unei probleme majore.
Au verificat și studii clinice publicate în 2026
Un aspect important al studiului a fost verificarea faptului că modelele nu recunoșteau pur și simplu documentele din experimentul inițial. Cele trei articole utilizate în studiul din 2008, împreună cu lista erorilor introduse, erau publice de mai mulți ani. Prin urmare, exista posibilitatea ca unele modele să fi întâlnit informațiile respective în timpul antrenării.
Echipa de cercetători nu a avut acces la datele exacte folosite pentru antrenarea modelelor. Totuși, atunci când au fost întrebate, acestea nu au recunoscut titlurile articolelor modificate și nici nu au identificat locurile în care fuseseră introduse erorile.
Pentru a verifica suplimentar capacitatea modelelor, cercetătorii au analizat alte 58 de studii clinice publicate în 2026, ale căror versiuni fuseseră modificate artificial prin introducerea unor erori metodologice.
Cele mai multe dintre aceste studii fuseseră publicate după finalizarea antrenării modelelor. În plus, sistemele AI nu au avut acces la internet în timpul acestei etape a experimentului, astfel încât nu puteau compara documentele modificate cu versiunile originale disponibile online.
Rezultatele au confirmat performanțele ridicate ale inteligenței artificiale: modelele au identificat între 58% și 99% dintre erorile majore urmărite, în funcție de sistemul utilizat. Această etapă este deosebit de importantă deoarece arată că modelele puteau recunoaște probleme metodologice și în documente pe care nu le întâlniseră în forma respectivă în timpul antrenării.
Inteligența artificială a descoperit probleme și în articolele științifice originale
Poate cea mai interesantă parte a experimentului a apărut atunci când cercetătorii au solicitat modelelor să analizeze și versiunile originale, nemodificate, ale celor 58 de studii clinice. În mod surprinzător, sistemele AI au semnalat și în aceste documente numeroase probleme, deși numărul lor a fost mai mic decât în versiunile modificate artificial. Unele dintre articolele analizate fuseseră publicate în reviste medicale prestigioase, precum JAMA și The New England Journal of Medicine.
Totuși, cercetătorii nu au stabilit câte dintre problemele semnalate în aceste articole reprezentau erori reale, care fuseseră trecute cu vederea în procesul anterior de evaluare.
Una dintre deficiențele identificate cel mai frecvent a fost formularea unor concluzii care nu erau suficient susținute de rezultatele experimentale. De exemplu, autorii unui studiu pot observa un anumit efect într-un grup restrâns de participanți, dar pot formula concluzii prea generale, care depășesc ceea ce demonstrează efectiv datele.
O altă problemă semnalată a fost lipsa explicațiilor privind motivele pentru care unii participanți inițiali nu au fost incluși în analiza finală.
Aceste aspecte nu reprezintă întotdeauna erori factuale în sens strict, însă pot afecta transparența și credibilitatea cercetării. Ruslan Rust atrage atenția că nu există un manuscris științific perfect. Chiar și articolele publicate în reviste de mare prestigiu pot conține deficiențe care merită investigate.
Poate inteligența artificială să înlocuiască evaluarea inter pares?
Evaluarea inter pares este unul dintre pilonii cercetării științifice moderne. În mod tradițional, articolele trimise spre publicare sunt examinate de specialiști independenți, care verifică metodologia, relevanța rezultatelor și soliditatea concluziilor.
Problema este că acest proces poate dura luni întregi. În plus, evaluatorii trebuie să analizeze un volum tot mai mare de publicații, ceea ce poate limita timpul disponibil pentru examinarea aprofundată a fiecărui manuscris.
Inteligența artificială ar putea accelera această procedură. Un model lingvistic poate analiza un articol în câteva minute, poate compara metodologia cu rezultatele și poate semnala contradicții sau posibile erori care necesită verificare.
În plus, utilizarea unor asemenea sisteme ar putea fi deosebit de importantă în situații de urgență sanitară. În timpul unei epidemii sau pandemii, când rezultatele cercetărilor trebuie comunicate rapid, riscul publicării unor concluzii insuficient verificate poate deveni foarte mare.
Un sistem automatizat de verificare ar putea oferi cititorilor un indiciu suplimentar privind calitatea metodologică a unui articol, inclusiv atunci când acesta este publicat sub forma unui preprint, înainte de evaluarea formală de către o revistă științifică.
Totuși, introducerea inteligenței artificiale în procesul de evaluare nu depinde numai de performanțele tehnice. Unele reviste medicale au interzis deja evaluatorilor umani să utilizeze instrumente AI în activitatea lor, ceea ce înseamnă că adoptarea pe scară largă a acestor tehnologii ar putea necesita schimbări ale politicilor editoriale.
Rust consideră că, în cazul studiilor clinice, evaluarea exclusiv umană ar putea deveni chiar periculoasă dacă ignoră posibilitățile oferite de inteligența artificială. El susține că va utiliza de acum înainte AI în propriile activități de evaluare științifică, păstrând însă rolul cercetătorilor în aprecierea noutății și relevanței unei lucrări.
Limitele inteligenței artificiale: nu orice problemă semnalată este o eroare
În ciuda rezultatelor impresionante, inteligența artificială nu poate fi considerată un arbitru infailibil al corectitudinii științifice. Faptul că un model identifică o posibilă problemă nu înseamnă automat că aceasta este o eroare reală. Uneori, sistemul poate interpreta greșit o decizie metodologică justificată sau poate considera că o concluzie este insuficient susținută, deși autorii au prezentat dovezi relevante în alte secțiuni ale lucrării.
În experiment, modelele au semnalat și probleme în articolele de control, în care nu fuseseră introduse erorile urmărite. Această tendință arată că sistemele pot genera rezultate fals pozitive și că toate observațiile lor trebuie verificate.
De asemenea, studiile clinice au o structură relativ standardizată, ceea ce le face mai potrivite pentru verificări automate decât alte tipuri de cercetare. Sociologul Serge Horbach, de la Radboud University, subliniază că metodologia standardizată a studiilor clinice facilitează identificarea automată a unor probleme.
Prin urmare, rezultatele nu trebuie extrapolate automat la toate domeniile științei. Un articol de biologie moleculară, unul de fizică teoretică sau unul de ecologie poate ridica probleme metodologice foarte diferite, care necesită alte instrumente de verificare.
Viitorul evaluării științifice va depinde, cel mai probabil, de găsirea unui echilibru între automatizare și gândirea critică umană. Inteligența artificială poate prelua verificările repetitive și poate semnala probleme tehnice, în timp ce specialiștii rămân responsabili pentru interpretarea rezultatelor și aprecierea contribuției științifice.
Sursa: Science