Rezumat
Context: Deciziile privind siguranța și eficacitatea suplimentelor alimentare, a alimentelor destinate unor scopuri medicale speciale și a ingredientelor noi depind din ce în ce mai mult de seturi de dovezi mari și eterogene: studii randomizate, cohorte observaționale, toxicologie animală, lucrări mecanistice in vitro și avize de reglementare. Învățarea automată și modelele lingvistice mari (LLM) promit să scurteze etapele cele mai lente ale sintezei dovezilor, însă evaluările publicate arată că fiabilitatea acestora variază considerabil între sarcini.
Obiectiv: Descrierea unui cadru cu om-în-buclă (human-in-the-loop) în care instrumentele de IA accelerează regăsirea, deduplicarea, prioritizarea și extragerea preliminară a datelor, în timp ce fiecare decizie de incluziune, evaluare a riscului de bias, cotă de certitudine și concluzie rămâne în sarcina unui evaluator uman desemnat și calificat.
Metode: Revizuire narativă și metodologică a standardelor de raportare și evaluare (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, abordarea OHAT și orientările EFSA privind metodologia de revizuire sistematică pentru siguranța alimentară și a hranei pentru animale), a evaluărilor publicate privind învățarea automată și modelele LLM în sarcinile de revizuire sistematică, precum și a obligațiilor din Regulamentul (UE) 2024/1689 (Regulamentul privind inteligența artificială) relevante pentru activitatea științifică asistată de IA.
Concluzii: Dovezile susțin utilizarea IA ca accelerator pentru căutare, prioritizarea screeningului și extragerea preliminară, nu ca recenzor autonom. Rezultatele necontrolate ale modelelor LLM pot conține referințe fabricate și decizii de screening nesigure. Un flux de lucru defensiv înregistrează în prealabil protocolul, consemnează fiecare etapă asistată de IA, verifică fiecare citare în raport cu un registru bibliografic, verifică fiecare număr în raport cu textul sursă și menține judecata științifică finală în responsabilitatea experților abilitați.
1. Introducere
Un dosar de produs pentru un supliment alimentar sau un produs de nutriție medicală este la fel de puternic precum analiza dovezilor care stă la baza acestuia. Autoritățile de reglementare, clinicienii și proprietarii de mărci trebuie să știe nu doar ce a descoperit un studiu, ci și cum au fost găsite studiile, de ce unele au fost excluse și cât de încrezător este evaluatorul în corpul general de dovezi. Metodologia de revizuire sistematică răspunde la aceste întrebări printr-o secvență transparentă și reproductibilă: o întrebare și un protocol pre-specificate, o căutare documentată, screening independent, extragere structurată a datelor, evaluare a riscului de bias și o declarație gradată de certitudine.
În domeniul siguranței alimentelor și a hranei pentru animale, Autoritatea Europeană pentru Siguranța Alimentară a publicat orientări privind aplicarea acestei metodologii la întrebările de evaluare a riscurilor încă din 2010 [10]. În sănătatea de mediu și toxicologie, abordarea OHAT a Programului Național de Toxicologie a extins revizuirea sistematică la integrarea dovezilor umane, animale și mecanistice pentru identificarea pericolelor [6]. Aceste cadre sunt exigente: o singură revizuire poate implica mii de înregistrări și săptămâni de muncă a experților.
Instrumentele de învățare automată pentru căutare, screening și extragere s-au maturizat în ultimul deceniu [15, 16], iar modelele LLM cu scop general sunt acum utilizate pe scară largă. Întrebarea pentru orice organizație care produce dosare științifice nu mai este, prin urmare, dacă să utilizeze sau nu IA, ci unde rezultatele generate de IA pot fi de încredere, unde trebuie verificate și unde judecata umană nu poate fi delegată.
2. Standarde de raportare și evaluare care nu se schimbă odată cu apariția IA
2.1 Întrebare, protocol și căutare
O revizuire începe cu o întrebare structurată. Pentru intervenții, aceasta este de obicei PICO (populație, intervenție, comparator, rezultat); pentru întrebările de siguranță și expunere, cadrul PECO (populație, expunere, comparator, rezultat) este mai potrivit, deoarece acomodează expuneri care nu sunt alese de participant și comparații între nivelurile de expunere [9]. Protocolul trebuie redactat înainte de începerea screeningului și raportat în conformitate cu PRISMA-P, o listă de verificare cu 17 elemente [3].
Căutarea trebuie să fie reproductibilă. PRISMA-S adaugă 16 elemente de raportare specifice căutărilor de literatură, inclusiv bazele de date și platformele utilizate, șirurile de căutare complete, limitele, data ultimei căutări și metoda de deduplicare [2]. Aceste elemente se aplică indiferent dacă o interogare a fost concepută de o persoană sau sugerată de un instrument de IA: șirul de căutare final, așa cum a fost executat, este cel care trebuie raportat.
2.2 Selecție, extragere și raportare
PRISMA 2020 oferă o listă de verificare cu 27 de elemente și o diagramă flux care ține cont de fiecare înregistrare, de la identificare până la incluziune [1]. Practica convențională este reprezentată de screeningul dublu independent realizat de doi evaluatori. O revizuire sistematică metodologică care a comparat screeningul unic cu cel dublu a constatat o mediană de 5% din studiile relevante ratate prin screeningul unic (interval 0–58%), crescând la o mediană de 13% pentru evaluatorii mai puțin experimentați [11]. Concordanța dintre evaluatori este cuantificată în mod obișnuit cu ajutorul coeficientului kappa al lui Cohen [17] și interpretată pe escala Landis și Koch, pe care valorile de 0,61–0,80 indică o concordanță substanțială, iar cele de 0,81–1,00 o concordanță aproape perfectă [18].
2.3 Riscul de bias și certitudinea
Fiecare studiu inclus este evaluat cu un instrument adecvat designului: RoB 2 pentru studiile randomizate, structurat în cinci domenii de bias [4], și ROBINS-I pentru studiile non-randomizate privind intervențiile, structurat în șapte domenii [5]. Revizuirile sistematice existente utilizate ca dovezi pot fi evaluate cu ajutorul AMSTAR 2 [8].
Certitudinea corpului de dovezi pentru fiecare rezultat este apoi evaluată cu ajutorul GRADE, care ia în considerare riscul de bias, inconsecvența, indirectness, imprecizia și biasul de publicare, permițând majorarea cotei pentru efecte mari, gradiente doză-răspuns și factori de confuzie reziduali care ar reduce efectul observat [7]. Abordarea OHAT adaptează această logică la dovezile de mediu și toxicologice și traduce cotele de încredere în niveluri de dovezi pentru un efect asupra sănătății, integrând fluxurile de date umane și animale [6].
Niciuna dintre aceste etape nu reprezintă o sarcină pur administrativă. Decizia dacă o populație studiată este suficient de apropiată de populația țintă, dacă o doză este comparabilă sau dacă un factor de confuzie este suficient de grav pentru a reduce certitudinea necesită expertiză în domeniu și responsabilitate.
3. Ce spun dovezile despre IA în revizuirile sistematice
3.1 Unde ajută învățarea automată
Marshall și Wallace au analizat metodele de învățare automată propuse pentru căutare, screening și extragerea datelor și au concluzionat că mai multe dintre acestea sunt pregătite pentru utilizare practică, cu condiția ca echipa de revizuire să le înțeleagă punctele forte și modurile de eșec [15]. Instrumentele de învățare activă, care reordonează înregistrările neevaluate pe măsură ce evaluatorii le etichetează, permit echipelor să găsească studii relevante mai devreme în procesul de screening; sunt disponibile cadre open-source și transparente de acest tip [16]. Utilizat în acest mod, omul ia în continuare fiecare decizie de incluziune; mașina modifică doar ordinea în care sunt vizualizate înregistrările.
Pentru extragerea preliminară a datelor, un studiu de „proof-of-concept” a constatat că un model LLM a extras 160 de elemente de date predefinite din 10 studii randomizate cu acces deschis, cu o acuratețe globală de 96,3%; majoritatea celor șase erori ale sale au reprezentat elemente omise [12]. Autorii au încadrat acest lucru ca potențial de eficiență, bazat pe un eșantion mic de conveniență, și nu ca pe o înlocuire a extracției umane.
3.2 Unde eșuează IA necontrolată
Performanța screeningului este mai puțin liniștitoare. O evaluare preînregistrată a unui model LLM de uz general care a lucrat în regim „human-out-of-the-loop” a constatat că acuratețea aparentă a fost inflaționată de acordul întâmplător și de dezechilibrul setului de date. După ajustare, performanța screeningului a variat de la nulă în seturile de date echilibrate până la moderată în cele dezechilibrate, iar performanța extragerii datelor a fost moderată. Autorii au concluzionat că este necesară o precauție substanțială [13].
Generarea de referințe este cel mai grav mod de eșec. Atunci când modelelor LLM li s-a cerut să reproducă listele de referințe a 11 revizuiri sistematice publicate, ratele de halucinație (referințe cu cel puțin două elemente greșite între titlu, prim autor sau an) au fost de 39,6%, 28,6% și respectiv 91,4% pentru cele trei modele testate, iar precizia a fost de cel mult 13.4% [14]. Un dosar care citează o lucrare inexistentă își pierde credibilitatea în fața autorităților de reglementare și a clinicienilor, indiferent de calitatea restului lucrării.
3.3 Implicații
Modelul este consecvent. IA este utilă atunci când propune și omul dispune: înregistrări candidate, o ordine de screening, un tabel de extracție preliminar. Este nesigură atunci când rezultatul său este acceptat fără verificare. Prin urmare, întrebarea de design este cum să facem ca fiecare contribuție a IA să fie verificabilă, înregistrată și asumată de o persoană.
4. Un flux de lucru cu omul în buclă
Fluxul de lucru de mai jos stabilește principiile de proiectare cu omul în buclă pe care Olympia Biosciences le utilizează atunci când planifică revizuiri ale dovezilor pentru dezvoltarea de suplimente, nutraceutice și produse de nutriție medicală. Atunci când o revizuire este condusă și raportată ca fiind sistematică, fiecare etapă asistată de IA este așteptată să genereze artefactul listat, pe care un om îl verifică și îl aprobă înainte ca următoarea etapă să înceapă.
- Întrebare și protocol
Contribuție asistată de IA: Sugerează sinonime, liste de rezultate și elemente PECO/PICO candidate
Responsabilitate umană: Stabilește întrebarea, criteriile de eligibilitate și planul de analiză înainte de screening
Artefact de verificare: Protocol raportat conform PRISMA-P [3]
- Căutare
Contribuție asistată de IA: Propune variante de șiruri de căutare și înregistrări candidate din căutarea semantică
Responsabilitate umană: Aprobă șirurile finale; le rulează și le documentează în baze de date bibliografice
Artefact de verificare: Înregistrare de căutare PRISMA-S [2]
- Deduplicare și prioritizare
Contribuție asistată de IA: Grupează duplicatele; clasifică înregistrările în funcție de relevanța previzionată [16]
Responsabilitate umană: Confirmă fuziunile; verifică prin screening fiecare înregistrare care determină incluziunea
Artefact de verificare: Diagramă flux PRISMA 2020 [1]
- Screening
Contribuție asistată de IA: Semnalează potențialele incluziuni și excluderi ca o a doua opinie
Responsabilitate umană: Efectuează și înregistrează fiecare decizie de incluziune/excludere însoțită de motive; soluționează conflictele
Artefact de verificare: Jurnal de decizii; acord între evaluatori (kappa) [17, 18]
- Extragerea datelor
Contribuție asistată de IA: Redactează tabelele de extracție pe baza textelor integrale [12]
Responsabilitate umană: Verifică fiecare număr extras în raport cu textul sursă
Artefact de verificare: Tabel de extracție cu ancore de pagină/figură
- Riscul de bias și certitudinea
Contribuție asistată de IA: Niciuna delegată
Responsabilitate umană: Aplică RoB 2, ROBINS-I, AMSTAR 2, GRADE sau OHAT [4–8]
Artefact de verificare: Tabele de evaluare semnate
- Integritatea citării
Contribuție asistată de IA: Colectează identificatori
Responsabilitate umană: Soluționează fiecare DOI într-un registru bibliografic și confirmă titlul, autorii și anul
Artefact de verificare: Registru de verificare a citărilor
- Concluzii
Contribuție asistată de IA: Redactează rezumate pe înțelesul publicului larg
Responsabilitate umană: Scrie și semnează concluzia, incluzând lacunele explicite în materie de dovezi
Artefact de verificare: Autor desemnat și responsabil
Trei reguli fac ca fluxul de lucru să fie defensiv:
- Fără dovezi fabricate. Fiecare referință este soluționată în raport cu un registru bibliografic înainte de publicare. O referință care nu poate fi soluționată este eliminată, iar lacuna este menționată drept „nu s-au identificat dovezi directe”, în loc să fie completată fictiv.
- Fiecare număr este trasabil. Dozele, dimensiunile efectului, dimensiunile eșantionului și limitele sunt verificate în raport cu rezumatul sau textul integral, nu cu un rezumat generat de inteligența artificială.
- Rezultatele generate de inteligența artificială sunt candidați, nu constatări. Înregistrările, extracțiile și rezumatele propuse de inteligența artificială reprezintă intrări pentru revizuirea umană. Incluziunea, evaluarea, certitudinea și concluziile sunt decizii umane, consemnate cu numele reviewerului.
5. Context de reglementare: Legea UE privind inteligența artificială
Regulamentul (UE) 2024/1689 stabilește norme armonizate privind inteligența artificială în Uniunea Europeană [19]. Două dispoziții sunt direct relevante pentru activitatea științifică asistată de inteligența artificială. Articolul 4 impune furnizorilor și utilizatorilor de sisteme de inteligență artificială să asigure un nivel suficient de literacy în materie de inteligență artificială în rândul personalului care le operează. Articolul 14 impune ca sistemele de inteligență artificială cu risc ridicat să fie proiectate pentru o supraveghere umană efectivă, astfel încât o persoană să poată înțelege capacitățile și limitările sistemului, să rămână conștientă de părtinirea de automatizare, să interpreteze corect rezultatul acestuia și să decidă să nu îl utilizeze sau să îl suprascrie.
Instrumentele de sprijin pentru revizuirea literaturii de specialitate nu sunt clasificate ca atare drept sisteme cu risc ridicat. Aplicarea voluntară a principiilor de supraveghere din Articolul 14 reprezintă totuși o bună practică științifică: este același principiu pe care metodologia de revizuire sistematică l-a impus întotdeauna, și anume că reviewerul, nu instrumentul, este responsabil pentru fiecare judecată.
6. Limite
Aceasta este o revizuire metodică narativă, nu o revizuire sistematică a instrumentelor de inteligență artificială. Evaluările publicate ale modelelor lingvistice mari (LLM) în sinteza dovezilor sunt recente, adesea de mică amploare și specifice modelului, iar performanța modelului se modifică între versiuni. Cifrele citate mai sus descriu modelele și seturile de date testate în acele studii și nu trebuie generalizate la alte instrumente. Orice organizație care adoptă o revizuire asistată de inteligență artificială ar trebui să își valideze propriul flux de lucru în raport cu standardele de referință umane și să raporteze această validare.
7. Concluzie
Inteligența artificială poate face sinteza riguroasă a dovezilor mai rapidă. Nu o poate face singură mai demnă de încredere. Pentru suplimentele alimentare, nutriția medicală și noile ingrediente, unde un dosar trebuie să reziste la o examinare riguroasă de reglementare și clinică, modelul defensibil este omul în buclă (human-in-the-loop): standarde stabilite (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), inteligență artificială utilizată numai acolo unde rezultatul său poate fi verificat, fiecare citare și număr verificate în raport cu sursa, și experți numiți responsabili pentru fiecare concluzie.
