Sažetak
Pozadina: Odluke o sigurnosti i djelotvornosti dodataka prehrani, hrane za posebne medicinske potrebe i novoj hrane sve više ovise o velikim, heterogenim skupovima dokaza: randomiziranim ispitivanjima, opservacijskim kohortama, toksikologiji životinja, in vitro mehaničkim studijama i regulatornim mišljenjima. Strojno učenje i veliki jezični modeli (LLM) obećavaju skraćivanje najsporijih faza sinteze dokaza, no objavljene procjene pokazuju da se njihova pouzdanost drastično razlikuje među zadacima.
Cilj: Opisati okvir s čovjekom u petlji (human-in-the-loop) u kojem alati umjetne inteligencije ubrzavaju pronalaženje, deduplikaciju, određivanje prioriteta i nacrt ekstrakcije podataka, dok svaka odluka o uključivanju, procjena rizika od pristranosti, ocjena sigurnosti i zaključak ostaju u nadležnosti imenovanog, kvalificiranog recenzenta.
Metode: Nativni metodološki pregled standarda izvješćivanja i ocjenjivanja (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, OHAT pristup i EFSA-ine smjernice o metodologiji sustavnog pregleda za sigurnost hrane i hrane za životinje), objavljenih procjena strojnog učenja i LLM-ova u zadacima sustavnog pregleda te obveza Uredbe (EU) 2024/1689 (Akt o umjetnoj inteligenciji) relevantnih za znanstveni rad potpomognut umjetnom inteligencijom.
Zaključci: Dokazi podupiru umjetnu inteligenciju kao ubrzivač pretraživanja, prioritizacije probira i nacrta ekstrakcije, a ne kao autonomnog recenzenta. Izlazni podaci nenadziranih LLM-ova mogu sadržavati izmišljene reference i nepouzdane odluke o probiru. Definitivan radni tijek prethodno registrira protokol, bilježi svaki korak potpomognut umjetnom inteligencijom, provjerava svaku citaciju u bibliografskom registru, provjerava svaki broj u odnosu na izvorni tekst i zadržava konačnu znanstvenu procjenu kod odgovornih stručnjaka.
1. Uvod
Dosje s podacima o proizvodu za dodatak prehrani ili proizvod medicinske prehrane snažan je onoliko koliko je snažan pregled dokaza koji stoji iza njega. Regulatori, kliničari i vlasnici brendova moraju znati ne samo što je studija otkrila, već i kako su studije pronađene, zašto su neke isključene i kolika je pouzdanost recenzenta u ukupni korpus dokaza. Metodologija sustavnog pregleda odgovara na ova pitanja kroz transparentan, reproducibilan slijed: unaprijed određeno pitanje i protokol, dokumentirano pretraživanje, neovisni probir, strukturiranu ekstrakciju podataka, procjenu rizika od pristranosti i ocjenu stupnja sigurnosti.
Za sigurnost hrane i hrane za životinje, Europska agencija za sigurnost hrane objavila je smjernice o primjeni ove metodologije na pitanja procjene rizika još 2010. godine [10]. U zdravstvu okoliša i toksikologiji, OHAT pristup Nacionalnog toksikološkog programa proširio je sustavni pregled na integraciju dokaza iz studija na ljudima, životinjama i mehaničkih dokaza radi identifikacije opasnosti [6]. Ovi su okviri zahtjevni: jedan pregled može uključivati tisuće zapisa i tjedne stručnog rada.
Alati strojnog učenja za pretraživanje, probir i ekstrakciju sazrijeli su tijekom proteklog desetljeća [15, 16], a općeniti LLM-ovi sada su široko dostupni. Pitanje za svaku organizaciju koja proizvodi znanstvene dosjee stoga više nije treba li koristiti umjetnu inteligenciju, već gdje se ispisima umjetne inteligencije može vjerovati, gdje se moraju provjeriti i gdje se ljudska prosudba ne može delegirati.
2. Standardi izvješćivanja i procjene koji se ne mijenjaju s umjetnom inteligencijom
2.1 Pitanje, protokol i pretraživanje
Pregled započinje strukturiranim pitanjem. Za intervencije je to obično PICO (populacija, intervencija, komparator, ishodi); za pitanja sigurnosti i izloženosti PECO okvir (populacija, izloženost, komparator, ishodi) je prikladniji jer omogućuje izloženosti koje sudionik ne bira i usporedbe kroz razine izloženosti [9]. Protokol treba napisati prije početka probira i izvijestiti ga u skladu s PRISMA-P, kontrolnim popisom od 17 stavki [3].
Pretraživanje mora biti reproducibilno. PRISMA-S dodaje 16 stavki izvješćivanja specifičnih za pretraživanje literature, uključujući korištene baze podataka i platforme, potpune nizove pretraživanja, ograničenja, datum posljednjeg pretraživanja i metodu deduplikacije [2]. Ove stavke se primjenjuju bez obzira na to je li upit sastavila osoba ili ga je predložio alat umjetne inteligencije: konačni niz pretraživanja, kako je izvršen, jest ono o čemu se mora izvijestiti.
2.2 Odabir, ekstrakcija i izvješćivanje
PRISMA 2020 nudi kontrolni popis od 27 stavki i dijagram toka koji obuhvaća svaki zapis od identifikacije do uključivanja [1]. Uobičajena praksa je neovisni dvostruki probir od strane dva recenzenta. Metodološki sustavni pregled koji uspoređuje jednostruki s dvostrukim probirom otkrio je medijan od 5% relevantnih studija koje su propuštene jednostrukim probirom (raspon 0–58%), što se penje na medijan od 13% za manje iskusne recenzente [11]. Slaže se između recenzenata obično se kvantificira Cohenovom kapom [17] i tumači na Landisovoj i Kochovoj ljestvici, na kojoj vrijednosti od 0,61–0,80 ukazuju na znatno, a 0,81–1,00 gotovo savršeno slaganje [18].
2.3 Rizik od pristranosti i sigurnost
Svaka uključena studija ocjenjuje se alatom primjerenim dizajnu: RoB 2 za randomizirana ispitivanja, strukturiranim u pet domena pristranosti [4], i ROBINS-I za nerandomizirane studije intervencija, strukturiranim u sedam domena [5]. Postojeći sustavni pregledi korišteni kao dokazi mogu se ocijeniti pomoću AMSTAR 2 [8].
Sigurnost korpusa dokaza za svaki ishod se zatim ocjenjuje pomoću GRADE sustava, koji razmatra rizik od pristranosti, nekonzistentnost, neizravnost, nepreciznost i pristranost objavljivanja te omogućuje višu ocjenu za velike učinke, gradijente doza-odgovor i rezidualno zbunjivanje koje bi smanjilo uočeni učinak [7]. OHAT pristup prilagođava ovu logiku dokazima iz područja okoliša i toksikologije te prevodi ocjene pouzdanosti u razine dokaza za zdravstveni učinak, integrirajući tokove podataka s ljudima i životinjama [6].
Nijedan od ovih koraka nije administrativan zadatak. Odlučivanje je li populacija studije dovoljno bliska ciljnoj populaciji, je li doza usporediva ili je li zbunjujući čimbenik dovoljno ozbiljan da snizi pouzdanost zahtijeva stručnost u području i odgovornost.
3. Što dokazi kažu o umjetnoj inteligenciji u sustavnim pregledima
3.1 Gdje strojno učenje pomaže
Marshall i Wallace pregledali su metode strojnog učenja predložene za pretraživanje, probir i ekstrakciju podataka te zaključili da je nekoliko njih spremno za praktičnu primjenu, pod uvjetom da tim za pregled razumije njihove snage i načine otkazivanja [15]. Alati aktivnog učenja, koji ponovno rangiraju nepregledane zapise kako ih recenzenti označavaju, omogućuju timovima pronalaženje relevantnih studija ranije u procesu probira; dostupni su otvoreni, transparentni okviri ove vrste [16]. Korišten na ovaj način, čovjek i dalje donosi svaku odluku o uključivanju; stroj samo mijenja redoslijed kojim se zapisi vide.
Za nacrt ekstrakcije podataka, studija konceptualnog dokaza otkrila je da je LLM izvukao 160 unaprijed definiranih elemenata podataka iz 10 randomiziranih ispitivanja s otvorenim pristupom uz ukupnu točnost od 96,3%; većina od njegovih šest pogrešaka bile su propuštene stavke [12]. Autori su to definirali kao potencijal za učinkovitost, na temelju malog prigodnog uzorka, a ne kao zamjenu za ljudsku ekstrakciju.
3.2 Gdje nenadzirana umjetna inteligencija zakazuje
Učinkovitost probira manje je ohrabrujuća. Prethodno registrirana procjena općenitog LLM-a koji radi „bez čovjeka u petlji” otkrila je da je prividna točnost bila napuhana slučajnim slaganjem i neravnotežom skupa podataka. Nakon prilagodbe, učinkovitost probira kretala se od nikakve u uravnoteženim skupovima podataka do umjerene u neuravnoteženima, a učinkovitost ekstrakcije podataka bila je umjerena. Autori su zaključili da je potreban znatan oprez [13].
Generiranje referenci najozbiljniji je način otkazivanja. Kada se od LLM-ova tražilo da reproduciraju popise referenci 11 objavljenih sustavnih pregleda, stope halucinacija (reference s najmanje dva pogrešno navedena naslova, prvog autora ili godine) iznosile su 39,6%, 28,6% i 91,4% za tri testirana modela, a preciznost je bila najviše 13,4% [14]. Dosje koji citira nepostojeći rad gubi svoju vjerodostojnost kod regulatora i kliničara, bez obzira na kvalitetu ostatka rada.
3.3 Implikacije
Uzorak je dosljedan. Umjetna inteligencija je korisna kada predlaže, a čovjek raspolaže: kandidati za zapise, redoslijed probira, nacrt tablice ekstrakcije. Ona je nepouzdana kada se njezin ishod prihvati bez provjere. Pitanje dizajna stoga je kako svaki doprinos umjetne inteligencije učiniti provjerljivim, zabilježenim i u vlasništvu osobe.
4. Radni tijek s čovjekom u petlji
Radni tijek u nastavku utvrđuje načela dizajna s čovjekom u petlji koja Olympia Biosciences koristi prilikom planiranja pregleda dokaza za razvoj dodataka prehrani, nutraceutika i medicinske prehrane. Kada se pregled provodi i izvješćuje kao sustavan, očekuje se da svaka faza potpomognuta umjetnom inteligencijom proizvede navedeni artefakt, koji čovjek provjerava i potpisuje prije nego što započne sljedeća faza.
- Pitanje i protokol
Doprinos potpomognut umjetnom inteligencijom: Predlaže sinonime, popise ishoda i kandidate za PECO/PICO elemente
Odgovornost čovjeka: Utvrđuje pitanje, kriterije prihvatljivosti i plan analize prije probira
Artefakt provjere: Protokol prijavljen u PRISMA-P[3]
- Pretraživanje
Doprinos potpomognut umjetnom inteligencijom: Predlaže varijante niza pretraživanja i kandidate za zapise iz semantičkog pretraživanja
Odgovornost čovjeka: Odobrava konačne nizove; pokreće ih i dokumentira u bibliografskim bazama podataka
Artefakt provjere: PRISMA-S zapis pretraživanja[2]
- Deduplikacija i prioritizacija
Doprinos potpomognut umjetnom inteligencijom: Grupira dvojnike; rangira zapise prema predviđenoj relevantnosti[16]
Odgovornost čovjeka: Potvrđuje spajanja; vrši probir svakog zapisa koji određuje uključivanje
Artefakt provjere: PRISMA 2020 dijagram toka[1]
- Probir
Doprinos potpomognut umjetnom inteligencijom: Označava vjerojatna uključivanja i isključivanja kao drugo mišljenje
Odgovornost čovjeka: Donosi i bilježi svaku odluku o uključivanju/isključivanju s obrazloženjem; rješava sukobe
Artefakt provjere: Dnevnik odluka; slaganje među ocjenjivačima (kapa)[17, 18]
- Ekstrakcija podataka
Doprinos potpomognut umjetnom inteligencijom: Izrađuje nacrte tablica ekstrakcije iz cjelovitih tekstova[12]
Odgovornost čovjeka: Provjerava svaki izvučeni broj u odnosu na izvorni tekst
Artefakt provjere: Tablica ekstrakcije s oznakama stranica/slika
- Rizik od pristranosti i sigurnost
Doprinos potpomognut umjetnom inteligencijom: Nije delegirano
Odgovornost čovjeka: Primjenjuje RoB 2, ROBINS-I, AMSTAR 2, GRADE ili OHAT[4–8]
Artefakt provjere: Potpisane tablice procjene
- Integritet citata
Doprinos potpomognut umjetnom inteligencijom: Prikuplja identifikatore
Odgovornost čovjeka: Razrješava svaki DOI u bibliografskom registru i potvrđuje naslov, autore i godinu
Artefakt provjere: Registar provjere citata
- Zaključci
Doprinos potpomognut umjetnom inteligencijom: Sastavlja sažetke u običnom jeziku
Odgovornost čovjeka: Piše i potpisuje zaključak, uključujući eksplicitne praznine u dokazima
Artefakt provjere: Imenovan, odgovoran autor
Tri pravila čine radni tijek obranjivim:
- Nema izmišljenih dokaza. Svaka se referenca razrješava u odnosu na bibliografski registar prije objavljivanja. Referenca koja se ne može razriješiti uklanja se, a praznina se navodi kao „nisu utvrđeni izravni dokazi” umjesto da se popunjava.
- Svaki je broj sloriv. Doze, veličine učinaka, veličine uzoraka i granice provjeravaju se u sažetku ili cjelovitom tekstu, a ne u sažetku generiranom umjetnom inteligencijom.
- Rezultati umjetne inteligencije jesu kandidati, a ne nalazi. Zapisi, ekstrakcije i sažeci koje predloži umjetna inteligencija predstavljaju ulazne podatke za ljudsku reviziju. Uključenost, procjena, pouzdanost i zaključci ljudske su odluke, zabilježene s imenom recenzenta.
5. Regulatorni kontekst: Akt EU-a o umjetnoj inteligenciji
Uredba (EU) 2024/1689 utvrđuje usklađena pravila o umjetnoj inteligenciji u Europskoj uniji [19]. Dvije odredbe izravno su relevantne za znanstveni rad potpomognut umjetnom inteligencijom. Članak 4. zahtijeva da pružatelji i korisnici sustava umjetne inteligencije osiguraju dovoljnu razinu pismenosti o umjetnoj inteligenciji među osobljem koje njima upravlja. Članak 14. zahtijeva da visokorizični sustavi umjetne inteligencije budu dizajnirani za učinkovit ljudski nadzor, tako da osoba može razumjeti kapacitete i ograničenja sustava, ostati svjesna pristranosti automatizacije, ispravno tumačiti njegove rezultate te donijeti odluku da ih ne koristi ili da ih nadjača.
Alati za podršku pregledima literature nisu sami po sebi navedeni kao visokorizični sustavi. Dobra je znanstvena praksa ipak dobrovoljno primijeniti načela nadzora iz Članka 14.: to je isto načelo koje metodologija sustavnih pregleda oduvijek zahtijeva, naime da je recenzent, a ne alat, odgovoran za svaku prosudbu.
6. Ograničenja
Ovo je narativni metodološki pregled, a ne sustavni pregled alata umjetne inteligencije. Objavljene procjene jezičnih modela (LLM) u sintezi dokaza novijeg su datuma, često malog opsega i specifične za model, a performanse modela mijenjaju se između verzija. Gore navedene brojke opisuju modele i skupove podataka testirane u tim studijama i ne bi se trebale generalizirati na druge alate. Svaka organizacija koja uvodi reviziju potpomognutu umjetnom inteligencijom trebala bi provesti validaciju vlastitog radnog procesa u odnosu na ljudske referentne standarde i izvijestiti o toj validaciji.
7. Zaključak
Umjetna inteligencija može ubrzati strogu sintezu dokaza. Sama po sebi ne može je učiniti pouzdanijom. Za dodacima prehrani, medicinsku prehranu i nove sastojke, gdje dosje mora izdržati regulatornu i kliničku provjeru, održivi je model „čovjek u petlji” (human-in-the-loop): utvrđeni standardi (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), umjetna inteligencija koja se koristi samo tamo gdje se njezin ishod može provjeriti, svaka citacija i broj provjereni u izvoru, te imenovani stručnjaci odgovorni za svaki zaključak.
