Absztrakt
Háttér: Az étrend-kiegészítők, a speciális gyógyászati célú élelmiszerek és az új élelmiszer-összetevők biztonságossági és hatásossági döntései egyre inkább nagy, heterogén bizonyítékhalmazokra támaszkodnak: randomizált vizsgálatokra, megfigyeléses kohόkhoz, állattoxikológiai adatokra, in vitro mechanisztikus munkákra és szabályozási állásfoglalásokra. A gépi tanulás és a nagy nyelvi modellek (LLM-ek) a bizonyítékok szintézisének leglassabb szakaszainak lerövidülését ígérik, a közzétett értékelések azonban azt mutatják, hogy megbízhatóságuk feladatonként élesen eltér.
Célkitűzés: Olyan humán közreműködést is alkalmazó (human-in-the-loop) keretrendszer leírása, amelyben a mesterséges intelligencia eszközei felgyorsítják a visszakeresést, a duplikációk kiszűrését, a priorizálást és az adatok tervezetként történő kinyerését, miközben minden egyes bevonási döntés, torzítási kockázat értékelése, bizonyossági besorolás és következtetés egy nevesített, szakképzett humán bíráló hatáskörében marad.
Módszerek: A jelentéstételi és értékelési szabványok (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, az OHAT-megközelítés, valamint az élelmiszer- és takarmánybiztonsági szisztematikus felülvizsgálati módszertanról szóló EFSA-iránymutatás), a gépi tanulásnak és az LLM-eknek a szisztematikus felülvizsgálati feladatokban való alkalmazásáról szóló közzétett értékelések, valamint az (EU) 2024/1689 rendelet (az MI-rendelet) mesterséges intelligenciával támogatott tudományos munkára vonatkozó előírásainak narratív módszertani áttekintése.
Következtetések: A bizonyítékok alátámasztják, hogy a mesterséges intelligencia a keresés, a szűrési priorizálás és a tervek szerinti adatkivonás felgyorsítója, nem pedig autonóm bíráló. A felügyelet nélküli LLM-kimenet tartalmazhat hamis hivatkozásokat és megbízhatatlan szűrési döntéseket. A védhető munkafolyamat előzetesen regisztrálja a protokollt, rögzít minden MI-alámasszahtató lépést, ellenőrzi az összes hivatkozást egy bibliográfiai nyilvántartással szemben, ellenőrzi az összes számadatot a forrásszöveggel összehasonlítva, és a végső tudományos döntéshozatalt a felelős szakértőknél tartja.
1. Bevezetés
Egy étrend-kiegészítő vagy orvosi célú tápszer termékdossziéja csak annyira erős, amennyire az azt alátámasztó bizonyítékértékelés. A hatóságoknak, a klinikusoknak és a márkatulajdonosoknak nemcsak azt kell tudniuk, hogy mit talált egy vizsgálat, hanem azt is, hogy a vizsgálatokat hogyan találták meg, miért zártak ki egyeseket, és a bíráló mennyire biztos a bizonyítékok összességről alkotott összképben. A szisztematikus felülvizsgálati módszertan átlátható, reprodukálható sorozaton keresztül válaszol ezekre a kérdésekre: előre meghatározott kérdés és protokoll, dokumentált keresés, független szűrés, strukturált adatkivonás, torzítási kockázat értékelése és a bizonyosság skálázott nyilatkozata.
Az élelmiszer- és takarmánybiztonság terén az Európai Élelmiszerbiztonsági Hatóság már 2010-ben útmutatást tett közzé e módszertan kockázatértékelési kérdésekre történő alkalmazásáról [10]. A környezet-egészségügyben és a toxikológiában a Nemzeti Toxikológiai Program OHAT-megközelítése kiterjesztette a szisztematikus felülvizsgálatot a humán, állati és mechanisztikus bizonyítékok integrálására a veszélyazonosítás érdekében [6]. Ezek a keretrendszerek komoly követelményeket támasztanak: egyetlen felülvizsgálat ezerre rúgó rekordot és szakértői munka heteit is igénybe veheti.
A keresésre, szűrésre és adatkivonásra szolgáló gépi tanulási eszközök az elmúlt évtizedben beértek [15, 16], az általános célú LLM-ek pedig mára széles körben elérhetőek. A tudományos dossziékat készítő szervezetek számára a kérdés tehát már nem az, hogy használjanak-e mesterséges intelligenciát, hanem az, hogy az MI kimenete hol bízható meg, hol kell ellenőrizni, és hol nem ruházható át a humán ítélkezés.
2. Jelentéstételi és értékelési szabványok, amelyek nem változnak a mesterséges intelligenciával
2.1 Kérdés, protokoll és keresés
A felülvizsgálat egy strukturált kérdéssel kezdődik. Intervenciók esetén ez tipikusan a PICO (populáció, intervenció, összehasonlítás, kimenet); biztonságossági és expozíciós kérdésekben a PECO-keretrendszer (populáció, expozíció, összehasonlítás, kimenet) jobban megfelel, mivel olyan expozíciókat is befogad, amelyeket nem a résztvevő választ, valamint lehetővé teszi az expozíciós szintek közötti összehasonlítást [9]. A protokollt a szűrés megkezdése előtt meg kell írni, és a PRISMA-P – egy 17 elemből álló ellenőrzőlista – szerint kell jelenteni [3].
A keresésnek reprodukálhatónak kell lennie. A PRISMA-S 16, kifejezetten az irodalomkeresésre vonatkozó jelentéstételi elemmel egészíti ki ezt, ideértve a felhasznált adatbázisokat és platformokat, a teljes keresőkifejezéseket, a korlátozásokat, az utolsó keresés dátumát és a duplikációk kiszűrésének módszerét [2]. Ezek az elemek attól függetlenül érvényesek, hogy egy lekérdezést személy szerkesztett vagy egy MI-eszköz javasolt: a végrehajtott formájában előforduló végső keresőkifejezést kell jelenteni.
2.2 Kiválasztás, kinyerés és jelentéstétel
A PRISMA 2020 egy 27 elemből álló ellenőrzőlistát és egy folyamatábrát biztosít, amely az azonosítástól a bevonásig minden egyes rekordot számontart [1]. A hagyományos gyakorlat a két bíráló által végzett független kettős szűrés. Az egyedi és a kettős szűrést összehasonlító módszertani szisztematikus felülvizsgálat azt találta, hogy az egyedi szűrés az releváns tanulmányok medián 5%-át (0–58% tartományban) mulasztotta el, ami a kevésbé tapasztalt bírálók esetében medián 13%-ra emelkedett [11]. A bírálók közötti egyetértést általában Cohen-féle kappával számszerűsítik [17], és a Landis és Koch-féle skálán értelmezik, amelyen a 0,61–0,80 közötti értékek jelentős, a 0,81–1,00 közötti értékek pedig szinte tökéletes egyetértést jeleznek [18].
2.3 Torzítási kockázat és bizonyosság
Minden egyes bevonásra kerülő vizsgálatot a vizsgálati elrendezésnek megfelelő eszközzel értékelnek: a randomizált vizsgálatokat az öt torzítási tartományra strukturált RoB 2-vel [4], az intervenciós nem randomizált vizsgálatokat pedig a hét tartományra strukturált ROBINS-I-gyel [5]. A bizonyítékként felhasznált meglévő szisztematikus felülvizsgálatok az AMSTAR 2 eszközzel értékelhetők [8].
A bizonyítékok összességének bizonyosságát minden egyes kimenet tekintetében a GRADE módszerrel értékelik, amely figyelembe veszi a torzítási kockázatot, a következetlenséget, a közvetettséget, a pontatlanságot és a publikációs torzítást, továbbá lehetővé teszi a besorolás emelését nagy hatások, dózis-válasz gradiensek és olyan reziduális zavaró tényezők esetén, amelyek egyébként csökkentenék a megfigyelt hatást [7]. Az OHAT-megközelítés ezt a logikát alkalmazza a környezeti és toxikológiai bizonyítékokra, és a megbízhatósági besorolásokat az egészségügyi hatásra vonatkozó bizonyítékok szintjeire fordítja le, integrálva a humán és állati ágakat [6].
Ezen lépések egyike sem adminisztratív feladat. Annak eldöntése, hogy egy vizsgálati populáció kellően közel áll-e a célpopulációhoz, hogy egy dózis összehasonlítható-e, vagy hogy egy zavaró tényező elég súlyos-e a bizonyosság csökkentéséhez, szakterületi szakértelmet és felelősségvállalást igényel.
3. Mit mondanak a bizonyítékok a szisztematikus felülvizsgálatokban alkalmazott mesterséges intelligenciáról
3.1 Hol segít a gépi tanulás
Marshall és Wallace áttekintette a kereséshez, szűréshez és adatkivonáshoz javasolt gépi tanulási módszereket, és megállapította, hogy többféle gyakorlati használatra is készen áll, feltéve, hogy a felülvizsgálati csoport megérti azok erősségeit és meghibásodási módjait [15]. Az aktív tanulási eszközök, amelyek a szűretlen rekordokat újrarendezik a bírálók általi címkézés függvényében, lehetővé teszik a csoportok számára, hogy a releváns vizsgálatokat korábban megtalálják a szűrési folyamat során; az ilyen jellegű nyílt forráskódú, átlátható keretrendszerek elérhetők [16]. Ezzel a módszerrel a humán bíráló továbbra is minden egyes bevonási döntést meghoz; a gép csupán a rekordok megjelenítési sorrendjét változtatja meg.
A tervek szerinti adatkivonást illetően egy koncepció-ellenőrzési vizsgálat megállapította, hogy egy LLM 10 nyílt hozzáférésű randomizált vizsgálatból 160 előre meghatározott adatelement vont ki 96,3%-os összesített pontossággal; a hat hiba többsége mulasztott elem volt [12]. A szerzők ezt egy kis kényelmi mintán alapuló hatékonysági potenciálként keretezték, nem pedig a humán adatkivonás helyettesítőjeként.
3.2 Hol mond csütörtököt a felügyelet nélküli mesterséges intelligencia
A szűrési teljesítmény kevésbé megnyugtató. Egy általános célú LLM „humán közreműködés nélküli” (human-out-of-the-loop) működésének előzetesen regisztrált értékelése azt találta, hogy a látszólagos pontosságot a véletlen egyetértés és az adatkészlet egyensúlyhiánya felerősítette. A kiigazítást követően a szűrési teljesítmény az egyensúlyban lévő adatkészletek nullájától az egyensúlyhiányosak mérsékelt szintjéig terjedt, és az adatkivonási teljesítmény is mérsékelt volt. A szerzők arra a következtetésre jutottak, hogy jelentős óvatosságra van szükség [13].
A hivatkozások generálása a legsúlyosabb hibamód. Amikor az LLM-eket arra kérték, hogy reprodukálják 11 közzétett szisztematikus felülvizsgálat irodalomjegyzékét, a hallucinációs arányok (olyan hivatkozások, amelyeknél a cím, az első szerző vagy az év közül legalább kettő hibás) 39,6%, 28,6% és 91,4% voltak a tesztelt három modell esetében, a pontosság pedig legfeljebb 13,4% volt [14]. Az a dosszié, amely nem létező tanulmányra hivatkozik, elveszíti hitelességét a hatóságok és a klinikusok szemében, függetlenül a munka többi részének minőségétől.
3.3 Következmények
A minta konzisztens. A mesterséges intelligencia akkor hasznos, ha javaslatot tesz, és a humán szakember határoz: leendő rekordok, szűrési sorrend, kivonatolási tervezet táblázata. Megbízhatatlan viszont akkor, ha a kimenetét ellenőrzés nélkül elfogadják. A tervezési kérdés tehát az, hogy a mesterséges intelligencia minden egyes hozzájárulását hogyan lehet ellenőrizhetővé, naplózottá és egy személy által birtokolttá tenni.
4. Humán közreműködést alkalmazó munkafolyamat
Az alábbi munkafolyamat bemutatja azokat a humán közreműködést alkalmazó tervezési elveket, amelyeket az Olympia Biosciences alkalmaz az étrend-kiegészítők, nutraceutikumok és orvosi célú tápszerek fejlesztésére irányuló bizonyíték-felülvizsgálatok megtervezésekor. Ha egy felülvizsgálatot szisztematikus jelleggel végeznek és jelentenek, az MI-vel támogatott minden egyes szakasz várhatóan előállítja a felsorolt munkaügyi terméket (artefaktumot), amelyet a humán bíráló ellenőriz és jóváhagy a következő szakasz megkezdése előtt.
- Kérdés és protokoll
MI-támogatott hozzájárulás: Szinonimákat, kimeneti listákat és leendő PECO/PICO elemeket javasol
Humán felelősség: A szűrés előtt rögzíti a kérdést, a jogosultsági feltételeket és az elemzési tervet
Ellenőrzési artefaktum: A PRISMA-P szerint jelentett protokoll [3]
- Keresés
MI-támogatott hozzájárulás: Keresőkifejezés-változatokat és szemantikai keresésből származó leendő rekordokat javasol
Humán felelősség: Jóváhagyja a végső kifejezéseket; lefuttatja és dokumentálja azokat a bibliográfiai adatbázisokban
Ellenőrzési artefaktum: PRISMA-S keresési rekord [2]
- Duplikációk kiszűrése és priorizálás
MI-támogatott hozzájárulás: Csoportosítja a duplikációkat; a becsült relevencia alapján rangsorolja a rekordokat [16]
Humán felelősség: Megerősíti az egyesítéseket; átszűri az összes olyan rekordot, amely a bevonást meghatározza
Ellenőrzési artefaktum: PRISMA 2020 folyamatábra [1]
- Szűrés
MI-támogatott hozzájárulás: Másodvéleményként megjelöli a valószínű bevonásokat és kizárásokat
Humán felelősség: Indoklással ellátva meghozza és rögzíti az összes bevonási/kizárási döntést; feloldja az ellentéteket
Ellenőrzési artefaktum: Döntési napló; bírálók közötti egyetértés (kappa) [17, 18]
- Adatkivonás
MI-támogatott hozzájárulás: Teljes szövegekből elkészíti az adatkivonási táblázatok tervezetét [12]
Humán felelősség: Minden egyes kinyert számot ellenőriz a forrásszöveggel összehasonlítva
Ellenőrzési artefaktum: Adatkivonási táblázat oldalszám- és ábra-horgonyokkal
- Torzítási kockázat és bizonyosság
MI-támogatott hozzájárulás: Nincs delegálva
Humán felelősség: Alkalmazza a RoB 2, ROBINS-I, AMSTAR 2, GRADE vagy OHAT módszert [4–8]
Ellenőrzési artefaktum: Aláírt értékelési táblázatok
- Hivatkozási integritás
MI-támogatott hozzájárulás: Gyűjti az azonosítókat
Humán felelősség: Minden egyes DOI-t felold egy bibliográfiai nyilvántartásban, és megerősíti a címet, a szerzőket és az évet
Ellenőrzési artefaktum: Hivatkozás-ellenőrzési nyilvántartás
- Következtetések
MI-támogatott hozzájárulás: Közérthető összefoglalók tervezetét készíti el
Humán felelősség: Megírja és aláírja a következtetést, beleértve a kifejezett bizonyítékbeli hiányosságokat is
Ellenőrzési artefaktum: Nevesített, felelős szerző
Három szabály teszi védhetővé a munkafolyamatot:
- Nincs hamisított bizonyíték. Minden egyes hivatkozást egy bibliográfiai nyilvántartással összevetve fel kell oldani a közzététel előtt. Az olyan hivatkozást, amelyet nem lehet feloldani, eltávolítják, és a hiányosságot „közvetlen bizonyíték nem azonosítható”ként tüntetik fel ahelyett, hogy feltöltenék.
- Minden szám visszakövethető. Az adagokat, a hatásméreteket, a mintanagyságokat és a határértékeket az absztrakt vagy a teljes szöveg alapján ellenőrzik, nem pedig egy mesterséges intelligencia által készített összefoglalás alapján.
- A mesterséges intelligencia kimenetei jelöltek, nem pedig megállapítások. A mesterséges intelligencia által javasolt feljegyzések, adatok kinyerése és összefoglalások az emberi felülvizsgálat bemeneti adatai. A beválogatás, az értékelés, a bizonyosság és a következtetések emberi döntések, amelyeket a felülvizsgáló nevének feltüntetésével rögzítenek.
5. Szabályozási kontextus: az EU mesterséges intelligenciáról szóló rendelete (EU AI Act)
Az (EU) 2024/1689 rendelet harmonizált szabályokat állapít meg a mesterséges intelligenciára vonatkozóan az Európai Unióban [19]. Két rendelkezés kapcsolódik közvetlenül a mesterséges intelligenciával támogatott tudományos munkához. A 4. cikk előírja a mesterséges intelligenciával kapcsolatos rendszerek szolgáltatói és deployer (alkalmazó) számára, hogy biztosítsák a rendszereket kezelő személyzet megfelelő szintű mesterségesintelligencia-műveltségét. A 14. cikk előírja, hogy a nagy kockázatú mesterségesintelligencia-rendszereket hatékony emberi felügyeletre kell tervezni, hogy egy személy megértse a rendszer képességeit és korlátait, tisztában legyen az automatizációs torzítással, helyesen értelmezze a kimenetét, valamint dönthessen úgy, hogy nem használja azt, vagy felülbírálja.
Az irodalmi áttekintést támogató eszközök önmagukban nem szerepelnek a nagy kockázatú rendszerek listáján. A 14. cikk szerinti felügyeleti elvek önkéntes alkalmazása mindazonáltal helyes tudományos gyakorlat: ugyanarról az elvről van szó, amelyet a szisztematikus áttekintési módszertan mindig is megkövetelt, nevezetesen arról, hogy minden egyes ítéletért a felülvizsgáló felel, nem pedig az eszköz.
6. Korlátok
Ez egy narratív módszertani áttekintés, nem pedig a mesterséges intelligencia eszközök szisztematikus áttekintése. A nagyméretű nyelvi modellek (LLM-ek) bizonyíték-szintézisben történő közzétett értékelései újak, gyakran kis léptékűek és modellspecifikusak, és a modell teljesítménye a verziók között változik. A fent idézett adatok az ezekben a vizsgálatokban tesztelt modelleket és adatkészleteket írják le, és nem terjeszthetők ki más eszközökre. Bármely szervezetnek, amely mesterséges intelligenciával támogatott felülvizsgálatot alkalmaz, validálnia kell saját munkafolyamatát emberi referencia-szabványokkal szemben, és jelentenie kell ezt a validációt.
7. Következtetés
A mesterséges intelligencia gyorsabbá teheti a szigorú bizonyíték-szintézist. Önmagában azonban nem teszi azt megbízhatóbbá. Az étrend-kiegészítők, az orvosi célú tápszerek és az új élelmiszer-összetevők esetében, ahol a dossziénak ki kell állnia a szabályozási és klinikai ellenőrzést, a védhető modell az ember a folyamatban (human-in-the-loop) megközelítés: megalapozott szabványok (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), a mesterséges intelligencia kizárólag ott alkalmazva, ahol a kimenete ellenőrizhető, minden hivatkozás és szám ellenőrizve a forrás alapján, valamint név szerint megjelölt szakértők felelősek minden egyes következtetésért.
