Abstrakt
Východiska: Rozhodnutí o bezpečnosti a účinnosti doplňků stravy, potravin pro zvláštní lékařské účely a novelizovaných složek stále více závisí na rozsáhlých a heterogenních souborech důkazů: na randomizovaných studiích, observačních kohortách, zvířecí toxikologii, mechanistických pracích in vitro a regulatorních stanoviscích. Strojové učení a velké jazykové modely (LLM) slibují zkrácení nejpomalejších fází syntézy důkazů, avšak publikovaná hodnocení ukazují, že jejich spolehlivost se mezi jednotlivými úkoly výrazně liší.
Cíl: Popsat rámec s účastí člověka v procesu (human-in-the-loop), v němž nástroje umělé inteligence urychlují vyhledávání, deduplikaci, stanovení priorit a návrh extrakce dat, zatímco každé rozhodnutí o zařazení, posouzení rizika zkreslení, hodnocení jistoty a závěr zůstávají v kompetenci jmenovaného a kvalifikovaného lidského recenzenta.
Metody: Nativní metodologický přehled standardů pro podávání zpráv a hodnocení (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, přístup OHAT a usměrnění EFSA k metodice systematických přehledů pro bezpečnost potravin a krmiv), publikovaných hodnocení strojového učení a modelů LLM v úkolech systematických přehledů a povinností vyplývajících z nařízení (EU) 2024/1689 (akt o umělé inteligenci) relevantních pro vědeckou práci podporovanou umělou inteligencí.
Závěry: Důkazy podporují umělou inteligenci jako urychlovač vyhledávání, stanovení priorit při screeningovém výběru a návrhu extrakce, nikoli však jako autonomního hodnotitele. Výstupy nekontrolovaných modelů LLM mohou obsahovat fiktivní reference a nespolehlivá rozhodnutí o screeningu. Obhajitelný pracovní postup registruje protokol předem, zaznamenává každý krok podpořený umělou inteligencí, ověřuje každou citaci oproti bibliografickému registru, kontroluje každé číslo vůči zdrojovému textu a konečný vědecký úsudek ponechává odpovědným expertům.
1. Úvod
Dozérová dokumentace k doplňku stravy nebo produktu lékařské výživy je jen tak silná jako přehled důkazů, který za ní stojí. Regulátoři, lékaři a vlastníci značek potřebují vědět nejen to, co studie zjistila, ale také jak byly studie nalezeny, proč byly některé vyloučeny a jakou jistotu má hodnotitel v celkovém souboru důkazů. Metodika systematického přehledu odpovídá na tyto otázky prostřednictvím transparentní a reprodukovatelné sekvence: předem stanovené otázky a protokolu, dokumentovaného vyhledávání, nezávislého screeningu, strukturální extrakce dat, hodnocení rizika zkreslení a odstupňovaného prohlášení o jistotě.
V oblasti bezpečnosti potravin a krmiv vydala Evropský úřad pro bezpečností potravin pokyny k aplikaci této metodiky na otázky hodnocení rizik již v roce 2010 [10]. V oblasti environmentálního zdraví a toxikologie rozšířil přístup OHAT Národního toxikologického programu systematický přehled na integraci lidských, zvířecích a mechanistických důkazů pro identifikaci nebezpečí [6]. Tyto rámce jsou náročné: jediný přehled může zahrnovat tisíce záznamů a týdny času odborníků.
Nástroje strojového učení pro vyhledávání, screening a extrakci za poslední desetiletí dospěly [15, 16] a modely LLM pro všeobecné použití jsou nyní široce dostupné. Otázka pro každou organizaci produkující vědecké dokumentace tak již nezní, zda umělou inteligenci používat, ale kde lze výstupům umělé inteligence důvěřovat, kde je nutné je ověřit a kde nelze lidský úsudek delegovat.
2. Standardy pro podávání zpráv a hodnocení, které se s umělou inteligencí nemění
2.1 Otázka, protokol a vyhledávání
Přehled začíná strukturovanou otázkou. Pro intervence se typicky používá PICO (populace, intervence, komparátor, výsledek); pro otázky bezpečnosti a expozice je vhodnější rámec PECO (populace, expozice, komparátor, výsledek), protože zohledňuje expozice, které si účastník nevybral, a srovnání napříč úrovněmi expozice [9]. Protokol by měl být sepsán před zahájením screeningu a podán podle PRISMA-P, což je kontrolní seznam o 17 položkách [3].
Vyhledávání musí být reprodukovatelné. PRISMA-S přidává 16 položek pro podávání zpráv specifických pro rešerše literatury, včetně použitých databází a platforem, úplných vyhledávacích řetězců, omezení, data posledního vyhledávání a metody deduplikace [2]. Tyto položky platí bez ohledu na to, zda dotaz navrhla osoba, nebo zda byl navržen nástrojem umělé inteligence: konečný vyhledávací řetězec v takové podobě, v jaké byl proveden, je to, co musí být nahlášeno.
2.2 Výběr, extrakce a podávání zpráv
PRISMA 2020 poskytuje kontrolní seznam o 27 položkách a vývojový diagram, který zachycuje každý záznam od identifikace po zařazení [1]. Konvenční praxí je nezávislé dvojité prověřování dvěma hodnotiteli. Metodický systematický přehled porovnávající jednoduché a dvojité prověřování zjistil, že při jednoduchém prověřování bylo průměrně přehlédnuto 5 % relevantních studií (rozmezí 0–58 %), přičemž u méně zkušených hodnotitelů to narostlo na medián 13 % [11]. Shoda mezi hodnotiteli se obvykle kvantifikuje Cohenovým kapou [17] a interpretuje se na Landisově a Kochově škále, na níž hodnoty 0,61–0,80 označují podstatnou a 0,81–1,00 téměř dokonalou shodu.[18]
2.3 Riziko zkreslení a jistota
Každá zařazená studie je posouzena nástrojem odpovídajícím danému designu: RoB 2 pro randomizované studie, strukturovaným do pěti oblastí zkreslení [4], a ROBINS-I pro nerandomizované intervenční studie, strukturovaným do sedmi oblastí [5]. Existující systematické přehledy použité jako důkazy lze posoudit pomocí AMSTAR 2 [8].
Jistota souboru důkazů pro každý výsledek je následně hodnocena pomocí nástroje GRADE, který bere v úvahu riziko zkreslení, nekonzistenci, nepřímou povahu, nepřesnost a publikační zkreslení a umožňuje navýšení hodnocení v případě velkých účinků, gradientů dávka–odpověď a zbytkového matení, které by jinak snížilo pozorovaný účinek [7]. Přístup OHAT tuto logiku přizpůsobuje environmentálním a toxikologickým důkazům a převádí hodnocení spolehlivosti na úrovně důkazů pro zdravotní účinek, přičemž integrovat lidské i zvířecí prameny [6].
Žádný z těchto kroků není administrativním úkonem. Rozhodnutí o tom, zda je studijní populace dostatečně blízko cílové populaci, zda je dávka srovnatelná, nebo zda je matoucí faktor dostatečně závažný pro snížení jistoty, vyžaduje odbornou znalost a odpovědnost.
3. Co říkají důkazy o umělé inteligenci v systematických přehledech
3.1 Kde strojové učení pomáhá
Marshall a Wallace přezkoumali metody strojového učení navržené pro vyhledávání, screening a extrakci dat a dospěli k závěru, že několik z nich je připraveno pro praktické použití za předpokladu, že tým provádějící přehled chápe jejich silné stránky a chybové režimy [15]. Nástroje aktivního učení, které přeřazují neprověřené záznamy podle toho, jak je hodnotitelé označují, umožňují týmům nalézt relevantní studie dříve v průběhu screeningu; otevřené a transparentní rámce tohoto druhu jsou k dispozici [16]. Používá-li se tímto způsobem, člověk stále činí každé rozhodnutí o zařazení; stroj pouze mění pořadí, v němž jsou záznamy viděny.
Pro návrh extrakce dat studie typu proof-of-concept zjistila, že model LLM extrahoval 160 předem definovaných datových prvků z 10 randomizovaných studií s otevřeným přístupem s celkovou přesností 96,3 %; většina z jeho šesti chyb spočívala v opomenutých položkách [12]. Autoři to formulovali jako potenciál pro efektivitu na základě malého příležitostného vzorku, nikoli jako náhradu za lidskou extrakci.
3.2 Kde selhává nekontrolovaná umělá inteligencija
Výkonnost screeningu je méně uklidňující. Předem registrované hodnocení univerzálního modelu LLM pracujícího v režimu „human-out-of-the-loop“ zjistilo, že zdánlivá přesnost byla nadhodnocena náhodnou shodou a nerovnováhou datové sady. Po úpravě se výkonnost screeningu pohybovala od žádné u vyvážených datových sad po mírnou u neurčitých a výkonnost extrakce dat byla mírná. Autoři dospěli k závěru, že je zapotřebí značné opatrnosti [13].
Generování referencí je nejzávažnějším chybovým režimem. Když bylo po modelech LLM požadováno, aby reprodukovaly seznamy referencí 11 publikovaných systematických přehledů, míra halucinací (reference s alespoň dvěma chybnými údaji v názvu, prvním autorovi či roku) činila u tří testovaných modelů 39,6 %, 28,6 % a 91,4 % a přesnost dosahovala maximálně 13,4 % [14]. Dokumentace, která cituje neexistující článek, ztrácí důvěryhodnost u regulátorů i kliniků bez ohledu na kvalitu zbytku práce.
3.3 Důsledky
Vzor je konzistentní. Umělá inteligence je užitečná, když navrhuje a člověk rozhoduje: kandidátní záznamy, pořadí screeningu, návrh extrakční tabulky. Je nespolehlivá, pokud je její výstup akceptován bez ověření. Otázkou designu proto je, jak učinit každý přispění umělé inteligence ověřitelným, zaznamenaným a vlastněným osobou.
4. Pracovní postup s účastí člověka v procesu (human-in-the-loop)
Níže uvedený pracovní postup stanovuje návrhové principy s účastí člověka v procesu, které Olympia Biosciences používá při plánování přehledů důkazů pro vývoj doplňků, nutraceutik a produktů lékařské výživy. Když je přehled prováděn a podáván jako systematický, očekává se, že každá fáze podpořená umělou inteligencí vyprodukuje uvedený artefakt, který člověk zkontroluje a schválí před zahájením další fáze.
- Otázka a protokol
Příspěvek podpořený umělou inteligencí: Navrhuje synonyma, seznamy výsledků a kandidátní prvky PECO/PICO
Odpovědnost člověka: Stanovuje otázku, kritéria způsobilosti a plán analýzy před screeningem
Ověřovací artefakt: Protokol hlášený podle PRISMA-P [3]
- Vyhledávání
Příspěvek podpořený umělou inteligencí: Navrhuje varianty vyhledávacích řetězců a kandidátní záznamy ze sémantického vyhledávání
Odpovědnost člověka: Schvaluje finální řetězce; spouští je a dokumentuje v bibliografických databázích
Ověřovací artefakt: Záznam vyhledávání PRISMA-S [2]
- Deduplikace a stanovení priorit
Příspěvek podpořený umělou inteligencí: Seskupuje duplikáty; řadí záznamy podle predikované relevance [16]
Odpovědnost člověka: Potvrzuje sloučení; prověřuje každý záznam, který určuje zařazení
Ověřovací artefakt: Vývojový diagram PRISMA 2020 [1]
- Screening
Příspěvek podpořený umělou inteligencí: Označuje pravděpodobná zařazení a vyloučení jako druhý názor
Odpovědnost člověka: Činí a zaznamenává každé rozhodnutí o zařazení/vyloučení s odůvodněním; řeší neshody
Ověřovací artefakt: Protokol rozhodnutí; shoda mezi hodnotiteli (kappa) [17, 18]
- Extrakce dat
Příspěvek podpořený umělou inteligencí: Připravuje návrhy extrakčních tabulek z plných textů [12]
Odpovědnost člověka: Kontroluje každé extrahované číslo oproti zdrojovému textu
Ověřovací artefakt: Extrakční tabulka s ukotvením na stránky/obrázky
- Riziko zkreslení a jistota
Příspěvek podpořený umělou inteligencí: Žádný není delegován
Odpovědnost člověka: Aplikuje RoB 2, ROBINS-I, AMSTAR 2, GRADE nebo OHAT [4–8]
Ověřovací artefakt: Podepsané tabulky hodnocení
- Integrita citací
Příspěvek podpořený umělou inteligencí: Shromažďuje identifikátory
Odpovědnost člověka: Vyřeší každý DOI v bibliografickém registru a potvrdí název, autory a rok
Ověřovací artefakt: Registr ověření citací
- Závěry
Příspěvek podpořený umělou inteligencí: Připravuje návrhy shrnutí v srozumitelném jazyce
Odpovědnost člověka: Píše a podepisuje závěr, včetně výslovných mezer v důkazech
Ověřovací artefakt: Jmenovaný, odpovědný autor
Pracovní postup činí obhajitelným tři pravidla:
- Žádné fiktivní důkazy. Každá reference je před publikací ověřena oproti bibliografickému registru. Reference, kterou nelze ověřit, je odstraněna a mezera je uvedena jako „nebyly identifikovány žádné přímé důkazy“, namísto toho, aby byla vyplněna.
- Každé číslo je dohledatelné. Dávky, velikosti účinku, velikosti vzorků a limity jsou kontrolovány oproti abstraktu nebo plnému textu, nikoli oproti shrnutí vytvořenému umělou inteligencí.
- Výstupy umělé inteligence jsou kandidáty, nikoli zjištěními. Záznamy, extrakce a shrnutí navržené umělou inteligencí jsou vstupy pro lidskou revizi. Zařazení, posouzení, jistota a závěry jsou lidská rozhodnutí, zaznamenaná pod jménem recenzenta.
5. Regulační kontext: Akt EU o umělé inteligenci
Nařízení (EU) 2024/1689 stanoví harmonizovaná pravidla pro umělou inteligenci v Evropské unii [19]. Dva předpisy se přímo týkají vědecké práce asistované umělou inteligencí. Článek 4 vyžaduje, aby poskytovatelé a provozovatelé systémů umělé inteligence zajistili dostatečnou úroveň gramotnosti v oblasti umělé inteligence u pracovníků, kteří je obsluhují. Článek 14 vyžaduje, aby vysoce rizikové systémy umělé inteligence byly navrženy pro efektivní lidský dohled, tak aby osoba mohla pochopit kapacity a omezení systému, zůstat si vědoma zkreslení způsobeného automatizací, správně interpretovat jeho výstup a rozhodnout se jej nepoužít nebo jej potlačit.
Nástroje na podporu literárních rešerší nejsou jako takové uvedeny na seznamu vysoce rizikových systémů. Dobrovolné uplatňování zásad dohledu podle článku 14 je nicméně dobrou vědeckou praxí: je to stejná zásada, kterou metodika systematických přehledů vyžadovala vždy, a sice že za každý úsudek nese odpovědnost recenzent, nikoli nástroj.
6. Omezení
Toto je narativní metodický přehled, nikoli systematický přehled nástrojů umělé inteligence. Publikovaná hodnocení velkých jazykových modelů (LLM) při syntéze důkazů jsou nedávná, často malá a specifická pro daný model a výkon modelu se mezi verzemi mění. Výše citovaná čísla popisují modely a datové sady testované v těchto studiích a neměla by být zobecňována na jiné nástroje. Každá organizace zavádějící přehled asistovaný umělou inteligencí by měla ověřit svůj vlastní pracovní postup oproti lidským referenčním standardům a tuto validaci reportovat.
7. Závěr
Umělá inteligence může urychlit rigorózní syntézu důkazů. Sama o sobě ji nemůže učinit důvěryhodnější. V případě doplňků stravy, medicínské výživy a novel foods, kde musí dokumentace obstát v regulačním a klinickém posouzení, je obhajitelným modelem zapojení člověka do procesu (human-in-the-loop): zavedené standardy (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), umělá inteligence použitá pouze tam, kde lze ověřit její výstup, každá citace a číslo zkontrolované oproti zdroji a jmenovitě uvedení odborníci zodpovědní za každý závěr.
