Menneske-i-loopen-AI til systematisk review inden for fødevare- og kosttilskudssikkerhed

Resumé

Baggrund: Beslutninger om sikkerhed og effekt for kosttilskud, fødevarer til særlige medicinske formål og nye ingredienser afhænger i stigende grad af store, heterogene datagrundlag: randomiserede forsøg, observationelle kohorter, dyretoksikologi, in vitro-mekanisk arbejde og regulerende udtalelser. Maskinlæring og store sprogmodeller (LLM'er) lover at forkorte de langsommeste stadier af evidenssyntese, men publicerede evalueringer viser, at deres pålidelighed varierer kraftigt mellem opgaver.

Formål: At beskrive en human-in-the-loop-ramme, hvor AI-værktøjer accelererer søgning, deduplikering, prioritering og udkast til dataudtræk, mens enhver inklusionsbeslutning, risikovurdering, sikkerhedsvurdering og konklusion forbliver hos en navngiven, kvalificeret menneskelig reviewer.

Metoder: Narrativ metodologisk gennemgang af rapporterings- og vurderingsstandarder (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, OHAT-tilgang og EFSA's vejledning om systematisk gennemgangsmetodologi for fødevare- og foderstofsikkerhed), af publicerede evalueringer af maskinlæring og LLM'er i systematiske gennemgangsopgaver samt af forpligtelserne i forordning (EU) 2024/1689 (forordningen om kunstig intelligens), der er relevante for AI-assisteret videnskabeligt arbejde.

Konklusioner: Evidensen understøtter AI som en accelerator for søgning, screeningsprioritering og udtræksudkast, ikke som en autonom reviewer. Uovervåget LLM-output kan indeholde fabriquerede referencer og upålidelige screeningsbeslutninger. En forsvarlig arbejdsgang forhåndsregistrerer protokollen, logger hvert AI-assisteret trin, verificerer hver citation mod et bibliografisk register, kontrollerer hvert tal mod kildeteksten og bevarer den endelige videnskabelige bedømmelse hos ansvarlige eksperter.

1. Introduktion

Et produktdossier for et kosttilskud eller et medicinsk ernæringsprodukt er kun så stærkt som den evidensgennemgang, der ligger bag. Myndigheder, klinikere og varemærkeejere har brug for at vide ikke blot, hvad et studie fandt, men hvordan studierne blev fundet, hvorfor nogle blev udelukket, og hvor sikker revieweren er på det samlede evidensgrundlag. Systematisk gennemgangsmetodologi besvarer disse spørgsmål gennem en transparent, reproducerbar sekvens: et specificeret spørgsmål og protokol, en dokumenteret søgning, uafhængig screening, struktureret dataudtræk, risikovurdering og en gradueret erklæring om sikkerhed.

For fødevare- og foderstofsikkerhed offentliggjorde Den Europæiske Fødevaresikkerhedsautoritet vejledning om anvendelse af denne metodologi på risikovurderingsspørgsmål allerede i 2010 [10]. Inden for miljøsundhed og toksikologi udvidede National Toxicology Programs OHAT-tilgang systematisk gennemgang til integration af human-, dyre- og mekanistisk evidens til fareidentifikation [6]. Disse rammer er krævende: et enkelt review kan involvere tusindvis af registre og ugers eksperttid.

Maskinlæringsværktøjer til søgning, screening og udtræk er modnet over det seneste årti [15, 16], og generelle LLM'er er nu bredt tilgængelige. Spørgsmålet for enhver organisation, der producerer videnskabelige dossierer, er derfor ikke længere, om man skal bruge AI, men hvor AI-output kan stoles på, hvor det skal verificeres, og hvor menneskelig dømmekraft ikke kan delegeres.

2. Rapporterings- og vurderingsstandarder, der ikke ændrer sig med AI

2.1 Spørgsmål, protokol og søgning

Et review starter med et struktureret spørgsmål. For interventioner er dette typisk PICO (population, intervention, komparator, udfald); for sikkerheds- og eksponeringsspørgsmål er PECO-rammen (population, eksponering, komparator, udfald) bedre egnet, fordi den rummer eksponeringer, der ikke vælges af deltageren, og sammenligninger på tværs af eksponeringsniveauer [9]. Protokollen bør skrives, før screening begynder, og rapporteres i henhold til PRISMA-P, en tjekliste med 17 punkter [3].

Søgningen skal være reproducerbar. PRISMA-S tilføjer 16 rapporteringspunkter specifikke for litteratursøgninger, herunder de anvendte databaser og platforme, de fulde søgestrenge, grænser, dato for sidste søgning og deduplikeringsmetode [2]. Disse punkter gælder uanset, om en forespørgsel blev udarbejdet af en person eller foreslået af et AI-værktøj: Den endelige søgestreng, som udført, er det, der skal rapporteres.

2.2 Udvælgelse, udtræk og rapportering

PRISMA 2020 leverer en tjekliste med 27 punkter og et flowdiagram, der gør rede for hver post fra identifikation til inklusion [1]. Konventionel praksis er uafhængig dobbelt screening af to reviewers. Et metodologisk systematisk review, der sammenlignede enkelt med dobbelt screening, fandt en median på 5% af relevante studier overset ved enkelt screening (interval 0–58%), stigende til en median på 13% for mindre erfarne reviewers [11]. Overensstemmelse mellem reviewers kvantificeres almindeligvis med Cohens kappa [17] og fortolkes på Landis- og Koch-skalaen, hvor værdier på 0,61–0,80 indikerer væsentlig og 0,81–1,00 næsten perfekt overensstemmelse [18].

2.3 Risiko for bias og sikkerhed

Hvert inkluderede studie vurderes med et design-egnet værktøj: RoB 2 for randomiserede forsøg, struktureret i fem bias-domæner [4], og ROBINS-I for ikke-randomiserede studier af interventioner, struktureret i syv domæner [5]. Eksisterende systematiske reviews, der bruges som evidens, kan vurderes med AMSTAR 2 [8].

Sikkerheden af evidensgrundlaget for hvert udfald vurderes derefter med GRADE, som tager højde for risiko for bias, inkonsistens, indirekthed, upræcision og publikationsbias og tillader opgradering ved store effekter, dosissvarende gradienter og residual confounding, der ville reducere den observerede effekt [7]. OHAT-tilgangen tilpasser denne logik til miljø- og toksikologisk evidens og omsætter tillidsvurderinger til evidensniveauer for en sundhedseffekt ved at integrere humane strømme og dyrestrømme [6].

Intet af disse trin er en kontoropgave. At beslutte, hvorvidt en studiepopulation er tæt nok på målpopulationen, om en dosis er sammenlignelig, eller om en confounder er alvorlig nok til at nedgradere sikkerheden, kræver domæneekspertise og ansvarlighed.

3. Hvad evidensen siger om AI i systematiske reviews

3.1 Hvor maskinlæring hjælper

Marshall og Wallace gennemgik maskinlæringsmetoder foreslået til søgning, screening og dataudtræk og konkluderede, at adskillige er klar til praktisk brug, forudsat at review-teamet forstår deres styrker og svigtformer [15]. Aktive læringsværktøjer, som omrangerer uscreenede poster, efterhånden som reviewers mærker dem, gør det muligt for teams at finde relevante studier tidligere i screeningsprocessen; open source- og transparente rammer af denne type er tilgængelige [16]. Brugt på denne måde foretager mennesket stadig enhver inklusionsbeslutning; maskinen ændrer kun den rækkefølge, hvori posterne ses.

For udkast til dataudtræk fandt et proof-of-concept-studie, at en LLM udtrød 160 prædefinerede dataelementer fra 10 open access-randomiserede forsøg med en samlet nøjagtighed på 96,3%; de fleste af dens seks fejl var oversete elementer [12]. Forfatterne indrammede dette som potentiale for effektivitet baseret på et lille bekvemmelighedsudvalg, ikke som en erstatning for menneskeligt udtræk.

3.2 Hvor uovervåget AI svigter

Screeningspræstationen er mindre beroligende. En forhåndsregistreret evaluering af en generel LLM, der arbejdede "human-out-of-the-loop", fandt, at den tilsyneladende nøjagtighed var oppustet af tilfældig overensstemmelse og datasæt-ubalance. Efter justering varierede screeningspræstationen fra ingen i afbalancerede datasæt til moderat i ubalancerede, og dataudtrækspræstationen var moderat. Forfatterne konkluderede, at der kræves væsentlig forsigtighed [13].

Referenceregenerering er den alvorligste svigtform. Når LLM'er blev bedt om at reproducere referencelisterne for 11 publicerede systematiske reviews, var hallucinationsraterne (referencer med mindst to af titel, første forfatter eller årstal forkert) på 39,6%, 28,6% og 91,4% for de tre testede modeller, og præcisionen var højst 13,4% [14]. Et dossier, der citerer et ikke-eksisterende papir, mister sin troværdighed hos myndigheder og klinikere uanset kvaliteten af resten af arbejdet.

3.3 Implikationer

Mønstret er konsekvent. AI er nyttig, når den foreslår, og et menneske disponerer: kandidatposter, en screeningsrækkefølge, en udtrækstabel til udkast. Den er upålidelig, når dens output accepteres uden verifikation. Designspørgsmålet er derfor, hvordan man gør ethvert AI-bidrag verificerbart, logget og ejet af en person.

4. En human-in-the-loop-arbejdsgang

Arbejdsgangen nedenfor fastsætter de human-in-the-loop-designdelprincipper, som Olympia Biosciences anvender ved planlægning af evidensgennemgange til udvikling af tilskud, neutraceuticals og medicinsk ernæring. Når et review udføres og rapporteres som systematisk, forventes hvert AI-assisteret trin at producere det anførte artefakt, som et menneske kontrollerer og godkender, før næste trin begynder.

1. Spørgsmål og protokol

   AI-assisteret bidrag: Foreslår synonyme, udadlistede og kandidat-PECO-/PICO-elementer

   Menneskeligt ansvar: Fastlægger spørgsmålet, berettigelseskriterierne og analyseplanen før screening

   Verifikationsartefakt: Protokol rapporteret til PRISMA-P [3]

2. Søgning

   AI-assisteret bidrag: Foreslår søgestrengsvarianter og kandidatposter fra semantisk søgning

   Menneskeligt ansvar: Godkender de endelige strenge; kører og dokumenterer dem i bibliografiske databaser

   Verifikationsartefakt: PRISMA-S-søgeregister [2]

3. Deduplikering og prioritering

   AI-assisteret bidrag: Grupperer duplikater; rangerer poster efter forventet relevans [16]

   Menneskeligt ansvar: Bekræfter fletninger; screener hver post, der afgør inklusion

   Verifikationsartefakt: PRISMA 2020-flowdiagram [1]

4. Screening

   AI-assisteret bidrag: Markerer sandsynlige inklusioner og eksklusioner som en anden mening

   Menneskeligt ansvar: Træffer og registrerer enhver inklusions-/eksklusionsbeslutning med årsager; løser konflikter

   Verifikationsartefakt: Beslutningslog; inter-rater-overensstemmelse (kappa) [17, 18]

5. Dataudtræk

   AI-assisteret bidrag: Udarbejder udtrækstabeller ud fra fulde tekster [12]

   Menneskeligt ansvar: Kontrollerer hvert udtrukket tal mod kildeteksten

   Verifikationsartefakt: Udtrækstabel med side-/figurankre

6. Risiko for bias og sikkerhed

   AI-assisteret bidrag: Ingen delegeret

   Menneskeligt ansvar: Anvender RoB 2, ROBINS-I, AMSTAR 2, GRADE eller OHAT [4–8]

   Verifikationsartefakt: Signerede vurderingstabeller

7. Citationsintegritet

   AI-assisteret bidrag: Indsamler identifikatorer

   Menneskeligt ansvar: Løser enhver DOI i et bibliografisk register og bekræfter titel, forfattere og årstal

   Verifikationsartefakt: Citationsverifikationsregister

8. Konklusioner

   AI-assisteret bidrag: Udarbejder resuméer i almindeligt sprog

   Menneskeligt ansvar: Skriver og underskriver konklusionen, herunder eksplicite evidenshuller

   Verifikationsartefakt: Navngiven, ansvarlig forfatter

Tre regler gør arbejdsgangen forsvarlig:

1. Ingen fabrikeret evidens. Enhver reference løses mod et bibliografisk register før publikation. En reference, der ikke kan løses, fjernes, og hullet angives som "ingen direkte evidens identificeret" frem for at blive udfyldt.
2. Ethvert tal kan spores. Doser, effektstørrelser, udvalgsstørrelser og grænser kontrolleres mod abstraktet eller fuldteksten, ikke mod et AI-resumé.
3. AI-genererede resultater er kandidater, ikke fund. Registreringer, ekstraktioner og resuméer foreslået af AI er input til menneskelig gennemgang. Inklusion, vurdering, sikkerhed og konklusioner er menneskelige beslutninger, der registreres med reviewerens navn.

5. Regulatorisk kontekst: EU's forordning om kunstig intelligens (AI Act)

Forordning (EU) 2024/1689 fastsætter harmoniserede regler for kunstig intelligens i Den Europæiske Union [19]. To bestemmelser er direkte relevante for AI-assisteret videnskabeligt arbejde. Artikel 4 kræver, at udbydere og implementere af AI-systemer sikrer et tilstrækkeligt niveau af AI-kompetence blandt det personale, der betjener dem. Artikel 14 kræver, at højrisiko-AI-systemer designes til effektiv menneskelig overvågning, så en person kan forstå systemets kapaciteter og begrænsninger, forblive opmærksom på automatiseringsbias, fortolke dets output korrekt og beslutte ikke at bruge det eller tilsidesætte det.

Støtteværktøjer til litteraturgennemgang er som sådan ikke opført som højrisikosystemer. At anvende principperne for overvågning i Artikel 14 frivilligt er ikke desto mindre god videnskabelig praksis: det er det samme princip, som metoden for systematiske reviews altid har krævet, nemlig at revieweren, og ikke værktøjet, er ansvarlig for enhver vurdering.

6. Begrænsninger

Dette er et narrativt metodologisk review, ikke et systematisk review af AI-værktøjer. Publicerede evalueringer af sprogmodeller (LLM'er) i evidenssyntese er af ny dato, ofte små og modelspecifikke, og modellernes ydeevne ændrer sig mellem versioner. De anførte tal beskriver de modeller og datasæt, der blev testet i disse studier, og bør ikke generaliseres til andre værktøjer. Enhver organisation, der tager AI-assisteret review i brug, bør validere sin egen arbejdsgang mod menneskelige referencestandarder og rapportere denne validering.

7. Konklusion

AI kan gøre stringent evidenssyntese hurtigere. Den kan ikke gøre den mere troværdig i sig selv. For kosttilskud, medicinsk ernæring og nye ingredienser, hvor et dossier skal kunne modstå regulatorisk og klinisk granskning, er den forsvarlige model mennesket i loopen (human-in-the-loop): etablerede standarder (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), AI anvendt udelukkende hvor dens output kan verificeres, hvor hver enkelt citation og hvert enkelt tal kontrolleres mod kilden, og hvor navngivne eksperter er ansvarlige for enhver konklusion.