Sammendrag
Bakgrunn: Beslutninger om sikkerhet og effekt for kosttilskudd, næringsmidler til særlige formål og nye ingredienser avhenger i økende grad av store, heterogene datagrunnlag: randomiserte studier, observasjonskohorter, dyretoksikologi, in vitro-mekanistisk arbeid og regulatoriske uttalelser. Maskinlæring og store språkmodeller (LLM-er) lover å forkorte de langsommeste stadiene av evidenssyntese, men publiserte evalueringer viser at deres pålitelighet varierer sterkt mellom oppgaver.
Målsetting: Å beskrive et rammeverk med menneske-i-løkken der AI-verktøy akselererer henting, deduplisering, prioritering og utkast til dataekstraksjon, samtidig som enhver inklusjonsbeslutning, skjevhetsvurdering, sikkerhetsgradering og konklusjon forblir hos en navngitt, kvalifisert menneskelig fagfellevurderer.
Metoder: Narrativ metodologisk gjennomgang av rapporterings- og vurderingsstandarder (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, OHAT-tilnærmingen og EFSA-veiledningen om systematisk gjennomgangsmetodikk for mat- og fôrsikkerhet), av publiserte evalueringer av maskinlæring og LLM-er i oppgaver for systematiske gjennomganger, og av forpliktelsene i forordning (EU) 2024/1689 (forordningen om kunstig intelligens) som er relevante for AI-assistert vitenskapelig arbeid.
Konklusjoner: Evidensen støtter AI som en akselerator for søk, screeningsprioritering og utkast til ekstraksjon, ikke som en autonom anmelder. Uovervåket LLM-utdata kan inneholde produserte referanser og upålitelige screeningsbeslutninger. En defensiv arbeidsflyt forhåndsregistrerer protokollen, logger hvert AI-assistert trinn, verifiserer hver sitering mot et bibliografisk register, sjekker hvert tall mot kildeteksten og beholder den endelige vitenskapelige vurderingen hos ansvarlige eksperter.
1. Introduksjon
En produktdosier for et kosttilskudd eller et medisinsk ernæringsprodukt er ikke sterkere enn evidensgjennomgangen bak den. Regulatorer, klinikere og merkevareeiere må vite ikke bare hva en studie fant, men hvordan studiene ble funnet, hvorfor noen ble ekskludert, og hvor sikker vurderingen er på den samlede mengden evidens. Systematisk gjennomgangsmetodikk besvarer disse spørsmålene gjennom en transparent, reproduserbar sekvens: et forhåndsspesifisert spørsmål og protokoll, et dokumentert søk, uavhengig screening, strukturert dataekstraksjon, skjevhetsvurdering og en gradert sikkerhetserklæring.
For mat- og fôrsikkerhet publiserte Den europeiske myndighet for næringsmiddeltrygghet veiledning om bruk av denne metodikken på risikovurderingsspørsmål allerede i 2010 [10]. Innen miljøhelse og toksikologi utvidet Det nasjonale toksikologiprogrammets OHAT-tilnærming systematisk gjennomgang til integrering av human-, dyre- og mekanistisk evidens for fareidentifikasjon [6]. Disse rammeverkene er krevende: en enkelt gjennomgang kan involvere tusenvis av poster og uker med eksperttid.
Maskinlæringsverktøy for søk, screening og ekstraksjon har modnet i løpet av det siste tiåret [15, 16], og generelle LLM-er er nå allment tilgjengelige. Spørsmålet for enhver organisasjon som produserer vitenskapelige dosierer, er derfor ikke lenger om man skal bruke AI, men hvor AI-utdata kan stoles på, hvor de må verifiseres, og hvor menneskelig dømmekraft ikke kan delegeres.
2. Rapporterings- og vurderingsstandarder som ikke endrer seg med AI
2.1 Spørsmål, protokoll og søk
En gjennomgang starter med et strukturert spørsmål. For intervensjoner er dette typisk PICO (populasjon, intervensjon, komparator, utfall); for sikkerhets- og eksponeringsspørsmål egner PECO-rammeverket (populasjon, eksponering, komparator, utfall) seg bedre, fordi det rommer eksponeringer som ikke velges av deltakeren, og sammenligninger på tvers av eksponeringsnivåer [9]. Protokollen bør skrives før screening begynner og rapporteres i henhold til PRISMA-P, en sjekkliste med 17 punkter [3].
Søket må være reproduserbart. PRISMA-S legger til 16 rapporteringspunkter spesifikke for litteratursøk, inkludert databasene og plattformene som ble brukt, de fullstendige søkestrengene, begrensninger, dato for siste søk og dedupliseringsmetode [2]. Disse punktene gjelder uavhengig av om et søk ble utarbeidet av en person eller foreslått av et AI-verktøy: den endelige søkestrengen, slik den ble utført, er det som må rapporteres.
2.2 Utvalg, ekstraksjon og rapportering
PRISMA 2020 gir en sjekkliste med 27 punkter og et flytdiagram som gjør rede for hver enkelt post fra identifisering til inklusjon [1]. Konvensjonell praksis er uavhengig dobbeltscreening av to fagfellevurderere. En metodologisk systematisk gjennomgang som sammenlignet enkel og dobbel screening, fant at en median på 5 % av relevante studier ble overlevert ved enkel screening (område 0–58 %), som økte til en median på 13 % for mindre erfarne fagfellevurderere [11]. Overensstemmelse mellom fagfellevurderere kvantifiseres vanligvis med Cohens kappa [17] og tolkes på Landis- og Koch-skalaen, der verdier på 0,61–0,80 indikerer vesentlig og 0,81–1,00 nesten perfekt overensstemmelse [18].
2.3 Skjevhet og sikkerhet
Hver inkludert studie vurderes med et designegnet verktøy: RoB 2 for randomiserte studier, strukturert i fem skjevhetsdomener [4], og ROBINS-I for ikke-randomiserte studier av intervensjoner, strukturert i sju domener [5]. Eksisterende systematiske gjennomganger som brukes som evidens, kan vurderes med AMSTAR 2 [8].
Sikkerheten til evidensmengden for hvert utfall blir deretter gradert med GRADE, som tar hensyn til skjevhet, inkonsekvens, indirektehet, unøyaktighet og publiseringsskjevhet, og tillater oppgradering for store effekter, dose-respons-gradienter og rest confounding som ville redusert den observerte effekten [7]. OHAT-tilnærmingen tilpasser denne logikken til miljø- og toksikologisk evidens og oversetter tillitsvurderinger til evidensnivåer for en helseeffekt, der den integrerer humane og dyrebaserte strømmer [6].
Ingen av disse trinnene er en kontoroppgave. Å avgjøre om en studiepopulasjon er nær nok målpopulasjonen, om en dose er sammenlignbar, eller om en konfunderende faktor er alvorlig nok til å nedgradere sikkerheten, krever domeneekspertise og ansvarlighet.
3. Hva evidensen sier om AI i systematiske gjennomganger
3.1 Hvor maskinlæring hjelper
Marshall og Wallace gjennomgikk maskinlæringsmetoder foreslått for søk, screening og dataekstraksjon, og konkluderte med at flere er klare til praktisk bruk, forutsatt at gjennomgangsteamet forstår deres styrker og feilmoduser [15]. Aktive læringsverktøy, som rangerer uscreenede poster på nytt etter hvert som fagfellevurderere merker dem, lar team finne relevante studier tidligere i screeningsprosessen; åpne, transparente rammeverk av denne typen er tilgjengelige [16]. Brukt på denne måten tar mennesket fremdeles hver inklusjonsbeslutning; maskinen endrer bare rekkefølgen postene blir sett i.
For utkast til dataekstraksjon fant en konseptbevisstudie at en LLM ekstraherte 160 forhåndsdefinerte dataelementer fra 10 åpen tilgang-randomiserte studier med en total nøyaktighet på 96,3 %; de fleste av dens seks feil var utelatte elementer [12]. Forfatterne rammet inn dette som et potensial for effektivitet, basert på et lite bekvemmelighetsutvalg, ikke som en erstatning for menneskelig ekstraksjon.
3.2 Hvor uovervåket AI feiler
Screeningsytelsen er mindre beroligende. En forhåndsregistrert evaluering av en generell LLM som arbeidet «menneske-ute-av-løkken», fant at den tilsynelatende nøyaktigheten ble blåst opp av tilfeldig overensstemmelse og ubalanse i datasettet. Etter justering varierte screeningsytelsen fra ingen i balanserte datasett til moderat i ubalanserte, og dataekstraksjonsytelsen var moderat. Forfatterne konkluderte med at det trengs betydelig forsiktighet [13].
Referansegenerering er den alvorligste feilmodusen. Da LLM-er ble bedt om å gjengi referanselistene til 11 publiserte systematiske gjennomganger, var hallusinasjonsratene (referanser der minst to av tittel, første forfatter eller årstall var feil) 39,6 %, 28,6 % og 91,4 % for de tre testede modellene, og presisjonen var høyst 13,4 % [14]. En dosier som siterer et ikke-eksisterende papir, mister sin troverdighet overfor regulatorer og klinikere, uavhengig av kvaliteten på resten av arbeidet.
3.3 Implikasjoner
Mønsteret er konsistent. AI er nyttig når den foreslår og et menneske disponerer: kandidatposter, en screeningsrekkefølge, en ekstraksjonstabell for utkast. Den er upålitelig når dens utdata aksepteres uten verifisering. Designspørsmålet er derfor hvordan man gjør ethvert AI-bidrag verifiserbart, logget og eid av en person.
4. En arbeidsflyt med menneske-i-løkken
Arbeidsflyten nedenfor angir designprinsippene for menneske-i-løkken som Olympia Biosciences bruker når de planlegger evidensgjennomganger for utvikling av tilskudd, nutraceuticals og medisinsk ernæring. Når en gjennomgang utføres og rapporteres som systematisk, forventes hvert AI-assistert trinn å produsere det opplistede artefaktet, som et menneske sjekker og godkjenner før neste trinn begynner.
- Spørsmål og protokoll
AI-assistert bidrag: Foreslår synonymer, utfallslister og kandidat-PECO/PICO-elementer
Menneskelig ansvar: Fastsetter spørsmålet, egnethetskriteriene og analyseteori før screening
Verifikasjonsartefakt: Protokoll rapportert til PRISMA-P [3]
- Søk
AI-assistert bidrag: Foreslår søkestrengvarianter og kandidatposter fra semantisk søk
Menneskelig ansvar: Godkjenner de endelige strengene; kjører og dokumenterer dem i bibliografiske databaser
Verifikasjonsartefakt: PRISMA-S søkepost [2]
- Deduplisering og prioritering
AI-assistert bidrag: Grupperer duplikater; rangerer poster etter predikert relevans [16]
Menneskelig ansvar: Bekrefter sammenslåinger; screener hver post som avgjør inklusjon
Verifikasjonsartefakt: PRISMA 2020 flytdiagram [1]
- Screening
AI-assistert bidrag: Flagger sannsynlige inkluderinger og ekskluderinger som en annen mening
Menneskelig ansvar: Tar og registrerer hver inklusjons-/eksklusjonsbeslutning med årsaker; løser konflikter
Verifikasjonsartefakt: Beslutningslogg; overensstemmelse mellom bedømmere (kappa) [17, 18]
- Dataekstraksjon
AI-assistert bidrag: Utarbeider utkast til ekstraksjonstabeller fra fulltekster [12]
Menneskelig ansvar: Sjekker hvert ekstrahert tall mot kildeteksten
Verifikasjonsartefakt: Ekstraksjonstabell med side-/figurforankringer
- Skjevhet og sikkerhet
AI-assistert bidrag: Ingen delegert
Menneskelig ansvar: Bruker RoB 2, ROBINS-I, AMSTAR 2, GRADE eller OHAT [4–8]
Verifikasjonsartefakt: Signerte vurderingstabeller
- Siteringsintegritet
AI-assistert bidrag: Samler identifikatorer
Menneskelig ansvar: Løser hver DOI i et bibliografisk register og bekrefter tittel, forfattere og årstall
Verifikasjonsartefakt: Siteringsverifikasjonsregister
- Konklusjoner
AI-assistert bidrag: Utarbeider sammendrag på enkelt språk
Menneskelig ansvar: Skriver og signerer konklusjonen, inkludert eksakte evidensgap
Verifikasjonsartefakt: Navngitt, ansvarlig forfatter
Tre regler gjør arbeidsflyten defensibel:
- Ingen fabrikert evidens. Hver referanse blir løst mot et bibliografisk register før publisering. En referanse som ikke kan løses, fjernes, og hullet oppgis som «ingen direkte evidens identifisert» i stedet for å fylles ut.
- Hvert tall kan spores. Doser, effektstørrelser, utvalgsstørrelser og grenser kontrolleres mot sammendraget eller fullteksten, ikke mot et AI-sammendrag.
- AI-genererte resultater er kandidater, ikke funn. Oppføringer, ekstraksjoner og sammendrag foreslått av AI utgjør inndata for menneskelig gjennomgang. Inkludering, vurdering, sikkerhet og konklusjoner er menneskelige beslutninger som registreres med anmelderens navn.
5. Regulatorisk kontekst: EU AI Act
Forordning (EU) 2024/1689 fastsetter harmoniserte regler for kunstig intelligens i Den europeiske union [19]. To bestemmelser er direkte relevante for AI-assistert vitenskapelig arbeid. Artikkel 4 krever at leverandører og brukere av AI-systemer sikrer et tilstrekkelig nivå av AI-forståelse blant personalet som betjener dem. Artikkel 14 krever at høyrisiko-AI-systemer utformes for effektiv menneskelig tilsyn, slik at en person kan forstå systemets kapasitet og begrensninger, være oppmerksom på automatiseringsskjevhet, tolke resultatet korrekt og beslutte å ikke bruke det eller overstyre det.
Støtteverktøy for litteraturgjennomgang er ikke som sådan oppført som høyrisikosystemer. Å anvende prinsippene for tilsyn i artikkel 14 på frivillig basis er imidlertid god vitenskapelig praksis: det er det samme prinsippet som systematisk gjennomgangsmetodikk alltid har krevd, nemlig at det er gjennomføreren, ikke verktøyet, som er ansvarlig for hver enkelt vurdering.
6. Begrensninger
Dette er en narrativ metodologisk gjennomgang, ikke en systematisk gjennomgang av AI-verktøy. Publiserte evalueringer av store språkmodeller i evidenssyntese er nylige, ofte små og modellspesifikke, og modellytelsen endrer seg mellom versjoner. Tallene som siteres ovenfor, beskriver modellene og datasettene som ble testet i disse studiene, og bør ikke generaliseres til andre verktøy. Enhver organisasjon som tar i bruk AI-assistert gjennomgang, bør validere sin egen arbeidsflyt mot menneskelige referansestandarder og rapportere denne valideringen.
7. Konklusjon
AI kan gjøre streng evidenssyntese raskere. Den kan ikke gjøre den mer troverdig på egen hånd. For kosttilskudd, medisinsk ernæring og nye ingredienser, der en dossier må tåle regulatorisk og klinisk gransking, er den forsvarlige modellen mennesket i loopen: etablerte standarder (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), AI brukt utelukkende der resultatet kan verifiseres, alle sitater og tall sjekket mot kilden, og navngitte eksperter som er ansvarlige for hver konklusjon.
