Sammanfattning
Bakgrund: Beslut om säkerhet och effekt för kosttillskott, livsmedel för särskilda medicinska ändamål och nya livsmedelsingredienser är i allt högre grad beroende av stora, heterogena mängder evidens: randomiserade studier, observationella kohorter, djurtoxikologi, in vitro-mekanistiskt arbete och regulatoriska yttranden. Maskininlärning och stora språkmodeller (LLM) utlovar kortare tidsåtgång för de långsammaste stegen i evidenssyntesen, men publicerade utvärderingar visar att deras tillförlitlighet varierar kraftigt mellan olika uppgifter.
Syfte: Att beskriva ett ramverk med människan-i-slingan där AI-verktyg påskyndar sökning, deduplicering, prioritering och utkast till dataextraktion, samtidigt som varje beslut om inkludering, bedömning av snedvridningsrisk, säkerhetsgradering och slutsats förblir hos en namngiven, kvalificerad mänsklig granskare.
Metoder: Narrativ metodologisk genomgång av rapporterings- och utvärderingsstandarder (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, OHAT-metoden och EFSA:s vägledning om systematisk granskningsmetodologi för livsmedels- och foderstyrning), av publicerade utvärderingar av maskininlärning och LLM i systematiska granskningsuppgifter samt av skyldigheterna enligt förordning (EU) 2024/1689 (AI-akten) som är relevanta för AI-assisterat vetenskapligt arbete.
Slutsatser: Evidensen stöder AI som en accelerator för sökning, sållningsprioritering och utkast till extraktion, inte som en autonom granskare. Oövervakade LLM-resultat kan innehålla fabricerade referenser och otillförlitliga sållningsbeslut. Ett försvarbart arbetsflöde förhandsregistrerar protokollet, loggar varje AI-assisterat steg, verifierar varje citering mot ett bibliografiskt register, kontrollerar varje siffra mot källtexten och behåller den slutliga vetenskapliga bedömningen hos ansvariga experter.
1. Introduktion
En produktdossier för ett kosttillskott eller en medicinsk nutritions produkt är inte starkare än den evidensöversikt som ligger till grund för den. Regleringsmyndigheter, kliniker och varumärkesägare behöver veta inte bara vad en studie fann utan också hur studierna hittades, varför vissa exkluderades och hur säker granskaren är på den totala evidensmassan. Systematisk granskningsmetodologi besvarar dessa frågor genom en transparent, reproducerbar sekvens: en förspecificerad fråga och ett protokoll, en dokumenterad sökning, oberoende sållning, strukturerad dataextraktion, bedömning av snedvridningsrisk och ett graderat säkerhetsuttalande.
När det gäller livsmedels- och fodersäkerhet publicerade Europeiska myndigheten för livsmedelssäkerhet vägledning om tillämpning av denna metodologi på riskbedömningsfrågor redan 2010 [10]. Inom miljöhälsa och toxikologi utvidgade National Toxicology Programs OHAT-metod den systematiska granskningen till att omfatta integrering av human-, djur- och mekanistisk evidens för faroidentifiering [6]. Dessa ramverk är krävande: en enda granskning kan innefatta tusentals registerposter och veckor av experttid.
Maskininlärningsverktyg för sökning, sållning och extraktion har mognat under det senaste decenniet [15, 16], och generella LLM:er är nu allmänt tillgängliga. Frågan för alla organisationer som producerar vetenskapliga dossierer är därför inte längre om man ska använda AI, utan var AI-resultat kan lita på, var det måste verifieras och var det mänskliga omdömet inte kan delegeras.
2. Rapporterings- och utvärderingsstandarder som inte ändras med AI
2.1 Fråga, protokoll och sökning
En granskning börjar med en strukturerad fråga. För interventioner är detta vanligtvis PICO (population, intervention, jämförelseobjekt, utfall); för säkerhets- och exponeringsfrågor är PECO-ramverket (population, exponering, jämförelseobjekt, utfall) bättre lämpat, eftersom det rymmer exponeringar som inte väljs av deltagaren och jämförelser över exponeringsnivåer [9]. Protokollet bör skrivas innan sållningen påbörjas och rapporteras i enlighet med PRISMA-P, en checklista med 17 punkter [3].
Sökningen måste vara reproducerbar. PRISMA-S lägger till 16 rapporteringspunkter som är specifika för litteratursökningar, inklusive de databaser och plattformar som används, de fullständiga söksträngarna, begränsningar, datum för den senaste sökningen och dedupliceringsmetod [2]. Dessa punkter gäller oavsett om en fråga utformats av en person eller föreslagits av ett AI-verktyg: den slutliga söksträngen, så som den kördes, är det som måste rapporteras.
2.2 Urval, extraktion och rapportering
PRISMA 2020 tillhandahåller en checklista med 27 punkter och ett flödesschema som redovisar varje registerpost från identifiering till inkludering [1]. Konventionell praxis är oberoende dubbelsållning av två granskare. En metodologisk systematisk granskning som jämförde enkel med dubbel sållning fann att i median 5 % av relevanta studier missades vid enkel sållning (intervall 0–58 %), vilket ökade till i median 13 % för mindre erfarna granskare [11]. Överensstämmelse mellan granskare kvantifieras vanligen med Cohens kappa [17] och tolkas på Landis och Koch-skalan, där värden på 0,61–0,80 indikerar substantiell och 0,81–1,00 nästan perfekt överensstämmelse [18].
2.3 Snedvridningsrisk och säkerhet
Varje inkluderad studie bedöms med ett designanpassat verktyg: RoB 2 för randomiserade studier, strukturerat i fem domäner för snedvridning [4], och ROBINS-I för icke-randomiserade studier av interventioner, strukturerat i sju domäner [5]. Befintliga systematiska granskningar som används som evidens kan bedömas med AMSTAR 2 [8].
Säkerheten i evidensmassan för varje utfall bedöms därefter med GRADE, som tar hänsyn till snedvridningsrisk, inkonsekvens, indirekthet, imprecision och publikationsbias, och som medger uppgradering för stora effekter, dos-responssamband och kvarvarande confunderande faktorer som skulle minska den observerade effekten [7]. OHAT-metoden anpassar denna logik till miljö- och toxikologisk evidens och översätter konfidensgrader till evidensnivåer för en hälsoeffekt, vilket integrerar human- och djurströmmar [6].
Inget av dessa steg är en rutinuppgift. Att avgöra om en studiepopulation ligger tillräckligt nära målpopulationen, om en dos är jämförbar eller om en confounder är tillräckligt allvarlig för att sänka säkerheten kräver domänexpertis och ansvarsskyldighet.
3. Vad evidensen säger om AI i systematiska granskningar
3.1 Där maskininlärning hjälper till
Marshall och Wallace granskade maskininlärningsmetoder som föreslagits för sökning, sållning och dataextraktion och drog slutsatsen att flera är redo för praktisk användning, förutsatt att granskningsgruppen förstår deras styrkor och felmodeller [15]. Aktiva inlärningsverktyg, som rangordnar om osållade registerposter allteftersom granskare märker dem, gör det möjligt för team att hitta relevanta studier tidigare i sållningsprocessen; öppen källkod och transparenta ramverk av detta slag finns tillgängliga [16]. Använt på detta sätt fattar människan fortfarande varje beslut om inkludering; maskinen ändrar bara den ordning i vilken registerposterna ses.
För utkast till dataextraktion fann en proof-of-concept-studie att en LLM extraherade 160 fördefinierade dataelement från 10 randomiserade studier med fri tillgång med en total noggrannhet på 96,3 %; de flesta av dess sex fel bestod av missade poster [12]. Författarna formulerade detta som en potential för effektivitet, baserat på ett litet bekvämlighetsurval, inte som en ersättning för mänsklig extraktion.
3.2 Där oövervakad AI misslyckas
Sållningsprestandan är mindre betryggande. En förhandsregistrerad utvärdering av en generell LLM som arbetade "med människan utanför slingan" fann att den skenbara noggrannheten blåstes upp av slumpmässig överensstämmelse och obalans i datasetet. Efter justering varierade sållningsprestandan från ingen i balanserade dataset till måttlig i obalanserade, och dataextraktionsprestandan var måttlig. Författarna drog slutsatsen att betydande försiktighet krävs [13].
Referensgenerering är den allvarligaste felmodellen. När LLM:er ombads att reproducera referenslistorna för 11 publicerade systematiska granskningar var hallucinationsfrekvensen (referenser med minst två felaktiga uppgifter bland titel, förstaförfattare eller år) 39,6 %, 28,6 % och 91,4 % för de tre testade modellerna, och precisionen var som mest 13,4 % [14]. En dossier som hänvisar till ett icke-existerande papper förlorar sin trovärdighet hos tillsynsmyndigheter och kliniker, oavsett kvaliteten på resten av arbetet.
3.3 Konsekvenser
Mönstret är konsekvent. AI är användbart när det föreslår och en människa förfogar: kandidatposter, en sållningsordning, en extraktionstabell för utkast. Det är otillförlitligt när dess resultat accepteras utan verifiering. Designfrågan är därför hur man gör varje AI-bidrag verifierbart, loggat och ägt av en person.
4. Ett arbetsflöde med människan-i-slingan
Arbetsflödet nedan anger de designprinciper för människan-i-slingan som Olympia Biosciences använder vid planering av evidensöversikter för utveckling av kosttillskott, nutraceuticals och medicinsk nutrition. När en granskning utförs och rapporteras som systematisk förväntas varje AI-assisterat steg producera den uppräknade artefakten, vilken en människa kontrollerar och godkänner innan nästa steg påbörjas.
- Fråga och protokoll
AI-assisterat bidrag: Föreslår synonymer, utfallslistor och kandidatelement för PECO/PICO
Mänskligt ansvar: Fastställer frågan, urvalskriterierna och analysplanen före sållning
Verifieringsartefakt: Protokoll som rapporterats till PRISMA-P [3]
- Sökning
AI-assisterat bidrag: Föreslår varianter av söksträngar och kandidatposter från semantisk sökning
Mänskligt ansvar: Godkänner de slutliga strängarna; kör och dokumenterar dem i bibliografiska databaser
Verifieringsartefakt: PRISMA-S sökregisterpost [2]
- Deduplicering och prioritering
AI-assisterat bidrag: Grupperar dubbletter; rangordnar poster efter förväntad relevans [16]
Mänskligt ansvar: Bekräftar sammanslagningar; sållar varje post som avgör inkludering
Verifieringsartefakt: PRISMA 2020 flödesschema [1]
- Sållning
AI-assisterat bidrag: Flaggar sannolika inkluderingar och exkluderingar som en andra åsikt
Mänskligt ansvar: Fattar och registrerar varje beslut om inkludering/exkludering med motiveringar; löser konflikter
Verifieringsartefakt: Beslutslogg; överensstämmelse mellan bedömare (kappa) [17, 18]
- Dataextraktion
AI-assisterat bidrag: Upprättar utkast till extraktionstabeller från fulltexter [12]
Mänskligt ansvar: Kontrollerar varje extraherat nummer mot källtexten
Verifieringsartefakt: Extraktionstabell med sid-/figurofferter
- Snedvridningsrisk och säkerhet
AI-assisterat bidrag: Ingen delegerad
Mänskligt ansvar: Tillämpar RoB 2, ROBINS-I, AMSTAR 2, GRADE eller OHAT [4–8]
Verifieringsartefakt: Signerade bedömningstabeller
- Citeringsintegritet
AI-assisterat bidrag: Samlar in identifierare
Mänskligt ansvar: Löser upp varje DOI i ett bibliografiskt register och bekräftar titel, författare och år
Verifieringsartefakt: Citeringsverifieringsregister
- Slutsatser
AI-assisterat bidrag: Skriver utkast till klarspråkssammanfattningar
Mänskligt ansvar: Skriver och signerar slutsatsen, inklusive uttryckliga evidensluckor
Verifieringsartefakt: Namngiven, ansvarig författare
Tre regler gör arbetsflödet försvarbart:
- Ingen fabricerad evidens. Varje referens löses upp mot ett bibliografiskt register före publicering. En referens som inte kan lösas upp tas bort, och luckan anges som "ingen direkt evidens identifierad" snarare än fylls igen.
- Varje nummer är spårbart. Doser, effektstorlekar, urvalsstorlekar och gränser kontrolleras mot abstract eller fulltext, inte mot en AI-genererad sammanfattning.
- AI-resultat är kandidater, inte fynd. Register, extraktioner och sammanfattningar som föreslås av AI är indata för mänsklig granskning. Inkludering, bedömning, säkerhet och slutsatser är mänskliga beslut, dokumenterade med granskarens namn.
5. Regleringskontext: EU:s förordning om artificiell intelligens (AI Act)
Förordning (EU) 2024/1689 fastställer harmoniserade regler för artificiell intelligens i Europeiska unionen [19]. Två bestämmelser är direkt relevanta för AI-assisterat vetenskapligt arbete. Artikel 4 kräver att leverantörer och användare av AI-system säkerställer en tillräcklig nivå av AI-kompetens hos den personal som hanterar dem. Artikel 14 kräver att högrisk-AI-system utformas för effektiv mänsklig tillsyn, så att en person kan förstå systemets kapacitet och begränsningar, vara medveten om automatiseringsbias, tolka dess resultat korrekt och besluta att inte använda eller att åsidosätta det.
Stödverktyg för litteraturöversikter klassificeras inte som sådana som högrisk-system. Att tillämpa artikel 14:s principer för tillsyn på frivillig basis är ändå god vetenskaplig sed: det är samma princip som metodiken för systematiska översikter alltid har krävt, nämligen att granskaren, inte verktyget, är ansvarig för varje bedömning.
6. Begränsningar
Detta är en narrativ metodologisk översikt, inte en systematisk översikt över AI-verktyg. Publicerade utvärderingar av språkmodeller (LLM) vid evidenssyntes är nya, ofta små och modellspecifika, och modellprestandan förändras mellan versioner. De siffror som nämns ovan beskriver de modeller och datamängder som testades i dessa studier och bör inte generaliseras till andra verktyg. Varje organisation som antar AI-assisterad granskning bör validera sitt eget arbetsflöde mot mänskliga referensstandarder och rapportera denna validering.
7. Slutsats
AI kan göra rigorös evidenssyntes snabbare. Den kan inte göra den mer tillförlitlig på egen hand. För kosttillskott, medicinsk nutrition och nya livsmedel (novel food), där en dossier måste hålla för regulatorisk och klinisk granskning, är den försvarbara modellen human-in-the-loop: etablerade standarder (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), AI som endast används där dess resultat kan verifieras, varje citat och nummer kontrollerat mot källan, samt namngivna experter som ansvarar för varje slutsats.
