Samenvatting
Achtergrond: Beslissingen over veiligheid en werkzaamheid voor voedingssupplementen, levensmiddelen voor medisch gebruik en nieuwe ingrediënten zijn in toenemende mate afhankelijk van grote, heterogene hoeveelheden bewijsmateriaal: gerandomiseerde studies, observationele cohorten, dier toxicologie, in vitro mechanistisch werk en adviezen van regelgevende instanties. Machine learning en grote taalmodellen (LLM's) beloven de langzaamste fasen van bewijssynthese te verkorten, maar gepubliceerde evaluaties tonen aan dat hun betrouwbaarheid sterk varieert tussen taken.
Doelstelling: Het beschrijven van een mens-in-de-lus-raamwerk waarin AI-tools het ophalen, ontdubbelen, prioriteren en ontwerpen van data-extractie versnellen, terwijl elke inclusiebeslissing, risico-van-vertekeningsbeoordeling, zekerheidsbeoordeling en conclusie bij een benoemde, gekwalificeerde menselijke beoordelaar berust.
Methoden: Verhalend methodologisch overzicht van rapportage- en beoordelingsstandaarden (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, de OHAT-benadering en de EFSA-richtsnoeren over systematische beoordelingsmethodologie voor voedingsmiddelen- en diervoederveiligheid), van gepubliceerde evaluaties van machine learning en LLM's in systematische beoordelingstaken, en van de verplichtingen van Verordening (EU) 2024/1689 (de AI-verordening) die relevant zijn voor AI-ondersteund wetenschappelijk werk.
Conclusies: Het bewijsmateriaal ondersteunt AI als versneller van zoeken, screeningprioritering en ontwerpextractie, niet als autonome beoordelaar. Onbewaakte LLM-output kan gefabriceerde referenties en onbetrouwbare screeningbeslissingen bevatten. Een verdedigbare workflow registreert het protocol vooraf, logt elke door AI ondersteunde stap, verifieert elke citatie aan de hand van een bibliografisch register, controleert elk getal aan de hand van de brontekst en houdt het definitieve wetenschappelijke oordeel bij verantwoordelijke experts.
1. Inleiding
Een productdossier voor een voedingssupplement of een medisch nutritioneel product is slechts zo sterk als het bewijsoverzicht dat eraan ten grondslag ligt. Regelgevers, clinici en merkeigenaren moeten niet alleen weten wat een studie heeft gevonden, maar ook hoe de studies zijn gevonden, waarom sommige zijn uitgesloten en hoe zeker de beoordelaar is van het totale bewijsmateriaal. Systematische beoordelingsmethodologie beantwoordt deze vragen via een transparante, reproduceerbare volgorde: een vooraf gespecificeerde vraag en protocol, een gedocumenteerde zoekopdracht, onafhankelijke screening, gestructureerde data-extractie, risico-van-vertekeningsbeoordeling en een gegradeerde zekerheidsverklaring.
Voor de veiligheid van levensmiddelen en diervoeders publiceerde de Europese Autoriteit voor Voedselveiligheid reeds in 2010 richtsnoeren over het toepassen van deze methodologie op risicobeoordelingsvragen [10]. In de milieuongezondheid en toxicologie breidde de OHAT-benadering van het National Toxicology Program de systematische beoordeling uit naar de integratie van menselijk, dierlijk en mechanistisch bewijsmateriaal voor gevarenidentificatie [6]. Deze kaders zijn veeleisend: een enkele beoordeling kan duizenden records en weken aan expertentijd omvatten.
Machine learning-tools voor zoeken, screening en extractie zijn het afgelopen decennium volwassen geworden [15, 16], en voor algemene doeleinden bestemde LLM's zijn nu op grote schaal beschikbaar. De vraag voor elke organisatie die wetenschappelijke dossiers produceert is daarom niet langer of AI moet worden gebruikt, maar waar AI-output kan worden vertrouwd, waar deze moet worden geverifieerd en waar het menselijk oordeel niet kan worden gedelegeerd.
2. Rapportage- en beoordelingsstandaarden die niet veranderen met AI
2.1 Vraag, protocol en zoekopdracht
Een beoordeling begint met een gestructureerde vraag. Voor interventies is dit typisch PICO (populatie, interventie, comparator, uitkomst); voor veiligheids- en blootstellingsvragen is het PECO-kader (populatie, blootstelling, comparator, uitkomst) beter geschikt, omdat het plaats biedt aan blootstellingen die niet door de deelnemer worden gekozen en vergelijkingen over blootstellingsniveaus heen [9]. Het protocol moet worden geschreven voordat de screening begint en gerapporteerd volgens PRISMA-P, een checklist van 17 items [3].
De zoekopdracht moet reproduceerbaar zijn. PRISMA-S voegt 16 rapportage-items toe die specifiek zijn voor literatuurzoekopdrachten, waaronder de gebruikte databases en platforms, de volledige zoekreeksen, limieten, datum van de laatste zoekopdracht en de ontdubbelingsmethode [2]. Deze items zijn van toepassing ongeacht of een zoekvraag door een mens is opgesteld of door een AI-tool is gesuggereerd: de definitieve zoekreeks, zoals uitgevoerd, is wat moet worden gerapporteerd.
2.2 Selectie, extractie en rapportage
PRISMA 2020 biedt een checklist van 27 items en een stroomdiagram dat rekening houdt met elk record van identificatie tot inclusie [1]. De conventionele praktijk is onafhankelijke dubbele screening door twee beoordelaars. Een methodologische systematische beoordeling die enkelvoudige met dubbele screening vergelijkt, vond dat een medediaan van 5% van de relevante studies werd gemist door enkelvoudige screening (bereik 0–58%), oplopend tot een medediaan van 13% voor minder ervaren beoordelaars [11]. Overeenstemming tussen beoordelaars wordt doorgaans gekwantificeerd met Cohen's kappa [17] en geïnterpreteerd op de schaal van Landis en Koch, waarop waarden van 0,61–0,80 substantiële en 0,81–1,00 bijna volmaakte overeenstemming aangeven [18].
2.3 Risico van vertekening en zekerheid
Elke geïncludeerde studie wordt beoordeeld met een voor het ontwerp geschikte tool: RoB 2 voor gerandomiseerde studies, gestructureerd in vijf vertekeningsdomeinen [4], en ROBINS-I voor niet-gerandomiseerde studies van interventies, gestructureerd in zeven domeinen [5]. Bestaande systematische beoordelingen die als bewijs worden gebruikt, kunnen worden beoordeeld met AMSTAR 2 [8].
De zekerheid van het bewijsmateriaal voor elke uitkomst wordt vervolgens beoordeeld met GRADE, dat rekening houdt met risico van vertekening, inconsistentie, indirectheid, onnauwkeurigheid en publicatiebias, en het verhogen van de score toestaat voor grote effecten, dosis-responsquotiënten en resterende verstorende factoren die het waargenomen effect zouden verminderen [7]. De OHAT-benadering past deze logica aan op milieu- en toxicologisch bewijsmateriaal en vertaalt betrouwbaarheidsbeoordelingen in bewijsniveaus voor een gezondheidseffect, waarbij menselijke en dierlijke stromen worden geïntegreerd [6].
Geen van deze stappen is een administratieve taak. Bepalen of een studiepopulatie dicht genoeg bij de doelpopulatie ligt, of een dosering vergelijkbaar is, of dat een verstorende factor ernstig genoeg is om de zekerheid te verlagen, vereist domeinexpertise en verantwoordelijkheid.
3. Wat het bewijsmateriaal zegt over AI in systematische beoordelingen
3.1 Waar machine learning helpt
Marshall en Wallace beoordeelden machine learning-methoden die zijn voorgesteld voor zoeken, screening en data-extractie en concludeerden dat er verschillende klaar zijn voor praktisch gebruik, op voorwaarde dat het beoordelingsteam hun sterke punten en faalwijzen begrijpt [15]. Tools voor actief leren, die niet-gescreende records opnieuw rangschikken naarmate beoordelaars deze labelen, stellen teams in staat om relevante studies eerder in het screeningsproces te vinden; open-source, transparante kaders van dit type zijn beschikbaar [16]. Op deze manier gebruikt, maakt de mens nog steeds elke inclusiebeslissing; de machine verandert alleen de volgorde waarin records worden gezien.
Voor conceptdata-extractie vond een proof-of-conceptstudie dat een LLM 160 vooraf gedefinieerde data-elementen extraheerde uit 10 open-access gerandomiseerde studies met een algehele nauwkeurigheid van 96,3%; de meeste van de zes fouten betroffen gemiste items [12]. De auteurs kaderden dit in als potentieel voor efficiëntie, gebaseerd op een kleine steekproef van gemak, en niet als vervanging voor menselijke extractie.
3.2 Waar onbewaakte AI faalt
De screeningsprestaties zijn minder geruststellend. Een vooraf geregistreerde evaluatie van een voor algemene doeleinden bestemd LLM dat werkte als "human-out-of-the-loop" ontdekte dat de ogenschijnlijke nauwkeurigheid werd opgeblazen door toevallige overeenstemming en onbalans in de dataset. Na correctie varieerden de screeningsprestaties van geen enkele in gebalanceerde datasets tot matig in onbebalanceerde, en de prestaties van data-extractie waren matig. De auteurs concludeerden dat aanzienlijke voorzichtigheid geboden is [13].
Referentiegen generación is de meest ernstige faalwijze. Wanneer aan LLM's werd gevraagd om de referentielijsten van 11 gepubliceerde systematische beoordelingen te reproduceren, waren de hallucinatiepercentages (referenties waarbij minstens twee van de titel, eerste auteur of het jaar onjuist waren) 39,6%, 28,6% en 91,4% voor de drie geteste modellen, en de precisie bedroeg maximaal 13,4% [14]. Een dossier dat citeert uit een onbestaand artikel verliest zijn geloofwaardigheid bij regelgevers en clinici, ongeacht de kwaliteit van de rest van het werk.
3.3 Implicaties
Het patroon is consistent. AI is nuttig wanneer deze voorstelt en een mens beschikt: kandidaat-records, een screeningsvolgorde, een concept-extractietabel. Het is onbetrouwbaar wanneer de output zonder verificatie wordt geaccepteerd. De ontwerpvraag is daarom hoe elke AI-bijdrage verifieerbaar, gelogd en in bezit van een persoon kan worden gemaakt.
4. Een mens-in-de-lus-workflow
De onderstaande workflow zet de mens-in-de-lus-ontwerpprincipes uiteen die Olympia Biosciences hanteert bij het plannen van bewijsoverzichten voor de ontwikkeling van supplementen, nutraceuticals en medische voeding. Wanneer een beoordeling wordt uitgevoerd en gerapporteerd als systematisch, wordt van elke door AI ondersteunde fase verwacht dat deze het vermelde artefact produceert, dat een mens controleert en aftekent voordat de volgende fase begint.
- Vraag en protocol
Door AI ondersteunde bijdrage: Suggereert synoniemen, uitkomstenlijsten en kandidaat-PECO/PICO-elementen
Menselijke verantwoordelijkheid: Stelt de vraag, geschiktheidscriteria en analyseplan vast vóór screening
Verificatieartefact: Protocol gerapporteerd aan PRISMA-P [3]
- Zoekopdracht
Door AI ondersteunde bijdrage: Stelt varianten van zoekreeksen en kandidaat-records voor uit semantisch zoeken
Menselijke verantwoordelijkheid: Goedkeuring van de definitieve reeksen; voert deze uit en documenteert ze in bibliografische databases
Verificatieartefact: PRISMA-S zoekrecord [2]
- Ontdubbeling en prioritering
Door AI ondersteunde bijdrage: Groepeert duplicaten; rangschikt records op voorspelde relevantie [16]
Menselijke verantwoordelijkheid: Bevestigt samenvoegingen; screent elk record dat inclusie bepaalt
Verificatieartefact: PRISMA 2020 stroomdiagram [1]
- Screening
Door AI ondersteunde bijdrage: Markeert waarschijnlijke inclusies en exclusies als een tweede mening
Menselijke verantwoordelijkheid: Maakt en registreert elke inclusie-/exclusiebeslissing met redenen; lost conflicten op
Verificatieartefact: Besluitenlogboek; onderlinge overeenstemming (kappa) [17, 18]
- Data-extractie
Door AI ondersteunde bijdrage: Ontwerpt extractietabellen uit volledige teksten [12]
Menselijke verantwoordelijkheid: Controleert elk geëxtraheerd getal aan de hand van de brontekst
Verificatieartefact: Extractietabel met pagina-/figuurankers
- Risico van vertekening en zekerheid
Door AI ondersteunde bijdrage: Niets gedelegeerd
Menselijke verantwoordelijkheid: Past RoB 2, ROBINS-I, AMSTAR 2, GRADE of OHAT toe [4–8]
Verificatieartefact: Ondertekende beoordelingstabellen
- Citatie-integriteit
Door AI ondersteunde bijdrage: Verzamelt identificatoren
Menselijke verantwoordelijkheid: Lost elke DOI op in een bibliografisch register en bevestigt titel, auteurs en jaar
Verificatieartefact: Citatieverificatieregister
- Conclusies
Door AI ondersteunde bijdrage: Ontwerpt samenvattingen in eenvoudige taal
Menselijke verantwoordelijkheid: Schrijft en ondertekent de conclusie, inclusief expliciete hiaten in het bewijsmateriaal
Verificatieartefact: Benoemde, verantwoordelijke auteur
Drie regels maken de workflow verdedigbaar:
- Geen gefabriceerd bewijsmateriaal. Elke referentie wordt voor publicatie opgelost tegen een bibliografisch register. Een referentie die niet kan worden opgelost, wordt verwijderd en de leemte wordt vermeld als "geen direct bewijsmateriaal geïdentificeerd" in plaats van opgevuld.
- Elk getal is herleidbaar. Doses, effectgroottes, steekproefgroottes en limieten worden gecontroleerd aan de hand van het abstract of de volledige tekst, niet aan de hand van een AI-samenvatting.
- AI-output bestaat uit kandidaten, geen bevindingen. Door AI voorgestelde records, extracties en samenvattingen dienen als input voor menselijke beoordeling. Inclusie, beoordeling, zekerheid en conclusies zijn menselijke beslissingen, vastgelegd onder de naam van de reviewer.
5. Regelgevende context: de EU AI Act
Verordening (EU) 2024/1689 stelt geharmoniseerde regels vast voor kunstmatige intelligentie in de Europese Unie [19]. Twee bepalingen zijn direct relevant voor door AI ondersteund wetenschappelijk werk. Artikel 4 verplicht aanbieders en gebruikers van AI-systemen om te zorgen voor een voldoende niveau van AI-geletterdheid onder het personeel dat hiermee werkt. Artikel 14 vereist dat high-risk AI-systemen worden ontworpen voor effectief menselijk toezicht, zodat een persoon de capaciteiten en beperkingen van het systeem begrijpt, zich bewust blijft van automatiseringsbias, de output correct interpreteert en kan besluiten om deze niet te gebruiken of te overschrijven.
Ondersteunende tools voor literatuuronderzoek worden als zodanig niet aangemerkt als high-risk systemen. Het vrijwillig toepassen van de toezichtprincipes van artikel 14 is niettemin goede wetenschappelijke praktijk: het is hetzelfde principe dat de methodologie van systematische reviews altijd al heeft vereist, namelijk dat de reviewer, niet de tool, verantwoordelijk is voor elk oordeel.
6. Beperkingen
Dit is een narratieve methodologische review, geen systematische review van AI-tools. Gepubliceerde evaluaties van LLM's in evidencethesaurus zijn recent, vaak kleinschalig en speciaal ontworpen voor specifieke modellen, en de prestaties van modellen veranderen tussen versies. De hierboven genoemde cijfers beschrijven de modellen en datasets die in die studies zijn getest en mogen niet worden gegeneraliseerd naar andere tools. Elke organisatie die AI-ondersteunde reviews toepast, moet haar eigen workflow valideren aan de hand van menselijke referentiestandaarden en over die validatie rapporteren.
7. Conclusie
AI kan rigoureuze evidence-synthese versnellen. Op zichzelf kan het deze niet betrouwbaarder maken. Voor voedingssupplementen, medische voeding en novel foods, waar een dossier bestand moet zijn tegen wetgeving en klinische toetsing, is het verdedigbare model human-in-the-loop: gevestigde standaarden (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), AI alleen gebruikt waar de output kan worden geverifieerd, elke citatie en elk getal gecontroleerd aan de hand van de bron, en benoemde experts die verantwoordelijk zijn voor elke conclusie.
