Zusammenfassung
Hintergrund: Entscheidungen über Sicherheit und Wirksamkeit von Nahrungsergänzungsmitteln, Lebensmitteln für besondere medizinische Zwecke und neuartigen Zutaten hängen zunehmend von großen, heterogenen Evidenzbasen ab: randomisierten Studien, Beobachtungskohorten, tierischer Toxikologie, mechanistischen In-vitro-Arbeiten und behördlichen Stellungnahmen. Maschinelles Lernen und große Sprachmodelle (LLMs) versprechen, die langsamsten Phasen der Evidenzsynthese zu verkürzen, aber veröffentlichte Evaluierungen zeigen, dass ihre Zuverlässigkeit zwischen den Aufgaben stark variiert.
Ziel: Beschreibung eines Human-in-the-Loop-Frameworks, in dem KI-Werkzeuge die Recherche, Deduplizierung, Priorisierung und den Entwurf der Datenextraktion beschleunigen, während jede Einschlussentscheidung, Verzerrungsrisikobewertung, Konfidenzgraduierung und Schlussfolgerung bei einem namentlich genannten, qualifizierten menschlichen Prüfer verbleibt.
Methoden: Narrative methodische Überprüfung von Berichts- und Bewertungstandards (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, dem OHAT-Ansatz und den EFSA-Leitlinien zur Methodik systematischer Übersichten für die Lebens- und Futtermittelsicherheit), veröffentlichter Evaluierungen des maschinellen Lernens und von LLMs bei Aufgaben systematischer Übersichten sowie der Pflichten der Verordnung (EU) 2024/1689 (KI-Gesetz) in Bezug auf KI-unterstützte wissenschaftliche Arbeit.
Schlussfolgerungen: Die Evidenz stützt KI als Beschleuniger von Suche, Screening-Priorisierung und Entwurfsextraktion, nicht als autonomen Prüfer. Unbeaufsichtigte LLM-Ausgaben können erfundene Referenzen und unzuverlässige Screening-Entscheidungen enthalten. Ein vertretbarer Arbeitsablauf präregistriert das Protokoll, protokolliert jeden KI-unterstützten Schritt, verifiziert jedes Zitat anhand eines bibliografischen Registers, überprüft jede Zahl anhand des Quelltextes und belässt das finale wissenschaftliche Urteil bei verantwortlichen Experten.
1. Einleitung
Ein Produktdossier für ein Nahrungsergänzungsmittel oder ein medizinisches Ernährungsprodukt ist nur so stark wie die dahinter stehende Evidenzüberprüfung. Aufsichtsbehörden, Kliniker und Markeninhaber müssen nicht nur wissen, was eine Studie ergeben hat, sondern auch, wie die Studien gefunden wurden, warum einige ausgeschlossen wurden und wie sicher der Prüfer bezüglich der gesamten Evidenzbasis ist. Die Methodik systematischer Übersichten beantwortet diese Fragen durch eine transparente, reproduzierbare Sequenz: eine vorher festgelegte Fragestellung und ein Protokoll, eine dokumentierte Suche, ein unabhängiges Screening, eine strukturierte Datenextraktion, eine Verzerrungsrisikobewertung und eine graduierte Gewissheitsaussage.
Für die Lebens- und Futtermittelsicherheit hat die Europäische Behörde für Lebensmittelsicherheit bereits 2010 Leitlinien zur Anwendung dieser Methodik auf Risikobewertungsfragen veröffentlicht [10]. In der Umweltgesundheit und Toxikologie erweiterte der OHAT-Ansatz des National Toxicology Program die systematische Übersicht auf die Integration von humanen, tierischen und mechanistischen Nachweisen zur Gefahrenidentifizierung [6]. Diese Rahmenwerke sind anspruchsvoll: Eine einzige Übersicht kann Tausende von Datensätzen und Wochen an Expertenzeit umfassen.
Werkzeuge des maschinellen Lernens für Suche, Screening und Extraktion sind im vergangenen Jahrzehnt ausgereift [15, 16], und universelle LLMs sind heute breit verfügbar. Die Frage für jede Organisation, die wissenschaftliche Dossiers erstellt, lautet daher nicht länger, ob KI eingesetzt werden soll, sondern wo KI-Ausgaben vertraut werden kann, wo sie verifiziert werden müssen und wo menschliches Urteilsvermögen nicht delegiert werden darf.
2. Berichts- und Bewertungsstandards, die sich durch KI nicht ändern
2.1 Fragestellung, Protokoll und Suche
Eine Übersicht beginnt mit einer strukturierten Fragestellung. Bei Interventionen ist dies typischerweise PICO (Population, Intervention, Comparator [Vergleich], Outcome [Ergebnis]); für Sicherheits- und Expositionsfragen ist das PECO-Framework (Population, Exposure [Exposition], Comparator, Outcome) besser geeignet, da es Expositionen berücksichtigt, die nicht vom Teilnehmer gewählt werden, sowie Vergleiche über Expositionsniveaus hinweg [9]. Das Protokoll sollte vor Beginn des Screenings verfasst und gemäß PRISMA-P, einer Checkliste mit 17 Punkten, berichtet werden [3].
Die Suche muss reproduzierbar sein. PRISMA-S fügt 16 Berichtspunkte hinzu, die spezifisch für Literatursuchen sind, einschließlich der verwendeten Datenbanken und Plattformen, der vollständigen Suchstrings, Limits, des Datums der letzten Suche und der Deduplizierungsmethode [2]. Diese Punkte gelten unabhängig davon, ob eine Abfrage von einer Person entworfen oder von einem KI-Werkzeug vorgeschlagen wurde: Der finale Suchstring in der ausgeführten Form muss berichtet werden.
2.2 Auswahl, Extraktion und Berichterstattung
PRISMA 2020 bietet eine Checkliste mit 27 Punkten und ein Flussdiagramm, das jeden Datensatz von der Identifizierung bis zum Einschluss abbildet [1]. Die konventionelle Praxis ist ein unabhängiges doppeltes Screening durch zwei Prüfer. Eine methodische systematische Übersicht, die einfaches und doppeltes Screening verglich, ergab, dass beim einfachen Screening median 5 % der relevanten Studien übersehen wurden (Spanne 0–58 %), was bei weniger erfahrenen Prüfern auf einen Median von 13 % anstieg [11]. Die Übereinstimmung zwischen Prüfern wird üblicherweise mit Cohens Kappa quantifiziert [17] und auf der Landis-und-Koch-Skala interpretiert, auf der Werte von 0,61–0,80 auf eine substanzielle und 0,81–1,00 auf eine fast perfekte Übereinstimmung hinweisen [18].
2.3 Verzerrungsrisiko und Gewissheit
Jede eingeschlossene Studie wird mit einem designangemessenen Werkzeug bewertet: RoB 2 für randomisierte Studien, strukturiert in fünf Verzerrungsdomänen [4], und ROBINS-I für nicht randomisierte Interventionsstudien, strukturiert in sieben Domänen [5]. Bestehende systematische Übersichten, die als Evidenz verwendet werden, können mit AMSTAR 2 bewertet werden [8].
Die Gewissheit der Evidenzbasis für jedes Ergebnis wird dann mit GRADE bewertet, was Verzerrungsrisiko, Inkosistenz, Indirektheit, Impräzision und Publikationsbias berücksichtigt und ein Heraufsetzen bei großen Effekten, Dosis-Wirkungs-Gradienten und verbleibenden Störfaktoren ermöglicht, die den beobachteten Effekt reduzieren würden [7]. Der OHAT-Ansatz passt diese Logik an umweltbezogene und toxikologische Evidenz an und übersetzt Konfidenzbewertungen in Evidenzniveaus für einen gesundheitlichen Effekt, wobei humane und tierische Datenströme integriert werden [6].
Keiner dieser Schritte ist eine rein administrative Aufgabe. Die Entscheidung, ob eine Studienpopulation der Zielpopulation nahe genug kommt, ob eine Dosis vergleichbar ist oder ob ein Störfaktor schwerwiegend genug ist, um die Gewissheit herabzusetzen, erfordert Domänenexpertise und Rechenschaftspflicht.
3. Was die Evidenz über KI in systematischen Übersichten aussagt
3.1 Wo maschinelles Lernen hilft
Marshall und Wallace überprüften Methoden des maschinellen Lernens, die für Suche, Screening und Datenextraktion vorgeschlagen wurden, und kamen zu dem Schluss, dass mehrere für den praktischen Einsatz bereit sind, vorausgesetzt, das Überprüfungsteam versteht deren Stärken und Fehleranfälligkeiten [15]. Active-Learning-Werkzeuge, die nicht gesichtete Datensätze neu einordnen, während Prüfer sie kennzeichnen, ermöglichen es Teams, relevante Studien früher im Screening-Prozess zu finden; Open-Source-Frameworks dieser Art sind transparent verfügbar [16]. Auf diese Weise verwendet, trifft der Mensch nach wie vor jede Einschlussentscheidung; die Maschine ändert lediglich die Reihenfolge, in der Datensätze gesehen werden.
Für den Entwurf der Datenextraktion ergab eine Machbarkeitsstudie, dass ein LLM 160 vordefinierte Datenelemente aus 10 frei zugänglichen randomisierten Studien mit einer Gesamtgenauigkeit von 96,3 % extrahierte; bei den meisten seiner sechs Fehler handelte es sich um ausgelassene Elemente [12]. Die Autoren formulierten dies basierend auf einer kleinen Gelegenheitsstichprobe als Effizienzpotenzial und nicht als Ersatz für die menschliche Extraktion.
3.2 Wo unbeaufsichtigte KI versagt
Die Screening-Leistung ist weniger beruhigend. Eine präregistrierte Evaluierung eines universellen LLM, das „human-out-of-the-loop“ arbeitete, ergab, dass die scheinbare Genauigkeit durch zufällige Übereinstimmung und Datensatzunausgewogenheit aufgebläht wurde. Nach der Anpassung reichte die Screening-Leistung von null bei ausgewogenen Datensätzen bis mäßig bei unausgewogenen, und die Leistung der Datenextraktion war mäßig. Die Autoren schlossen daraus, dass erhebliche Vorsicht geboten ist [13].
Die Referenzgenerierung ist der schwerwiegendste Fehlerfall. Als LLMs gebeten wurden, die Literaturverzeichnisse von 11 veröffentlichten systematischen Übersichten zu reproduzieren, betrugen die Halluzinationsraten (Referenzen, bei denen mindestens zwei Angaben aus Titel, Erstautor oder Jahr falsch waren) 39,6 %, 28,6 % und 91,4 % für die drei getesteten Modelle, und die Präzision lag bei höchstens 13,4 % [14]. Ein Dossier, das eine nicht existierende Arbeit zitiert, verliert bei Aufsichtsbehörden und Klinikern unabhängig von der Qualität der übrigen Arbeit seine Glaubwürdigkeit.
3.3 Implikationen
Das Muster ist konsistent. KI ist nützlich, wenn sie vorschlägt und der Mensch entscheidet: Kandidatendatensätze, eine Screening-Reihenfolge, eine Entwurfsextraktionstabelle. Sie ist unzuverlässig, wenn ihre Ausgabe ohne Verifizierung akzeptiert wird. Die Designfrage lautet daher, wie jeder KI-Beitrag verifizierbar, protokolliert und von einer Person verantwortet werden kann.
4. Ein Human-in-the-Loop-Arbeitsablauf
Der folgende Arbeitsablauf legt die Human-in-the-Loop-Designprinzipien fest, die Olympia Biosciences bei der Planung von Evidenzüberprüfungen für die Entwicklung von Nahrungsergänzungsmitteln, Nutrazeutika und medizinischer Ernährung anwendet. Wenn eine Übersicht als systematisch durchgeführt und berichtet wird, wird erwartet, dass jede KI-unterstützte Phase das aufgeführte Artefakt erzeugt, welches von einem Menschen überprüft und abgezeichnet wird, bevor die nächste Phase beginnt.
- Fragestellung und Protokoll
KI-unterstützter Beitrag: Schlägt Synonyme, Ergebnislisten und PECO/PICO-Kandidatenelemente vor
Menschliche Verantwortung: Legt die Fragestellung, die Eignungskriterien und den Analyseplan vor dem Screening fest
Verifizierungsartefakt: An PRISMA-P gemeldetes Protokoll [3]
- Suche
KI-unterstützter Beitrag: Schlägt Suchstring-Varianten und Kandidatendatensätze aus der semantischen Suche vor
Menschliche Verantwortung: Genehmigt die finalen Strings; führt sie in bibliografischen Datenbanken aus und dokumentiert sie
Verifizierungsartefakt: PRISMA-S-Suchprotokoll [2]
- Deduplizierung und Priorisierung
KI-unterstützter Beitrag: Gruppiert Duplikate; sortiert Datensätze nach vorhergesagter Relevanz [16]
Menschliche Verantwortung: Bestätigt Zusammenführungen; sichtet jeden Datensatz, der den Einschluss bestimmt
Verifizierungsartefakt: PRISMA-2020-Flussdiagramm [1]
- Screening
KI-unterstützter Beitrag: Markiert wahrscheinliche Einschlüsse und Ausschlüsse als Zweitmeinung
Menschliche Verantwortung: Trift und dokumentiert jede Einschluss-/Ausschlussentscheidung mit Gründen; löst Konflikte
Verifizierungsartefakt: Entscheidungsprotokoll; Interrater-Übereinstimmung (Kappa) [17, 18]
- Datenextraktion
KI-unterstützter Beitrag: Entwirft Extraktionstabellen aus den Volltexten [12]
Menschliche Verantwortung: Überprüft jede extrahierte Zahl anhand des Quelltextes
Verifizierungsartefakt: Extraktionstabelle mit Seiten-/Abbildungsankern
- Verzerrungsrisiko und Gewissheit
KI-unterstützter Beitrag: Nichts delegiert
Menschliche Verantwortung: Wendet RoB 2, ROBINS-I, AMSTAR 2, GRADE oder OHAT an [4–8]
Verifizierungsartefakt: Signierte Bewertungstabellen
- Zitationsintegrität
KI-unterstützter Beitrag: Sammelt Kennungen
Menschliche Verantwortung: Löst jede DOI in einem bibliografischen Register auf und bestätigt Titel, Autoren und Jahr
Verifizierungsartefakt: Zitationsverifikationsregister
- Schlussfolgerungen
KI-unterstützter Beitrag: Entwirft allgemein verständliche Zusammenfassungen
Menschliche Verantwortung: Verfasst und signiert die Schlussfolgerung, einschließlich expliziter Evidenzlücken
Verifizierungsartefakt: Namentlich genannter, verantwortlicher Autor
Drei Regeln machen den Arbeitsablauf vertretbar:
- Keine erfundenen Evidenzen. Jede Referenz wird vor der Veröffentlichung gegen ein bibliografisches Register aufgelöst. Eine Referenz, die nicht aufgelöst werden kann, wird entfernt, und die Lücke wird als „keine direkte Evidenz identifiziert“ ausgewiesen, anstatt sie aufzufüllen.
- Jede Zahl ist rückverfolgbar. Dosierungen, Effektgrößen, Stichprobengrößen und Grenzwerte werden anhand des Abstracts oder Volltextes überprüft, nicht anhand einer KI-Zusammenfassung.
- KI-Outputs sind Kandidaten, keine Befunde. Von der KI vorgeschlagene Datensätze, Extraktionen und Zusammenfassungen dienen als Input für die menschliche Überprüfung. Einschluss, Bewertung, Evidenzstärke und Schlussfolgerungen sind menschliche Entscheidungen, die mit dem Namen des Reviewers dokumentiert werden.
5. Regulatorischer Kontext: Die EU-KI-Verordnung
Die Verordnung (EU) 2024/1689 legt harmonisierte Vorschriften für künstliche Intelligenz in der Europäischen Union fest [19]. Zwei Bestimmungen sind für die KI-gestützte wissenschaftliche Arbeit unmittelbar relevant. Artikel 4 verlangt von Anbietern und Betreibern von KI-Systemen, ein ausreichendes Maß an KI-Kompetenz beim bedienenden Personal sicherzustellen. Artikel 4 verlangt, dass Hochrisiko-KI-Systeme für eine wirksame menschliche Aufsicht ausgelegt sind, damit eine Person die Kapazitäten und Grenzen des Systems verstehen, sich der Automatisierungsverzerrung bewusst bleiben, dessen Ausgabe korrekt interpretieren und entscheiden kann, sie nicht zu verwenden oder zu übersteuern.
Unterstützungstools für Literaturrecherchen sind als solche nicht als Hochrisikosysteme eingestuft. Die freiwillige Anwendung der Aufsichtsprinzipien nach Artikel 4 ist dennoch gute wissenschaftliche Praxis: Es ist dasselbe Prinzip, das die Methodik systematischer Reviews schon immer gefordert hat, nämlich dass der Reviewer und nicht das Tool die Verantwortung für jede Beurteilung trägt.
6. Einschränkungen
Dies ist ein narrativer methodischer Review, kein systematisches Review von KI-Tools. Veröffentlichte Evaluierungen von LLMs zur Evidenzsynthese sind jüngeren Datums, oft klein und modellspezifisch, und die Modellleistung variiert zwischen den Versionen. Die oben genannten Zahlen beschreiben die in diesen Studien getesteten Modelle und Datensätze und sollten nicht auf andere Tools verallgemeinert werden. Jede Organisation, die ein KI-gestütztes Review einführt, sollte ihren eigenen Arbeitsablauf anhand menschlicher Referenzstandards validieren und über diese Validierung berichten.
7. Schlussfolgerung
KI kann eine rigorose Evidenzsynthese beschleunigen. Sie kann sie aus eigener Kraft nicht vertrauenswürdiger machen. Bei Nahrungsergänzungsmitteln, medizinischer Ernährung und neuartigen Inhaltsstoffen, bei denen ein Dossier behördlicher und klinischer Prüfung standhalten muss, ist das vertretbare Modell der Human-in-the-Loop-Ansatz: etablierte Standards (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), Einsatz von KI nur dort, wo ihr Output verifiziert werden kann, Überprüfung jeder Zitation und jeder Zahl anhand der Quelle sowie namentlich genannte Experten, die für jede Schlussfolgerung die Verantwortung tragen.
