Résumé
Contexte : Les décisions relatives à la sécurité et à l'efficacité des compléments alimentaires, des denrées alimentaires destinées à des fins médicales spéciales et des nouveaux ingrédients dépendent de plus en plus d'ensembles de données vastes et hétérogènes : essais randomisés, cohortes observationnelles, toxicologie animale, travaux mécanistiques in vitro et avis réglementaires. L'apprentissage automatique et les grands modèles de langage (LLM) promettent d'accourcir les étapes les plus lentes de la synthèse des données probantes, mais les évaluations publiées montrent que leur fiabilité varie considérablement selon les tâches.
Objectif : Décrire un cadre fondé sur l'intervention humaine (human-in-the-loop) dans lequel les outils d'intelligence artificielle accélèrent la recherche, la déduplication, la priorisation et l'extraction préliminaire des données, tandis que chaque décision d'inclusion, évaluation du risque de biais, cotation du niveau de certitude et conclusion demeure sous la responsabilité d'un réviseur humain qualifié et désigné.
Méthodes : Revue méthodologique narrative des normes de notification et d'évaluation (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, l'approche OHAT et les orientations de l'EFSA sur la méthodologie de revue systématique pour la sécurité des aliments et des flux d'alimentation), des évaluations publiées de l'apprentissage automatique et des LLM dans les tâches de revue systématique, ainsi que des obligations du règlement (UE) 2024/1689 (loi sur l'intelligence artificielle) applicables aux travaux scientifiques assistés par l'IA.
Conclusions : Les données probantes confirment que l'IA constitue un accélérateur de recherche, de priorisation du tri et d'extraction préliminaire, et non un réviseur autonome. Les résultats non supervisés des LLM peuvent contenir des références fabriquées et des décisions de tri non fiables. Un flux de travail défendable pré-enregistre le protocole, journalise chaque étape assistée par l'IA, vérifie chaque citation par rapport à un registre bibliographique, contrôle chaque chiffre par rapport au texte source et confie le jugement scientifique final à des experts responsables.
1. Introduction
Le dossier de produit d'un complément alimentaire ou d'un produit de nutrition médicale n'est aussi solide que la revue des données probantes qui le sous-tend. Les autorités de régulation, les cliniciens et les propriétaires de marques doivent savoir non seulement ce qu'une étude a révélé, mais aussi comment les études ont été trouvées, pourquoi certaines ont été exclues et quel est le degré de confiance du réviseur dans l'ensemble des données probantes. La méthodologie de revue systématique répond à ces questions au moyen d'une séquence transparente et reproductible : une question et un protocole pré-spécifiés, une recherche documentée, un tri indépendant, une extraction de données structurée, une évaluation du risque de biais et une déclaration graduée du niveau de certitude.
En matière de sécurité des aliments et des aliments pour animaux, l'Autorité européenne de sécurité des aliments a publié dès 2010 des lignes directrices sur l'application de cette méthodologie aux questions d'évaluation des risques [10]. En santé environnementale et en toxicologie, l'approche OHAT du National Toxicology Program a étendu la revue systématique à l'intégration des données probantes humaines, animales et mécanistiques pour l'identification des dangers [6]. Ces cadres sont exigeants : une seule revue peut impliquer des milliers de dossiers et des semaines de travail d'experts.
Les outils d'apprentissage automatique pour la recherche, le tri et l'extraction ont mûri au cours de la dernière décennie [15, 16], et les LLM à usage général sont désormais largement disponibles. La question pour toute organisation produisant des dossiers scientifiques n'est donc plus de savoir s'il faut utiliser l'IA, mais où les résultats de l'IA peuvent être fiables, où ils doivent être vérifiés et où le jugement humain ne peut être délégué.
2. Normes de notification et d'évaluation qui ne changent pas avec l'IA
2.1 Question, protocole et recherche
Une revue commence par une question structurée. Pour les interventions, il s'agit généralement du format PICO (population, intervention, comparateur, devenir/résultat) ; pour les questions de sécurité et d'exposition, le cadre PECO (population, exposition, comparateur, devenir/résultat) est mieux adapté, car il s'accommode d'expositions qui ne sont pas choisies par le participant et de comparaisons entre différents niveaux d'exposition [9]. Le protocole doit être rédigé avant le début du tri et rapporté conformément à PRISMA-P, une liste de contrôle de 17 points [3].
La recherche doit être reproductible. PRISMA-S ajoute 16 éléments de notification spécifiques aux recherches documentaires, incluant les bases de données et plateformes utilisées, les chaînes de recherche complètes, les limites, la date de la dernière recherche et la méthode de déduplication [2]. Ces éléments s'appliquent indépendamment du fait qu'une requête ait été rédigée par une personne ou suggérée par un outil d'IA : la chaîne de recherche finale, telle qu'exécutée, est celle qui doit être rapportée.
2.2 Sélection, extraction et notification
PRISMA 2020 fournit une liste de contrôle de 27 points et un diagramme de flux qui rend compte de chaque dossier, de l'identification à l'inclusion [1]. La pratique conventionnelle consiste en un double tri indépendant par deux réviseurs. Une revue systématique méthodologique comparant le tri simple au tri double a révélé une médiane de 5 % d'études pertinentes manquées par le tri simple (fourchette de 0 à 58 %), atteignant une médiane de 13 % pour les réviseurs moins expérimentés [11]. L'accord entre réviseurs est communément quantifié par le kappa de Cohen [17] et interprété sur l'échelle de Landis et Koch, sur laquelle des valeurs de 0,61 à 0,80 indiquent un accord substantiel et de 0,81 à 1,00 un accord presque parfait [18].
2.3 Risque de biais et certitude
Chaque étude incluse est évaluée à l'aide d'un outil adapté au design : RoB 2 pour les essais randomisés, structuré en cinq domaines de biais [4], et ROBINS-I pour les études non randomisées d'interventions, structuré en sept domaines [5]. Les revues systématiques existantes utilisées comme données probantes peuvent être évaluées à l'aide d'AMSTAR 2 [8].
La certitude de l'ensemble des données probantes pour chaque devenir est ensuite cotée à l'aide de l'outil GRADE, qui prend en compte le risque de biais, l'inconsistence, l'indirectection, l'imprécision et le biais de publication, et permet d'augmenter la cote en cas d'effets importants, de gradients dose-réponse et de confusion résiduelle qui réduiraient l'effet observé [7]. L'approche OHAT adapte cette logique aux données probantes environnementales et toxicologiques et traduit les cotations de confiance en niveaux de données probantes pour un effet sanitaire, en intégrant les flux humains et animaux [6].
Aucune de ces étapes n'est une tâche de nature cléricale. Décider si la population d'une étude est suffisamment proche de la population cible, si une dose est comparable, ou si un facteur de confusion est suffisamment grave pour abaisser la certitude requiert une expertise du domaine et une responsabilité.
3. Ce que disent les données probantes sur l'IA dans les revues systématiques
3.1 Où l'apprentissage automatique aide
Marshall et Wallace ont examiné les méthodes d'apprentissage automatique proposées pour la recherche, le tri et l'extraction de données et ont conclu que plusieurs d'entre elles sont prêtes pour une utilisation pratique, à condition que l'équipe de revue comprenne leurs points forts et leurs modes de défaillance [15]. Les outils d'apprentissage actif, qui réorganisent les dossiers non triés au fur et à mesure que les réviseurs les étiquettent, permettent aux équipes de trouver des études pertinentes plus tôt dans le processus de tri ; des cadres open source transparents de ce type sont disponibles [16]. Utilisé de cette manière, l'humain prend toujours chaque décision d'inclusion ; la machine modifie uniquement l'ordre dans lequel les dossiers sont consultés.
Pour l'extraction préliminaire des données, une étude de preuve de concept a révélé qu'un LLM a extrait 160 éléments de données prédéfinis à partir de 10 essais randomisés en libre accès avec une exactitude globale de 96,3 % ; la plupart de ses six erreurs correspondaient à des éléments omis [12]. Les auteurs ont présenté cela comme un potentiel d'efficacité, basé sur un petit échantillon de commodité, et non comme un remplacement de l'extraction humaine.
3.2 Où l'IA non supervisée échoue
Les performances de tri sont moins rassurantes. Une évaluation pré-enregistrée d'un LLM à usage général fonctionnant selon le principe de l'IA hors de la boucle (« human-out-of-the-loop ») a révélé que l'exactitude apparente était gonflée par l'accord fortuit et le déséquilibre des jeux de données. Après ajustement, les performances de tri allaient de nulles dans les jeux de données équilibrés à modérées dans les jeux déséquilibrés, et les performances d'extraction de données étaient modérées. Les auteurs ont conclu qu'une prudence substantielle est de mise [13].
La génération de références est le mode de défaillance le plus grave. Lorsqu'il a été demandé aux LLM de reproduire les listes de références de 11 revues systématiques publiées, les taux d'hallucination (références dont au moins deux éléments parmi le titre, le premier auteur ou l'année étaient erronés) étaient de 39,6 %, 28,6 % et 91,4 % pour les trois modèles testés, et la précision était d'au maximum 13,4 % [14]. Un dossier qui cite un article inexistant perd sa crédibilité auprès des autorités de régulation et des cliniciens, quelle que la qualité du reste du travail.
3.3 Implications
Le schéma est cohérent. L'IA est utile lorsqu'elle propose et qu'un humain dispose : dossiers candidats, ordre de tri, tableau d'extraction préliminaire. Elle n'est pas fiable lorsque ses résultats sont acceptés sans vérification. La question de conception est donc de savoir comment rendre chaque contribution de l'IA vérifiable, journalisée et assumée par une personne.
4. Un flux de travail fondé sur l'intervention humaine (human-in-the-loop)
Le flux de travail ci-dessous définit les principes de conception avec intervention humaine que Olympia Biosciences applique lors de la planification des revues de données probantes pour le développement de compléments, de nutraceutiques et de produits de nutrition médicale. Lorsqu'une revue est menée et rapportée comme étant systématique, chaque étape assistée par l'IA est censée produire l'artefact répertorié, qu'un humain vérifie et valide avant le début de l'étape suivante.
- Question et protocole
Contribution assistée par l'IA : Suggère des synonymes, des listes de devenirs/résultats et des éléments PECO/PICO candidats
Responsabilité humaine : Fixe la question, les critères d'éligibilité et le plan d'analyse avant le tri
Artefact de vérification : Protocole rapporté selon PRISMA-P [3]
- Recherche
Contribution assistée par l'IA : Propose des variantes de chaînes de recherche et des dossiers candidats issus de la recherche sémantique
Responsabilité humaine : Approuve les chaînes finales ; les exécute et les documente dans les bases de données bibliographiques
Artefact de vérification : Dossier de recherche PRISMA-S [2]
- Déduplication et priorisation
Contribution assistée par l'IA : Regroupe les doublons ; classe les dossiers par pertinence prédite [16]
Responsabilité humaine : Confirme les fusions ; trie chaque dossier déterminant l'inclusion
Artefact de vérification : Diagramme de flux PRISMA 2020 [1]
- Tri
Contribution assistée par l'IA : Signale les inclusions et exclusions probables à titre de second avis
Responsabilité humaine : Prend et enregistre chaque décision d'inclusion/exclusion avec justification ; résout les conflits
Artefact de vérification : Journal des décisions ; accord inter-juges (kappa) [17, 18]
- Extraction de données
Contribution assistée par l'IA : Rédige des tableaux d'extraction à partir des textes intégraux [12]
Responsabilité humaine : Vérifie chaque chiffre extrait par rapport au texte source
Artefact de vérification : Tableau d'extraction avec ancrages de page/figure
- Risque de biais et certitude
Contribution assistée par l'IA : Aucune déléguée
Responsabilité humaine : Applique RoB 2, ROBINS-I, AMSTAR 2, GRADE ou OHAT [4–8]
Artefact de vérification : Tableaux d'évaluation signés
- Intégrité des citations
Contribution assistée par l'IA : Collecte les identifiants
Responsabilité humaine : Résout chaque DOI dans un registre bibliographique et confirme le titre, les auteurs et l'année
Artefact de vérification : Registre de vérification des citations
- Conclusions
Contribution assistée par l'IA : Rédige des résumés en langage clair
Responsabilité humaine : Rédige et signe la conclusion, incluant les lacunes explicites des données probantes
Artefact de vérification : Auteur désigné et responsable
Trois règles rendent le flux de travail défendable :
- Aucune donnée probante fabriquée. Chaque référence est résolue par rapport à un registre bibliographique avant publication. Une référence qui ne peut être résolue est supprimée, et la lacune est formulée comme « aucune donnée probante directe identifiée » plutôt que d'être comblée.
- Chaque nombre est traçable. Les doses, les tailles d'effet, les tailles d'échantillon et les limites sont vérifiés par rapport au résumé ou au texte intégral, et non par rapport à un résumé généré par l'IA.
- Les résultats générés par l'IA sont des propositions et non des conclusions. Les dossiers, extractions et résumés proposés par l'IA constituent des intrants soumis à l'évaluation humaine. L'inclusion, l'évaluation critique, le degré de certitude et les conclusions relèvent de décisions humaines, consignées sous le nom du réviseur.
5. Contexte réglementaire : le règlement sur l'IA de l'UE
Le règlement (UE) 2024/1689 établit des règles harmonisées concernant l'intelligence artificielle dans l'Union européenne [19]. Deux dispositions concernent directement le travail scientifique assisté par l'IA. L'article 4 impose aux fournisseurs et aux déployeurs de systèmes d'IA de garantir un niveau suffisant de culture en matière d'IA pour le personnel qui les exploite. L'article 14 exige que les systèmes d'IA à haut risque soient conçus pour permettre une surveillance humaine effective, afin qu'une personne puisse comprendre les capacités et les limites du système, rester consciente du biais d'automatisation, interpréter correctement ses résultats et décider de ne pas les utiliser ou de les invalider.
Les outils d'aide à la revue de la littérature ne sont pas, en tant que tels, répertoriés comme des systèmes à haut risque. Appliquer volontairement les principes de surveillance de l'article 14 relève néanmoins d'une bonne pratique scientifique : il s'agit du même principe que la méthodologie des revues systématiques a toujours exigé, à savoir que le réviseur, et non l'outil, est responsable de chaque jugement.
6. Limites
Il s'agit d'une revue méthodologique narrative, et non d'une revue systématique des outils d'IA. Les évaluations publiées concernant les grands modèles de langage (LLM) dans la synthèse des données probantes sont récentes, souvent de petite envergure et spécifiques à un modèle, et les performances des modèles varient d'une version à l'autre. Les chiffres cités ci-dessus décrivent les modèles et les ensembles de données testés dans ces études et ne doivent pas être généralisés à d'autres outils. Toute organisation adoptant une revue assistée par l'IA doit valider son propre flux de travail par rapport à des étalons de référence humains et documenter cette validation.
7. Conclusion
L'IA peut accélérer des synthèses de données probantes rigoureuses. Elle ne peut pas, à elle seule, les rendre plus fiables. Pour les compléments alimentaires, la nutrition médicale et les nouveaux ingrédients, pour lesquels un dossier doit résister à un examen réglementaire et clinique, le modèle défendable est celui de l'humain dans la boucle (human-in-the-loop) : normes établies (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), IA utilisée uniquement lorsque ses résultats peuvent être vérifiés, chaque citation et chaque nombre vérifiés par rapport à la source, et des experts désignés responsables de chaque conclusion.
