Resumen
Antecedentes: Las decisiones sobre seguridad y eficacia relativas a complementos alimenticios, alimentos para usos médicos especiales e ingredientes novedosos dependen cada vez más de cuerpos de evidencia amplios y heterogéneos: ensayos aleatorizados, cohortes observacionales, toxicología animal, trabajos mecanísticos in vitro y dictámenes regulatorios. El aprendizaje automático y los modelos de lenguaje de gran tamaño (LLM) prometen acortar las etapas más lentas de la síntesis de evidencia, pero las evaluaciones publicadas muestran que su fiabilidad varía notablemente entre tareas.
Objetivo: Describir un marco de trabajo con intervención humana en el bucle en el cual las herramientas de IA aceleran la recuperación, la eliminación de duplicados, la priorización y la extracción preliminar de datos, mientras que cada decisión de inclusión, evaluación del riesgo de sesgo, calificación de certeza y conclusión permanece en manos de un revisor humano cualificado y nominal.
Métodos: Revisión metodológica narrativa de los estándares de notificación y evaluación (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, el enfoque OHAT y la guía de la EFSA sobre la metodología de revisión sistemática para la seguridad alimentaria y de piensos), de las evaluaciones publicadas sobre aprendizaje automático y LLM en tareas de revisión sistemática, y de las obligaciones del Reglamento (UE) 2024/1689 (Ley de Inteligencia Artificial) aplicables al trabajo científico asistido por IA.
Conclusiones: La evidencia respalda el uso de la IA como un acelerador de la búsqueda, la priorización de la selección y la extracción preliminar, no como un revisor autónomo. Los resultados de los LLM sin supervisión pueden contener referencias fabricadas y decisiones de selección poco fiables. Un flujo de trabajo defendible registra previamente el protocolo, registra cada paso asistido por IA, verifica cada cita frente a un registro bibliográfico, comprueba cada número con el texto fuente y mantiene el juicio científico final bajo la responsabilidad de expertos competentes.
1. Introducción
El dossier de producto de un complemento alimenticio o un producto de nutrición médica es tan sólido como la revisión de evidencia que lo respalda. Los reguladores, los clínicos y los propietarios de marcas necesitan saber no solo qué encontró un estudio, sino cómo se encontraron los estudios, por qué se excluyeron algunos y cuál es el grado de certeza del revisor respecto al cuerpo total de evidencia. La metodología de revisión sistemática responde a estas preguntas mediante una secuencia transparente y reproducible: una pregunta y un protocolo preespecificados, una búsqueda documentada, selección independiente, extracción estructurada de datos, evaluación del riesgo de sesgo y una declaración graduada de certeza.
En materia de seguridad alimentaria y de piensos, la Autoridad Europea de Seguridad Alimentaria publicó directrices sobre la aplicación de esta metodología a cuestiones de evaluación de riesgos ya en 2010 [10]. En salud ambiental y toxicología, el enfoque OHAT del Programa Nacional de Toxicología amplió la revisión sistemática a la integración de evidencia humana, animal y mecanística para la identificación de peligros [6]. Estos marcos de trabajo son exigentes: una sola revisión puede implicar miles de registros y semanas de tiempo de expertos.
Las herramientas de aprendizaje automático para la búsqueda, la selección y la extracción han madurado durante la última década [15, 16], y los LLM de propósito general están ahora ampliamente disponibles. Por lo tanto, la cuestión para cualquier organización que produzca dossiers científicos ya no es si se debe utilizar la IA, sino en qué ámbitos se pueden confiar los resultados de la IA, dónde deben verificarse y dónde no se puede delegar el juicio humano.
2. Estándares de notificación y evaluación que no cambian con la IA
2.1 Pregunta, protocolo y búsqueda
Una revisión comienza con una pregunta estructurada. Para las intervenciones, esto suele ser PICO (población, intervención, comparador, resultado); para las cuestiones de seguridad y exposición, el marco PECO (población, exposición, comparador, resultado) es más adecuado, ya que se adapta a exposiciones que no son elegidas por el participante y a comparaciones entre niveles de exposición [9]. El protocolo debe redactarse antes de que comience la selección y notificarse de acuerdo con PRISMA-P, una lista de verificación de 17 ítems [3].
La búsqueda debe ser reproducible. PRISMA-S añade 16 ítems de notificación específicos para las búsquedas bibliográficas, incluidas las bases de datos y plataformas utilizadas, las cadenas de búsqueda completas, los límites, la fecha de la última búsqueda y el método de eliminación de duplicados [2]. Estos ítems se aplican independientemente de si una consulta fue redactada por una persona o sugerida por una herramienta de IA: la cadena de búsqueda final, tal como se ejecutó, es lo que se debe notificar.
2.2 Selección, extracción y notificación
PRISMA 2020 proporciona una lista de verificación de 27 ítems y un diagrama de flujo que da cuenta de cada registro desde la identificación hasta la inclusión [1]. La práctica convencional es la doble selección independiente por dos revisores. Una revisión sistemática metodológica que comparó la selección única con la doble encontró una mediana del 5% de estudios relevantes omitidos por la selección única (rango de 0% a 58%), que aumenta hasta una mediana del 13% para los revisores menos experimentados [11]. El acuerdo entre revisores se cuantifica habitualmente con el coeficiente kappa de Cohen [17] y se interpreta en la escala de Landis y Koch, en la que los valores de 0.61 a 0.80 indican un acuerdo sustancial y los de 0.81 a 1.00 un acuerdo casi perfecto.[18]
2.3 Riesgo de sesgo y certeza
Cada estudio incluido se evalúa con una herramienta adecuada para su diseño: RoB 2 para ensayos aleatorizados, estructurada en cinco dominios de sesgo [4], y ROBINS-I para estudios no aleatorizados de intervenciones, estructurada en siete dominios [5]. Las revisiones sistemáticas existentes utilizadas como evidencia pueden evaluarse con AMSTAR 2 [8].
La certeza del cuerpo de evidencia para cada resultado se califica luego con GRADE, que considera el riesgo de sesgo, la inconsistencia, la imprecisión, la indirecta y el sesgo de publicación, y permite aumentar la calificación por efectos grandes, gradientes de dosis-respuesta y factores de confusión residuales que reducirían el efecto observado [7]. El enfoque OHAT adapta esta lógica a la evidencia ambiental y toxicológica y traduce las calificaciones de confianza en niveles de evidencia para un efecto sobre la salud, integrando flujos humanos y animales.[6]
Ninguno de estos pasos es una tarea administrativa. Decidir si la población de un estudio es lo suficientemente cercana a la población objetivo, si una dosis es comparable o si un factor de confusión es lo suficientemente grave como para reducir la certeza requiere experiencia en el dominio y responsabilidad.
3. Lo que dice la evidencia sobre la IA en las revisiones sistemáticas
3.1 Dónde ayuda el aprendizaje automático
Marshall y Wallace revisaron los métodos de aprendizaje automático propuestos para la búsqueda, la selección y la extracción de datos, y concluyeron que varios de ellos están listos para su uso práctico, siempre que el equipo de revisión comprenda sus puntos fuertes y sus modos de fallo [15]. Las herramientas de aprendizaje activo, que reordenan los registros no seleccionados a medida que los revisores los etiquetan, permiten a los equipos encontrar estudios relevantes antes en el proceso de selección; se dispone de marcos de trabajo de código abierto y transparentes de este tipo [16]. Utilizado de esta manera, el ser humano sigue tomando todas las decisiones de inclusión; la máquina solo cambia el orden en que se ven los registros.
Para la extracción preliminar de datos, un estudio de prueba de concepto encontró que un LLM extrajo 160 elementos de datos predefinidos de 10 ensayos aleatorizados de acceso abierto con una precisión global del 96.3%; la mayoría de sus seis errores correspondieron a elementos omitidos [12]. Los autores plantearon esto como un potencial de eficiencia, basado en una pequeña muestra de conveniencia, y no como un reemplazo de la extracción humana.
3.2 Dónde falla la IA sin supervisión
El rendimiento de la selección es menos tranquilizador. Una evaluación preregistrada de un LLM de propósito general que operaba "sin intervención humana en el bucle" encontró que la precisión aparente estaba inflada por el acuerdo por azar y el desequilibrio del conjunto de datos. Tras el ajuste, el rendimiento de la selección osciló entre nulo en conjuntos de datos equilibrados y moderado en los desequilibrados, y el rendimiento de la extracción de datos fue moderado. Los autores concluyeron que se requiere una cautela sustancial [13].
La generación de referencias es el modo de fallo más grave. Cuando se pidió a los LLM que reprodujeran las listas de referencias de 11 revisiones sistemáticas publicadas, las tasas de alucinación (referencias con al menos dos errores en el título, el primer autor o el año) fueron del 39.6%, el 28.6% y el 91.4% para los tres modelos evaluados, y la precisión fue como máximo del 13.4% [14]. Un dossier que cita un artículo inexistente pierde su credibilidad ante los reguladores y los clínicos, independientemente de la calidad del resto del trabajo.
3.3 Implicaciones
El patrón es coherente. La IA es útil cuando propone y el ser humano dispone: registros candidatos, un orden de selección, una tabla de extracción preliminar. Es poco fiable cuando su resultado se acepta sin verificación. Por lo tanto, la cuestión de diseño es cómo hacer que cada contribución de la IA sea verificable, registrada y asumida por una persona.
4. Un flujo de trabajo con intervención humana en el bucle
El flujo de trabajo que se muestra a continuación establece los principios de diseño con intervención humana en el bucle que Olympia Biosciences utiliza al planificar revisiones de evidencia para el desarrollo de complementos, nutracéuticos y productos de nutrición médica. Cuando se realiza y se notifica una revisión como sistemática, se espera que cada etapa asistida por IA produzca el artefacto enumerado, el cual es comprobado y aprobado por un ser humano antes de que comience la etapa siguiente.
- Pregunta y protocolo
Contribución asistida por IA: Sugiere sinónimos, listas de resultados y elementos PECO/PICO candidatos
Responsabilidad humana: Fija la pregunta, los criterios de elegibilidad y el plan de análisis antes de la selección
Artefacto de verificación: Protocolo notificado a PRISMA-P [3]
- Búsqueda
Contribución asistida por IA: Propone variantes de cadenas de búsqueda y registros candidatos de la búsqueda semántica
Responsabilidad humana: Aprueba las cadenas finales; las ejecuta y documenta en bases de datos bibliográficas
Artefacto de verificación: Registro de búsqueda PRISMA-S [2]
- Eliminación de duplicados y priorización
Contribución asistida por IA: Agrupa duplicados; clasifica los registros según la relevancia prevista [16]
Responsabilidad humana: Confirma las fusiones; selecciona cada registro que determina la inclusión
Artefacto de verificación: Diagrama de flujo PRISMA 2020 [1]
- Selección
Contribución asistida por IA: Señala las inclusiones y exclusiones probables como segunda opinión
Responsabilidad humana: Toma y registra cada decisión de inclusión/exclusión con sus motivos; resuelve los conflictos
Artefacto de verificación: Registro de decisiones; acuerdo entre evaluadores (kappa) [17, 18]
- Extracción de datos
Contribución asistida por IA: Redacta tablas de extracción a partir de los textos completos [12]
Responsabilidad humana: Comprueba cada número extraído frente al texto fuente
Artefacto de verificación: Tabla de extracción con anclajes de página y figura
- Riesgo de sesgo y certeza
Contribución asistida por IA: Ninguna delegada
Responsabilidad humana: Aplica RoB 2, ROBINS-I, AMSTAR 2, GRADE u OHAT [4–8]
Artefacto de verificación: Tablas de evaluación firmadas
- Integridad de las citas
Contribución asistida por IA: Recopila identificadores
Responsabilidad humana: Resuelve cada DOI en un registro bibliográfico y confirma el título, los autores y el año
Artefacto de verificación: Registro de verificación de citas
- Conclusiones
Contribución asistida por IA: Redacta resúmenes en lenguaje sencillo
Responsabilidad humana: Redacta y firma la conclusión, incluyendo explícitamente las lagunas de evidencia
Artefacto de verificación: Autor nominal y responsable
Tres reglas hacen que el flujo de trabajo sea defendible:
- No se admite evidencia fabricada. Cada referencia se resuelve frente a un registro bibliográfico antes de su publicación. Una referencia que no se pueda resolver se elimina, y la laguna se declara como "no se ha identificado evidencia directa" en lugar de rellenarla.
- Todos los números son trazables. Las dosis, los tamaños del efecto, los tamaños de muestra y los límites se verifican frente al resumen o al texto completo, no frente a un resumen generado por IA.
- Los resultados de la IA son candidatos, no hallazgos. Los registros, extracciones y resúmenes propuestos por la IA son insumos para la revisión humana. La inclusión, la evaluación crítica, la certeza y las conclusiones son decisiones humanas, registradas con el nombre del revisor.
5. Contexto regulatorio: la Ley de IA de la UE
El Reglamento (UE) 2024/1689 establece normas armonizadas sobre la inteligencia artificial en la Unión Europea [19]. Dos disposiciones son directamente relevantes para el trabajo científico asistido por IA. El artículo 4 exige a los proveedores y desplegadores de sistemas de IA que aseguren un nivel suficiente de alfabetización en IA entre el personal que los opera. El artículo 14 exige que los sistemas de IA de alto riesgo se diseñen para una supervisión humana eficaz, de modo que una persona pueda comprender las capacidades y limitaciones de los sistemas, mantenerse consciente del sesgo de automatización, interpretar correctamente sus resultados y decidir no utilizarlos o anularlos.
Las herramientas de apoyo a las revisiones de la literatura no están clasificadas, como tales, como sistemas de alto riesgo. Sin embargo, aplicar voluntariamente los principios de supervisión del artículo 14 es una buena práctica científica: es el mismo principio que la metodología de las revisiones sistemáticas siempre ha exigido, a saber, que el revisor, y no la herramienta, es responsable de cada juicio.
6. Limitaciones
Esta es una revisión metodológica narrativa, no una revisión sistemática de herramientas de IA. Las evaluaciones publicadas de los LLM en la síntesis de evidencia son recientes, a menudo pequeñas y específicas de cada modelo, y el rendimiento del modelo cambia entre versiones. Las cifras citadas anteriormente describen los modelos y conjuntos de datos probados en esos estudios y no deben generalizarse a otras herramientas. Cualquier organización que adopte una revisión asistida por IA debe validar su propio flujo de trabajo frente a estándares de referencia humanos e informar sobre dicha validación.
7. Conclusión
La IA puede hacer que la síntesis rigurosa de evidencia sea más rápida. No puede hacerla más confiable por sí sola. Para complementos alimenticios, nutrición médica e ingredientes novedosos, donde un dossier debe soportar el escrutinio regulatorio y clínico, el modelo defendible es el de supervisión humana (human-in-the-loop): estándares establecidos (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), IA utilizada solo donde su resultado pueda ser verificado, cada cita y número comprobados frente a la fuente, y expertos nombrados responsables de cada conclusión.
