Resumo
Enquadramento: As decisões relativas à segurança e eficácia de suplementos alimentares, géneros alimentícios para fins medicinais específicos e novos ingredientes dependem cada vez mais de conjuntos de evidências vastos e heterogéneos: ensaios aleatorizados, coortes observacionais, toxicologia animal, trabalho mecanicista in vitro e pareceres regulamentares. A aprendizagem automática e os modelos de linguagem de grande escala (LLMs) prometem encurtar as etapas mais lentas da síntese de evidências, mas as avaliações publicadas demonstram que a sua fiabilidade varia acentuadamente consoante a tarefa.
Objetivo: Descrever um enquadramento com intervenção humana em que as ferramentas de IA aceleram a recuperação, desduplicação, priorização e a extração preliminar de dados, enquanto todas as decisões de inclusão, avaliação do risco de viés, classificação de certeza e conclusão permanecem a cargo de um revisor humano qualificado e nominalmente identificado.
Métodos: Revisão metodológica narrativa de padrões de relato e avaliação (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, a abordagem OHAT e as orientações da EFSA sobre a metodologia de revisão sistemática para a segurança dos alimentos e dos alimentos para animais), de avaliações publicadas de aprendizagem automática e LLMs em tarefas de revisão sistemática, e das obrigações do Regulamento (UE) 2024/1689 (Regulamento Inteligência Artificial) relevantes para o trabalho científico assistido por IA.
Conclusões: A evidência apoia a IA como um acelerador de pesquisa, priorização de seleção e extração preliminar, e não como um revisor autónomo. O resultado de LLM não supervisionado pode conter referências fabricadas e decisões de seleção pouco fiáveis. Um fluxo de trabalho defensável pré-regista o protocolo, regista em log cada etapa assistida por IA, verifica cada citação em relação a um registo bibliográfico, valida cada número em relação ao texto de origem e mantém o julgamento científico final com peritos responsáveis.
1. Introdução
Um dossier de produto para um suplemento alimentar ou um produto de nutrição médica é tão forte quanto a revisão de evidências subjacente. Os reguladores, os clínicos e os proprietários de marcas precisam de saber não apenas o que um estudo concluiu, mas também como os estudos foram encontrados, porque razão alguns foram excluídos e qual o grau de certeza do revisor relativamente ao conjunto global de evidências. A metodologia de revisão sistemática responde a estas questões através de uma sequência transparente e reprodutível: uma questão e um protocolo pré-especificados, uma pesquisa documentada, seleção independente, extração estruturada de dados, avaliação do risco de viés e uma declaração graduada de certeza.
No domínio da segurança dos alimentos e dos alimentos para animais, a Autoridade Europeia para a Segurança dos Alimentos publicou orientações sobre a aplicação desta metodologia a questões de avaliação de risco já em 2010 [10]. Na saúde ambiental e na toxicologia, a abordagem OHAT do National Toxicology Program alargou a revisão sistemática à integração de evidências humanas, animais e mecanicistas para a identificação de perigos [6]. Estes enquadramentos são exigentes: uma única revisão pode envolver milhares de registos e semanas de trabalho de peritos.
As ferramentas de aprendizagem automática para pesquisa, seleção e extração amadureceram na última década [15, 16], e os LLMs de uso geral encontram-se atualmente amplamente disponíveis. A questão para qualquer organização que produza dossiers científicos deixou, portanto, de ser se deve utilizar a IA, mas sim em que medida o resultado da IA pode ser fidedigno, onde deve ser verificado e onde o julgamento humano não pode ser delegado.
2. Padrões de relato e avaliação que não se alteram com a IA
2.1 Questão, protocolo e pesquisa
Uma revisão começa com uma questão estruturada. Para intervenções, esta é tipicamente PICO (população, intervenção, comparador, desfecho); para questões de segurança e exposição, o enquadramento PECO (população, exposição, comparador, desfecho) é mais adequado, uma vez que acomoda exposições que não são escolhidas pelo participante e comparações entre níveis de exposição [9]. O protocolo deve ser escrito antes de a seleção ter início e relatado de acordo com o PRISMA-P, uma lista de verificação de 17 itens [3].
A pesquisa tem de ser reprodutível. O PRISMA-S acrescenta 16 itens de relato específicos para pesquisas bibliográficas, incluindo as bases de dados e plataformas utilizadas, as strings de pesquisa completas, os limites, a data da última pesquisa e o método de desduplicação [2]. Estes itens aplicam-se independentemente de uma consulta ter sido redigida por uma pessoa ou sugerida por uma ferramenta de IA: a string de pesquisa final, tal como executada, é o que deve ser relatado.
2.2 Seleção, extração e relato
O PRISMA 2020 fornece uma lista de verificação de 27 itens e um fluxograma que contabiliza cada registo desde a identificação até à inclusão [1]. A prática convencional consiste numa dupla seleção independente por dois revisores. Uma revisão sistemática metodológica que comparou a seleção simples com a dupla revelou uma mediana de 5% de estudos relevantes omitidos pela seleção simples (intervalo 0–58%), subindo para uma mediana de 13% no caso de revisores com menor experiência [11]. A concordância entre revisores é habitualmente quantificada com o coeficiente kappa de Cohen [17] e interpretada na escala de Landis e Koch, na qual valores de 0,61–0,80 indicam uma concordância substancial e de 0,81–1,00 uma concordância quase perfeita.[18]
2.3 Risco de viés e certeza
Cada estudo incluído é avaliado com uma ferramenta adequada ao desenho: RoB 2 para ensaios aleatorizados, estruturado em cinco domínios de viés [4], e ROBINS-I para estudos não aleatorizados de intervenções, estruturado em sete domínios [5]. As revisões sistemáticas existentes utilizadas como evidência podem ser avaliadas com o AMSTAR 2 [8].
A certeza do conjunto de evidências para cada desfecho é posteriormente classificada com o GRADE, que considera o risco de viés, a inconsistência, a indireção, a imprecisão e o viés de publicação, permitindo subir a classificação no caso de grandes efeitos, gradientes de dose-resposta e fatores de confusão residuais que reduziriam o efeito observado [7]. A abordagem OHAT adapta esta lógica à evidência ambiental e toxicológica e traduz as classificações de confiança em níveis de evidência para um efeito na saúde, integrando fluxos de dados humanos e animais.[6]
Nenhuma destas etapas constitui uma tarefa meramente burocrática. Decidir se uma população de estudo é suficientemente próxima da população-alvo, se uma dose é comparável, ou se um fator de confusão é suficientemente grave para descer a classificação da certeza requer competência especializada no domínio e responsabilidade.
3. O que a evidência indica sobre a IA nas revisões sistemáticas
3.1 Em que aspetos a aprendizagem automática ajuda
Marshall e Wallace analisaram os métodos de aprendizagem automática propostos para a pesquisa, seleção e extração de dados, concluindo que vários se encontram prontos para utilização prática, desde que a equipa de revisão compreenda os seus pontos fortes e modos de falha [15]. As ferramentas de aprendizagem ativa, que reclassificam os registos não selecionados à medida que os revisores os rotulam, permitem às equipas encontrar estudos relevantes mais cedo no processo de seleção; existem enquadramentos transparentes de código aberto deste tipo [16]. Utilizado desta forma, o ser humano continua a tomar todas as decisões de inclusão; a máquina altera apenas a ordem pela qual os registos são visualizados.
Para a extração preliminar de dados, um estudo de prova de conceito concluiu que um LLM extraiu 160 elementos de dados predefinidos a partir de 10 ensaios aleatorizados de acesso aberto com uma precisão global de 96,3%; a maioria dos seus seis erros consistiu em itens omitidos [12]. Os autores enquadraram isto como um potencial de eficiência, com base numa pequena amostra de conveniência, e não como um substituto para a extração humana.
3.2 Onde a IA não supervisionada falha
O desempenho da seleção é menos tranquilizador. Uma avaliação pré-registada de um LLM de uso geral a trabalhar sem intervenção humana ("human-out-of-the-loop") concluiu que a aparente precisão era inflacionada pela concordância ao acaso e pelo desequilíbrio do conjunto de dados. Após o ajuste, o desempenho da seleção oscilou entre nulo em conjuntos de dados equilibrados e moderado em conjuntos desequilibrados, sendo o desempenho da extração de dados moderado. Os autores concluíram que é necessária uma cautela substancial [13].
A geração de referências constitui o modo de falha mais grave. Quando foi solicitado aos LLMs que reproduzissem as listas de referências de 11 revisões sistemáticas publicadas, as taxas de alucinação (referências com pelo menos dois elementos errados entre o título, o primeiro autor ou o ano) foram de 39,6%, 28,6% e 91,4% para os três modelos testados, e a precisão foi, no máximo, de 13,4% [14]. Um dossier que cite um artigo inexistente perde a sua credibilidade perante os reguladores e os clínicos, independentemente da qualidade do restante trabalho.
3.3 Implicações
O padrão é consistente. A IA é útil quando propõe e o ser humano dispõe: registos candidatos, uma ordem de seleção, uma tabela de extração preliminar. É pouco fiável quando o seu resultado é aceite sem verificação. A questão de conceção é, portanto, como tornar cada contribuição da IA verificável, registada e assumida por uma pessoa.
4. Um fluxo de trabalho com intervenção humana
O fluxo de trabalho abaixo estabelece os princípios de conceção com intervenção humana que a Olympia Biosciences utiliza ao planear revisões de evidências para o desenvolvimento de suplementos, nutracêuticos e produtos de nutrição médica. Quando uma revisão é conduzida e relatada como sistemática, espera-se que cada etapa assistida por IA produza o artefacto enumerado, o qual é verificado e validado por um ser humano antes de a etapa seguinte ter início.
- Questão e protocolo
Contributo assistido por IA: Sugere sinónimos, listas de desfechos e elementos PECO/PICO candidatos
Responsabilidade humana: Fixa a questão, os critérios de elegibilidade e o plano de análise antes da seleção
Artefacto de verificação: Protocolo relatado ao PRISMA-P [3]
- Pesquisa
Contributo assistido por IA: Propõe variantes de strings de pesquisa e registos candidatos provenientes de pesquisa semântica
Responsabilidade humana: Aprova as strings finais; executa-as e documenta-as em bases de dados bibliográficas
Artefacto de verificação: Registo de pesquisa PRISMA-S [2]
- Desduplicação e priorização
Contributo assistido por IA: Agrupa duplicados; classifica os registos por relevância prevista [16]
Responsabilidade humana: Confirma as fusões; analisa cada registo que determina a inclusão
Artefacto de verificação: Fluxograma PRISMA 2020 [1]
- Seleção
Contributo assistido por IA: Sinaliza potenciais inclusões e exclusões a título de segunda opinião
Responsabilidade humana: Toma e regista cada decisão de inclusão/exclusão com os respetivos fundamentos; resolve conflitos
Artefacto de verificação: Registo de decisões; concordância entre avaliadores (kappa) [17, 18]
- Extração de dados
Contributo assistido por IA: Esboça tabelas de extração a partir de textos integrais [12]
Responsabilidade humana: Verifica cada número extraído em relação ao texto de origem
Artefacto de verificação: Tabela de extração com âncoras de página/figura
- Risco de viés e certeza
Contributo assistido por IA: Nenhum delegado
Responsabilidade humana: Aplica as ferramentas RoB 2, ROBINS-I, AMSTAR 2, GRADE ou OHAT [4–8]
Artefacto de verificação: Tabelas de avaliação assinadas
- Integridade das citações
Contributo assistido por IA: Recolhe identificadores
Responsabilidade humana: Resolve cada DOI num registo bibliográfico e confirma o título, os autores e o ano
Artefacto de verificação: Registo de verificação de citações
- Conclusões
Contributo assistido por IA: Esboça resumos em linguagem acessível
Responsabilidade humana: Escreve e assina a conclusão, incluindo lacunas de evidência explícitas
Artefacto de verificação: Autor nominal e responsável
Três regras tornam o fluxo de trabalho defensável:
- Ausência de evidência fabricada. Cada referência é resolvida em relação a um registo bibliográfico antes da publicação. Uma referência que não possa ser resolvida é removida, e a lacuna é declarada como "nenhuma evidência direta identificada" em vez de ser preenchida.
- Cada número é rastreável. As doses, as dimensões do efeito, as dimensões da amostra e os limites são verificados em relação ao resumo ou ao texto integral, e não a um resumo gerado por IA.
- Os resultados da IA são candidatos, e não conclusões. Os registos, as extrações e os resumos propostos pela IA constituem dados de entrada para a revisão humana. A inclusão, a avaliação, o grau de certeza e as conclusões são decisões humanas, registadas com o nome do revisor.
5. Contexto regulamentar: o Regulamento IA da UE
O Regulamento (UE) 2024/1689 estabelece regras harmonizadas sobre a inteligência artificial na União Europeia [19]. Duas disposições são diretamente relevantes para o trabalho científico assistido por IA. O Artigo 4.º exige que os fornecedores e os implantadores de sistemas de IA assegurem um nível suficiente de literacia em IA do pessoal que os opera. O Artigo 14.º exige que os sistemas de IA de alto risco sejam concebidos para uma supervisão humana eficaz, de modo a que uma pessoa possa compreender as capacidades e limitações do sistema, manter-se consciente do viés de automatização, interpretar corretamente o seu resultado e decidir não o utilizar ou anular-lo.
As ferramentas de apoio à revisão da literatura não estão, enquanto tais, catalogadas como sistemas de alto risco. No entanto, a aplicação voluntária dos princípios de supervisão do Artigo 14.º constitui uma boa prática científica: trata-se do mesmo princípio que a metodologia de revisão sistemática sempre exigiu, a saber, que o revisor, e não a ferramenta, é responsável por cada julgamento.
6. Limitações
Trata-se de uma revisão metodológica narrativa, e não de uma revisão sistemática de ferramentas de IA. As avaliações publicadas de modelos linguísticos de grande dimensão (LLM) na síntese de evidências são recentes, frequentemente de pequena escala e específicas de cada modelo, variando o desempenho dos modelos entre versões. Os valores citados supra descrevem os modelos e conjuntos de dados testados nesses estudos e não devem ser generalizados a outras ferramentas. Qualquer organização que adote uma revisão assistida por IA deve validar o seu próprio fluxo de trabalho em relação a padrões de referência humanos e reportar essa validação.
7. Conclusão
A IA pode tornar a síntese de evidências rigorosas mais célere. Por si só, não a pode tornar mais fiável. No domínio dos suplementos alimentares, da nutrição médica e dos novos ingredientes, em que um processo de candidatura deve resistir ao escrutínio regulamentar e clínico, o modelo defensível é o do humano no circuito («human-in-the-loop»): normas estabelecidas (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), utilização da IA apenas nos casos em que o respetivo resultado possa ser verificado, verificação de todas as citações e de todos os números em relação à fonte, e peritos nomeados responsáveis por cada conclusão.
