Riepilogo
Contesto: Le decisioni in materia di sicurezza ed efficacia per gli integratori alimentari, gli alimenti a fini medici speciali e i nuovi ingredienti dipendono in misura crescente da corpi di evidenze ampi ed eterogenei: studi randomizzati, coorti osservazionali, tossicologia animale, studi meccanicistici in vitro e pareri normativi. L'apprendimento automatico e i modelli linguistici di grandi dimensioni (LLM) promettono di abbreviare le fasi più lente della sintesi delle evidenze, ma le valutazioni pubblicate dimostrano che la loro affidabilità varia notevolmente a seconda dei compiti.
Obiettivo: Descrivere un quadro basato sulla supervisione umana in cui gli strumenti di intelligenza artificiale accelerano il reperimento, la de-duplicazione, la definizione delle priorità e l'estrazione preliminare dei dati, mentre ogni decisione di inclusione, giudizio sul rischio di bias, valutazione della certezza e conclusione rimane di competenza di un revisore umano qualificato e nominato.
Metodi: Revisione metodologica narrativa degli standard di reporting e valutazione (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, l'approccio OHAT e gli orientamenti dell'EFSA sulla metodologia di revisione sistematica per la sicurezza alimentare e dei mangimi), delle valutazioni pubblicate sull'apprendimento automatico e sui modelli linguistici di grandi dimensioni (LLM) nei compiti di revisione sistematica, e degli obblighi di cui al Regolamento (UE) 2024/1689 (regolamento sull'intelligenza artificiale) pertinenti al lavoro scientifico assistito dall'intelligenza artificiale.
Conclusioni: Le evidenze supportano l'intelligenza artificiale come acceleratore della ricerca, della definizione delle priorità di screening e dell'estrazione preliminare, e non come revisore autonomo. Gli output non supervisionati dei modelli linguistici di grandi dimensioni (LLM) possono contenere riferimenti fabbricati e decisioni di screening inaffidabili. Un flusso di lavoro difendibile preregistra il protocollo, registra ogni fase assistita dall'intelligenza artificiale, verifica ogni citazione rispetto a un registro bibliografico, controlla ogni numero rispetto al testo sorgente e mantiene il giudizio scientifico finale sotto la responsabilità di esperti competenti.
1. Introduzione
Il dossier di un prodotto per un integratore alimentare o un prodotto di nutrizione medica è forte tanto quanto la revisione delle evidenze che lo sostiene. Le autorità di regolamentazione, i clinici e i titolari del marchio devono sapere non solo cosa ha riscontrato uno studio, ma anche come gli studi sono stati reperiti, perché alcuni sono stati esclusi e quanta fiducia nutre il revisore nell'insieme complessivo delle evidenze. La metodologia di revisione sistematica risponde a queste domande attraverso una sequenza trasparente e riproducibile: una domanda e un protocollo pre-specificati, una ricerca documentata, uno screening indipendente, un'estrazione strutturata dei dati, una valutazione del rischio di bias e una dichiarazione graduata della certezza.
Per la sicurezza alimentare e dei mangimi, l'Autorità europea per la sicurezza alimentare ha pubblicato orientamenti sull'applicazione di questa metodologia alle questioni di valutazione del rischio già nel 2010 [10]. Nella salute ambientale e nella tossicologia, l'approccio OHAT del National Toxicology Program ha esteso la revisione sistematica all'integrazione di evidenze umane, animali e meccanicistiche per l'identificazione dei pericoli [6]. Questi quadri di riferimento sono rigorosi: una singola revisione può coinvolgere migliaia di registri e settimane di lavoro da parte di esperti.
Gli strumenti di apprendimento automatico per la ricerca, lo screening e l'estrazione sono maturati nel corso dell'ultimo decennio [15, 16] e i modelli linguistici di grandi dimensioni (LLM) per usi generali sono ora ampiamente disponibili. La questione per qualsiasi organizzazione che produce dossier scientifici non è quindi più se utilizzare l'intelligenza artificiale, bensì dove ci si possa fidare dell'output dell'intelligenza artificiale, dove esso debba essere verificato e dove il giudizio umano non possa essere delegato.
2. Standard di reporting e valutazione che non cambiano con l'intelligenza artificiale
2.1 Domanda, protocollo e ricerca
Una revisione inizia con una domanda strutturata. Per gli interventi si tratta tipicamente del quadro PICO (popolazione, intervento, comparatore, esito); per le questioni di sicurezza ed esposizione, il quadro PECO (popolazione, esposizione, comparatore, esito) è più idoneo, poiché si adatta a esposizioni che non sono scelte dal partecipante e a confronti tra diversi livelli di esposizione [9]. Il protocollo deve essere redatto prima dell'inizio dello screening e riportato secondo PRISMA-P, una checklist di 17 elementi [3].
La ricerca deve essere riproducibile. PRISMA-S aggiunge 16 elementi di reporting specifici per la ricerca di letteratura, inclusi i database e le piattaforme utilizzate, le stringhe di ricerca complete, i limiti, la data dell'ultima ricerca e il metodo di de-duplicazione [2]. Questi elementi si applicano indipendentemente dal fatto che una query sia stata redatta da una persona o suggerita da uno strumento di intelligenza artificiale: la stringa di ricerca finale, così come eseguita, è ciò che deve essere riportato.
2.2 Selezione, estrazione e reporting
PRISMA 2020 fornisce una checklist di 27 elementi e un diagramma di flusso che rende conto di ogni record dall'identificazione all'inclusione [1]. La pratica convenzionale prevede un doppio screening indipendente da parte di due revisori. Una revisione sistematica metodologica che confronta lo screening singolo con quello doppio ha riscontrato una mediana del 5% di studi pertinenti non rilevati dallo screening singolo (intervallo 0-58%), che sale a una mediana del 13% per i revisori meno esperti [11]. L'accordo tra revisori viene comunemente quantificato con la kappa di Cohen [17] e interpretato sulla scala di Landis e Koch, in cui i valori da 0,61 a 0,80 indicano un accordo sostanziale e da 0,81 a 1,00 un accordo quasi perfetto.[18]
2.3 Rischio di bias e certezza
Ciascuno studio incluso viene valutato con uno strumento adeguato al disegno dello studio: RoB 2 per gli studi randomizzati, strutturato in cinque domini di bias [4], e ROBINS-I per gli studi non randomizzati di interventi, strutturato in sette domini [5]. Le revisioni sistematiche esistenti utilizzate come evidenze possono essere valutate con AMSTAR 2 [8].
La certezza dell'insieme delle evidenze per ciascun esito viene quindi valutata con GRADE, che considera il rischio di bias, l'incoerenza, l'indiretta specificità, l'imprecisione e il bias di pubblicazione, e consente di aumentare il grado per effetti ampi, gradienti dose-risposta e confondimento residuo che ridurrebbero l'effetto osservato [7]. L'approccio OHAT adatta questa logica alle evidenze ambientali e tossicologiche e traduce le valutazioni di confidenza in livelli di evidenza per un effetto sulla salute, integrando i flussi di dati umani e animali.[6]
Nessuna di queste fasi costituisce un'attività puramente amministrativa. Decidere se la popolazione di uno studio sia sufficientemente vicina alla popolazione target, se una dose sia comparabile o se un fattore di confondimento sia sufficientemente grave da giustificare una riduzione della certezza richiede competenza specifica nel dominio e responsabilità.
3. Cosa dicono le evidenze sull'intelligenza artificiale nelle revisioni sistematiche
3.1 Dove l'apprendimento automatico risulta utile
Marshall e Wallace hanno esaminato i metodi di apprendimento automatico proposti per la ricerca, lo screening e l'estrazione dei dati, concludendo che diversi di essi sono pronti per l'uso pratico, a condizione che il team di revisione comprenda i loro punti di forza e le loro modalità di errore [15]. Gli strumenti di apprendimento attivo, che riordinano i record non sottoposti a screening man mano che i revisori li etichettano, consentono ai team di individuare gli studi pertinenti in una fase più precoce del processo di screening; a tale scopo sono disponibili quadri di riferimento open source e trasparenti [16]. Utilizzato in questo modo, l'essere umano compie comunque ogni decisione di inclusione; la macchina modifica unicamente l'ordine in cui i record vengono visualizzati.
Per l'estrazione preliminare dei dati, uno studio di fattibilità (proof-of-concept) ha rilevato che un modello linguistico di grandi dimensioni (LLM) ha estratto 160 elementi di dati predefiniti da 10 studi randomizzati ad accesso aperto con un'accuratezza complessiva del 96,3%; la maggior parte dei suoi sei errori era costituita da elementi non rilevati [12]. Gli autori hanno inquadrato questo risultato come un potenziale in termini di efficienza, basato su un piccolo campione di convenienza, e non come un sostituto dell'estrazione umana.
3.2 Dove l'intelligenza artificiale non supervisionata fallisce
Le prestazioni di screening sono meno rassicuranti. Una valutazione preregistrata di un modello linguistico di grandi dimensioni (LLM) per usi generali che opera "senza la supervisione umana" ha rilevato che l'accuratezza apparente era gonfiata dall'accordo casuale e dallo squilibrio dei set di dati. Dopo l'aggiustamento, le prestazioni di screening variavano da nulle nei set di dati bilanciati a moderate in quelli sbilanciati, e le prestazioni di estrazione dei dati erano moderate. Gli autori hanno concluso che è necessaria una sostanziale cautela [13].
La generazione delle referenze bibliografiche costituisce la modalità di errore più grave. Quando ai modelli linguistici di grandi dimensioni (LLM) è stato chiesto di riprodurre gli elenchi di riferimenti di 11 revisioni sistematiche pubblicate, i tassi di allucinazione (riferimenti con almeno due elementi errati tra titolo, primo autore o anno) sono stati pari al 39,6%, al 28,6% e al 91,4% per i tre modelli testati, e la precisione è stata al massimo del 13,4% [14]. Un dossier che citi un articolo inesistente perde la sua credibilità presso le autorità di regolamentazione e i clinici, indipendentemente dalla qualità del resto del lavoro.
3.3 Implicazioni
Il modello è coerente. L'intelligenza artificiale è utile quando propone e l'essere umano dispone: record candidati, un ordine di screening, una tabella di estrazione preliminare. Essa risulta inaffidabile quando il suo output viene accettato senza verifica. La questione progettuale consiste pertanto nel rendere ogni contributo dell'intelligenza artificiale verificabile, registrato e di proprietà di una persona.
4. Un flusso di lavoro basato sulla supervisione umana
Il flusso di lavoro seguente definisce i principi di progettazione basati sulla supervisione umana che Olympia Biosciences adotta nella pianificazione delle revisioni delle evidenze per lo sviluppo di integratori, nutraceutici e prodotti di nutrizione medica. Quando una revisione viene condotta e riportata come sistematica, si prevede che ogni fase assistita dall'intelligenza artificiale produca l'artefatto elencato, che un essere umano controlla e approva prima dell'inizio della fase successiva.
- Domanda e protocollo
Contributo assistito dall'intelligenza artificiale: Suggerisce sinonimi, elenchi di esiti ed elementi PECO/PICO candidati
Responsabilità umana: Fissa la domanda, i criteri di eleggibilità e il piano di analisi prima dello screening
Artefatto di verifica: Protocollo riportato secondo PRISMA-P [3]
- Ricerca
Contributo assistito dall'intelligenza artificiale: Propone varianti di stringhe di ricerca e record candidati dalla ricerca semantica
Responsabilità umana: Approva le stringhe finali; le esegue e le documenta nei database bibliografici
Artefatto di verifica: Registro di ricerca PRISMA-S [2]
- De-duplicazione e definizione delle priorità
Contributo assistito dall'intelligenza artificiale: Raggruppa i duplicati; classifica i record in base alla pertinenza prevista [16]
Responsabilità umana: Conferma le fusioni; sottopone a screening ogni record che determina l'inclusione
Artefatto di verifica: Diagramma di flusso PRISMA 2020 [1]
- Screening
Contributo assistito dall'intelligenza artificiale: Segnala le probabili inclusioni ed esclusioni come secondo parere
Responsabilità umana: Prende e registra ogni decisione di inclusione/esclusione con le relative motivazioni; risolve i conflitti
Artefatto di verifica: Registro delle decisioni; accordo tra valutatori (kappa) [17, 18]
- Estrazione dei dati
Contributo assistito dall'intelligenza artificiale: Redige tabelle di estrazione dai testi integrali [12]
Responsabilità umana: Controlla ogni numero estratto rispetto al testo sorgente
Artefatto di verifica: Tabella di estrazione con ancore a pagine/figure
- Rischio di bias e certezza
Contributo assistito dall'intelligenza artificiale: Nessuno delegato
Responsabilità umana: Applica RoB 2, ROBINS-I, AMSTAR 2, GRADE o OHAT [4–8]
Artefatto di verifica: Tabelle di valutazione firmate
- Integrità delle citazioni
Contributo assistito dall'intelligenza artificiale: Raccoglie identificatori
Responsabilità umana: Risolve ogni DOI in un registro bibliografico e conferma titolo, autori e anno
Artefatto di verifica: Registro di verifica delle citazioni
- Conclusioni
Contributo assistito dall'intelligenza artificiale: Redige sintesi in linguaggio semplice
Responsabilità umana: Scrive e firma la conclusione, includendo esplicite lacune nelle evidenze
Artefatto di verifica: Autore designato e responsabile
Tre regole rendono il flusso di lavoro difendibile:
- Nessuna evidenza fabbricata. Ciascun riferimento viene risolto rispetto a un registro bibliografico prima della pubblicazione. Un riferimento che non può essere risolto viene rimosso e la lacuna viene indicata come "nessuna evidenza diretta identificata" anziché essere colmata.
- Ogni numero è tracciabile. Dosi, dimensioni dell'effetto, ampiezze campionarie e limiti vengono verificati rispetto all'abstract o al testo completo, e non a un riepilogo generato da intelligenza artificiale.
- Gli output dell'IA sono candidati, non risultati definitivi. Registrazioni, estrazioni e riepiloghi proposti dall'IA costituiscono input per la revisione umana. L'inclusione, la valutazione, il grado di certezza e le conclusioni sono decisioni umane, registrate con il nome del revisore.
5. Contesto normativo: l'AI Act dell'UE
Il Regolamento (UE) 2024/1689 stabilisce norme armonizzate sull'intelligenza artificiale nell'Unione Europea [19]. Due disposizioni sono direttamente pertinenti al lavoro scientifico assistito da IA. L'articolo 4 impone ai fornitori e ai deployer di sistemi di IA di garantire un livello sufficiente di alfabetizzazione in materia di IA tra il personale che li utilizza. L'articolo 14 richiede che i sistemi di IA ad alto rischio siano progettati per un'efficace supervisione umana, affinché una persona possa comprendere le capacità e i limiti del sistema, rimanere consapevole del bias di automazione, interpretare correttamente l'output e decidere di non utilizzarlo o di ignorarlo.
Gli strumenti di supporto alla revisione della letteratura non sono elencati in quanto tali tra i sistemi ad alto rischio. L'applicazione volontaria dei principi di supervisione di cui all'articolo 14 rappresenta nondimeno una buona pratica scientifica: si tratta del medesimo principio che la metodologia delle revisioni sistematiche ha da sempre richiesto, ovvero che sia il revisore, e non lo strumento, a essere responsabile di ogni giudizio.
6. Limitazioni
Questa è una revisione metodologica narrativa, non una revisione sistematica degli strumenti di IA. Le valutazioni pubblicate sui modelli linguistici di grandi dimensioni (LLM) nella sintesi delle evidenze sono recenti, spesso di limitata entità e specifiche per modello, e le prestazioni dei modelli variano da una versione all'altra. Le cifre citate descrivono i modelli e i set di dati testati in tali studi e non devono essere generalizzate ad altri strumenti. Qualsiasi organizzazione che adotti una revisione assistita da IA dovrebbe convalidare il proprio flusso di lavoro rispetto a standard di riferimento umani e riportare tale convalida.
7. Conclusione
L'IA può accelerare una rigorosa sintesi delle evidenze. Non può renderla autonoma e intrinsecamente più affidabile. Nel settore degli integratori alimentari, della nutrizione medica e dei nuovi ingredienti, laddove un dossier deve superare il vaglio normativo e clinico, il modello difendibile è basato sull'uomo nel circuito (human-in-the-loop): standard consolidati (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), IA impiegata esclusivamente laddove il suo output possa essere verificato, ogni citazione e numero verificati rispetto alla fonte ed esperti designati ritenuti responsabili di ogni conclusione.
