Sztuczna inteligencja z udziałem człowieka w pętli w przeglądach systematycznych w zakresie bezpieczeństwa żywności i suplementów

Streszczenie

Wprowadzenie: Decyzje dotyczące bezpieczeństwa i skuteczności suplementów diety, żywności przeznaczonej do specyficznych celów medycznych oraz nowych składników w coraz większym stopniu zależą od dużych, niejednorodnych zbiorów dowodów: badań z randomizacją, kohort obserwacyjnych, toksykologii zwierzęcej, prac mechanistycznych in vitro oraz opinii regulacyjnych. Uczenie maszynowe i duże modele językowe (LLM) obiecują skrócenie najwolniejszych etapów syntezy dowodów, jednak opublikowane oceny wskazują, że ich wiarygodność znacznie różni się w zależności od zadań.

Cel: Opisanie ramy pracy z udziałem człowieka w pętli (human-in-the-loop), w której narzędzia sztucznej inteligencji przyspieszają wyszukiwanie, deduplikację, priorytetyzację i wstępną ekstrakcję danych, podczas gdy każda decyzja o włączeniu, ocena ryzyka błędu, ocena pewności oraz wniosek pozostają w gestii wyznaczonego, wykwalifikowanego recenzenta.

Metody: Narracyjny przegląd metodologiczny standardów raportowania i oceny (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, podejście OHAT oraz wytyczne EFSA dotyczące metodologii przeglądów systematycznych w zakresie bezpieczeństwa żywności i pasz), opublikowanych ocen uczenia maszynowego i modeli LLM w zadaniach przeglądów systematycznych oraz obowiązków wynikających z rozporządzenia (UE) 2024/1689 (aktu w sprawie sztucznej inteligencji) istotnych dla prac naukowych wspomaganych przez sztuczną inteligencję.

Wnioski: Dowody potwierdzają przydatność sztucznej inteligencji jako akceleratora wyszukiwania, priorytetyzacji przesiewowej i wstępnej ekstrakcji, a nie jako autonomicznego recenzenta. Nienadzorowane wyniki modeli LLM mogą zawierać sfałszowane referencje i nierzetelne decyzje przesiewowe. Defensywny przepływ pracy wymaga zarejestrowania protokołu przed rozpoczęciem badań, rejestrowania każdego kroku wspomaganego przez sztuczną inteligencję, weryfikacji każdego cytatu z rejestrem bibliograficznym, sprawdzenia każdej liczby z tekstem źródłowym oraz pozostawienia ostatecznego osądu naukowego odpowiedzialnym ekspertom.

1. Wprowadzenie

Dossier produktu dla suplementu diety lub produktu żywieniowego przeznaczonego do celów medycznych jest tak silne, jak przegląd dowodów, na którym się opiera. Organiści regulacyjni, klinicyści i właściciele marek muszą wiedzieć nie tylko, co wykazało dane badanie, ale także w jaki sposób znaleziono badania, dlaczego niektóre zostały wykluczone oraz jak pewny jest recenzent co do całego zbioru dowodów. Metodologia przeglądów systematycznych odpowiada na te pytania za pomocą przejrzystej, odtwarzalnej sekwencji: zdefiniowanego wcześniej pytania i protokołu, udokumentowanego wyszukiwania, niezależnego przesiewu, ustrukturyzowanej ekstrakcji danych, oceny ryzyka błędu oraz usystematyzowanego oświadczenia o pewności.

W zakresie bezpieczeństwa żywności i pasz Europejski Urząd ds. Bezpieczeństwa Żywności opublikował wytyczne dotyczące stosowania tej metodologii do pytań z zakresu oceny ryzyka już w 2010 roku [10]. W dziedzinie zdrowia środowiskowego i toksykologii podejście OHAT Narodowego Programu Toksykologicznego rozszerzyło przegląd systematyczny na integrację dowodów z badań na ludziach, zwierzętach oraz dowodów mechanistycznych w celu identyfikacji zagrożeń [6]. Ramy te są wymagające: pojedynczy przegląd może obejmować tysiące rekordów i tygodnie pracy ekspertów.

Narzędzia uczenia maszynowego do wyszukiwania, przesiewu i ekstrakcji uległy dojrzałości w ciągu ostatniej dekady [15, 16], a ogólnodostępne modele LLM są obecnie szeroko dostępne. Pytanie dla każdej organizacji przygotowującej dossier naukowe nie dotyczy już zatem tego, czy używać sztucznej inteligencji, ale gdzie wyniki generowane przez sztuczną inteligencję mogą być uznane za wiarygodne, gdzie muszą zostać zweryfikowane i gdzie nie można delegować osądu człowieka.

2. Standardy raportowania i oceny, które nie ulegają zmianie wraz ze sztuczną inteligencją

2.1 Pytanie, protokół i wyszukiwanie

Przegląd rozpoczyna się od ustrukturyzowanego pytania. W przypadku interwencji jest to zazwyczaj PICO (populacja, interwencja, komparator, wynik); w przypadku pytań dotyczących bezpieczeństwa i narażenia lepiej sprawdza się rama PECO (populacja, narażenie, komparator, wynik), ponieważ uwzględnia narażenia, które nie są wybierane przez uczestnika, oraz porównania między różnymi poziomami narażenia [9]. Protokół powinien zostać sporządzony przed rozpoczęciem przesiewu i zraportowany zgodnie z PRISMA-P, 17-punktową listą kontrolną [3].

Wyszukiwanie musi być odtwarzalne. PRISMA-S dodaje 16 pozycji raportowania specyficznych dla wyszukiwania literatury, w tym zastosowane bazy danych i platformy, pełne ciągi wyszukiwania, ograniczenia, datę ostatniego wyszukiwania oraz metodę deduplikacji [2]. Pozycje te stosuje się niezależnie od tego, czy zapytanie zostało sporządzone przez człowieka, czy zasugerowane przez narzędzie sztucznej inteligencji: ostateczny ciąg wyszukiwania w takiej postaci, w jakiej został wykonany, musi zostać zraportowany.

2.2 Selekcja, ekstrakcja i raportowanie

PRISMA 2020 udostępnia 27-punktową listę kontrolną oraz diagram przepływu, który uwzględnia każdy rekord od identyfikacji do włączenia [1]. Standardową praktyką jest niezależny podwójny przesiew prowadzony przez dwóch recenzentów. Przegląd metodologiczny systematyczny porównujący pojedynczy przesiew z podwójnym wykazał, że mediana istotnych badań pominiętych w wyniku pojedynczego przesiewu wynosiła 5% (zakres 0–58%), rosnąc do mediany 13% w przypadku mniej doświadczonych recenzentów [11]. Zgodność między recenzentami jest powszechnie kwantyfikowana za pomocą współczynnika kappa Cohena [17] i interpretowana w skali Landisa i Kocha, na której wartości 0,61–0,80 wskazują na znaczną, a 0,81–1,00 na prawie idealną zgodność.[18]

2.3 Ryzyko błędu i pewność

Każde włączone badanie jest oceniane za pomocą narzędzia odpowiedniego dla danego projektu: RoB 2 dla badań z randomizacją, ustrukturyzowanego w pięciu domenach błędu [4], oraz ROBINS-I dla badań nierandomizowanych nad interwencjami, ustrukturyzowanego w siedmiu domenach [5]. Istniejące przeglądy systematyczne wykorzystywane jako dowody można oceniać za pomocą narzędzia AMSTAR 2 [8].

Pewność zbioru dowodów dla każdego wyniku jest następnie oceniana za pomocą systemu GRADE, który bierze pod uwagę ryzyko błędu, niespójność, brak bezpośredniości, niedokładność oraz błąd publikacyjny, a także pozwala na podniesienie oceny w przypadku dużych efektów, gradientów dawka-odpowiedź oraz resztkowego zakłócenia, które zmniejszyłoby obserwowany efekt [7]. Podejście OHAT dostosowuje tę logikę do dowodów środowiskowych i toksykologicznych oraz tłumaczy oceny wiarygodności na poziomy dowodów dla efektu zdrowotnego, integrując strumienie danych dotyczące ludzi i zwierząt [6].

Żaden z tych kroków nie jest zadaniem o charakterze rutynowym i urzędniczym. Decyzja o tym, czy populacja badana jest wystarczająco zbliżona do populacji docelowej, czy dawka jest porównywalna lub czy czynnik zakłócający jest na tyle poważny, aby obniżyć pewność, wymaga wiedzy dziedzinowej i odpowiedzialności.

3. Co mówią dowody na temat sztucznej inteligencji w przeglądach systematycznych

3.1 Gdzie pomaga uczenie maszynowe

Marshall i Wallace dokonali przeglądu metod uczenia maszynowego proponowanych do wyszukiwania, przesiewu i ekstrakcji danych, dochodząc do wniosku, że kilka z nich jest gotowych do praktycznego zastosowania, pod warunkiem że zespół przeglądowy rozumie ich mocne strony i tryby awarii [15]. Narzędzia aktywnego uczenia się, które ponownie klasyfikują nieprzeanalizowane rekordy w miarę ich oznaczania przez recenzentów, pozwalają zespołom znajdować istotne badania wcześniej w procesie przesiewu; dostępne są otwarte i przejrzyste ramy tego typu [16]. Używany w ten sposób człowiek nadal podejmuje każdą decyzję o włączeniu; maszyna zmienia jedynie kolejność, w jakiej oglądane są rekordy.

W przypadku wstępnej ekstrakcji danych badanie typu „proof-of-concept” wykazało, że model LLM wyekstrahował 160 predefiniowanych elementów danych z 10 badań z randomizacją o otwartym dostępie z ogólną dokładnością na poziomie 96,3%; większość z jego sześciu błędów dotyczyła pominiętych elementów [12]. Autorzy przedstawili to jako potencjalną oszczędność czasu opartą na małej próbie celowej, a nie jako substytut ekstrakcji dokonywanej przez człowieka.

3.2 Gdzie zawodzi nienadzorowana sztuczna inteligencja

Wyniki przesiewu są mniej budujące. Zarejestrowana wcześniej ocena ogólnodostępnego modelu LLM działającego w trybie „human-out-of-the-loop” wykazała, że pozorna dokładność została napędzana przez zgodność przypadkową oraz nierównowagę zbioru danych. Po korekcie wydajność przesiewu wahała się od żadnej w zbalansowanych zbiorach danych do umiarkowanej w niezbalansowanych, a wydajność ekstrakcji danych była umiarkowana. Autorzy uznali, że konieczna jest znaczna ostrożność [13].

Generowanie referencji to najpoważniejszy tryb awarii. Kiedy poproszono modele LLM o odtworzenie bibliografii z 11 opublikowanych przeglądów systematycznych, wskaźniki halucynacji (referencje z co najmniej dwoma błędnymi elementami spośród tytułu, pierwszego autora lub roku) wynosiły odpowiednio 39,6%, 28,6% i 91,4% dla trzech testowanych modeli, a precyzja wynosiła co najwyżej 13,4% [14]. Dossier, które cytuje nieistniejący artykuł, traci wiarygodność w oczach organów regulacyjnych i klinicystów, niezależnie od jakości pozostałej części pracy.

3.3 Implikacje

Wzorzec ten jest spójny. Sztuczna inteligencja jest użyteczna, gdy proponuje, a człowiek decyduje: rekordy kandydackie, kolejność przesiewu, wstępną tabelę ekstrakcji. Jest niewiarygodna, gdy jej wyniki są akceptowane bez weryfikacji. Kwestią projektową jest zatem to, jak uczynić każdy wkład sztucznej inteligencji weryfikowalnym, odnotowanym w dzienniku i przypisanym człowiekowi.

4. Przepływ pracy z człowiekiem w pętli (human-in-the-loop)

Poniższy przepływ pracy określa zasady projektowania z udziałem człowieka w pętli, z których korzysta Olympia Biosciences podczas planowania przeglądów dowodów na potrzeby rozwoju suplementów, nutraceutyków oraz produktów żywieniowych przeznaczonych do celów medycznych. Gdy przegląd jest przeprowadzany i raportowany jako systematyczny, każdy etap wspomagany przez sztuczną inteligencję ma generować wymieniony artefakt, który człowiek sprawdza i zatwierdza przed rozpoczęciem kolejnego etapu.

1. Pytanie i protokół

   Wkład wspomagany przez sztuczną inteligencję: Sugeruje synonimy, listy wyników oraz kandydackie elementy PECO/PICO

   Odpowiedzialność człowieka: Ustala pytanie, kryteria włączenia i plan analizy przed rozpoczęciem przesiewu

   Artefakt weryfikacyjny: Protokół zraportowany zgodnie z PRISMA-P [3]

2. Wyszukiwanie

   Wkład wspomagany przez sztuczną inteligencję: Proponuje warianty ciągów wyszukiwania oraz rekordy kandydackie z wyszukiwania semantycznego

   Odpowiedzialność człowieka: Zatwierdza ostateczne ciągi; uruchamia je i dokumentuje w bibliograficznych bazach danych

   Artefakt weryfikacyjny: Zapis wyszukiwania PRISMA-S [2]

3. Deduplikacja i priorytetyzacja

   Wkład wspomagany przez sztuczną inteligencję: Grupuje duplikaty; szereguje rekordy według przewidywanej istotności [16]

   Odpowiedzialność człowieka: Potwierdza scalenia; przegląda każdy rekord decydujący o włączeniu

   Artefakt weryfikacyjny: Diagram przepływu PRISMA 2020 [1]

4. Przesiew

   Wkład wspomagany przez sztuczną inteligencję: Oznacza pozycje prawdopodobnie kwalifikujące się do włączenia i wykluczenia w ramach drugiej opinii

   Odpowiedzialność człowieka: Podejmuje i rejestruje każdą decyzję o włączeniu/wykluczeniu wraz z uzasadnieniem; rozstrzyga konflikty

   Artefakt weryfikacyjny: Dziennik decyzji; zgodność między sędziami (współczynnik kappa) [17, 18]

5. Ekstrakcja danych

   Wkład wspomagany przez sztuczną inteligencję: Sporządza szkice tabel ekstrakcji na podstawie pełnych tekstów [12]

   Odpowiedzialność człowieka: Sprawdza każdą wyekstrahowaną liczbę z tekstem źródłowym

   Artefakt weryfikacyjny: Tabela ekstrakcji z odnośnikami do stron i rycin

6. Ryzyko błędu i pewność

   Wkład wspomagany przez sztuczną inteligencję: Brak delegowania zadań

   Odpowiedzialność człowieka: Stosuje RoB 2, ROBINS-I, AMSTAR 2, GRADE lub OHAT [4–8]

   Artefakt weryfikacyjny: Podpisane tabele oceny

7. Integralność cytowań

   Wkład wspomagany przez sztuczną inteligencję: Gromadzi identyfikatory

   Odpowiedzialność człowieka: Rozstrzyga każdy numer DOI w rejestrze bibliograficznym i potwierdza tytuł, autorów oraz rok

   Artefakt weryfikacyjny: Rejestr weryfikacji cytowań

8. Wnioski

   Wkład wspomagany przez sztuczną inteligencję: Sporządza szkice podsumowań w języku ogólnym

   Odpowiedzialność człowieka: Pisze i podpisuje wnioski, uwzględniając wyraźne luki w dowodach

   Artefakt weryfikacyjny: Wyznaczony, odpowiedzialny autor

Trzy zasady czynią przepływ pracy defensywnym:

1. Brak sfałszowanych dowodów. Każda referencja jest weryfikowana w rejestrze bibliograficznym przed publikacją. Referencja, której nie można zweryfikować, jest usuwana, a luka jest opisywana jako „nie zidentyfikowano bezpośrednich dowodów” zamiast być wypełnianą sztucznie.
2. Każda liczba jest weryfikowalna. Dawki, wielkości efektów, liczności prób i limity są sprawdzane pod kątem zgodności z abstraktem lub pełnym tekstem, a nie z podsumowaniem generowanym przez sztuczną inteligencję.
3. Wyniki generowane przez sztuczną inteligencję stanowią propozycje, a nie ostateczne ustalenia. Rekordy, ekstrakcje i podsumowania proponowane przez sztuczną inteligencję stanowią dane wejściowe do weryfikacji przez człowieka. Kryteria włączenia, ocena, stopień pewności oraz wnioski stanowią decyzje podejmowane przez ludzi, rejestrowane pod nazwiskiem osoby dokonującej przeglądu.

5. Kontekst regulacyjny: unijny akt w sprawie sztucznej inteligencji (AI Act)

Rozporządzenie (UE) 2024/1689 ustanawia zharmonizowane przepisy dotyczące sztucznej inteligencji w Unii Europejskiej [19]. Dwa przepisy mają bezpośrednie zastosowanie do prac naukowych wspomaganych sztuczną inteligencją. Artykuł 4 wymaga, aby dostawcy i operatorzy systemów sztucznej inteligencji zapewnili odpowiedni poziom kompetencji w zakresie sztucznej inteligencji u pracowników, którzy je obsługują. Artykuł 14 wymaga, aby wysok ryzykowne systemy sztucznej inteligencji były projektowane z myślą o skutecznym nadzorze ze strony człowieka, tak aby użytkownik mógł zrozumieć możliwości i ograniczenia systemu, mieć świadomość błędu automatyzacji, poprawnie interpretować jego wyniki oraz podjąć decyzję o zaniechaniu jego użycia lub jego nadpisaniu.

Narzędzia wspomagające przeglądy literaturowe nie są same w sobie klasyfikowane jako systemy wysokiego ryzyka. Dobrowolne zastosowanie zasad nadzoru określonych w art. 14 stanowi niemniej jednak dobrą praktykę naukową: jest to ta sama zasada, której metodyka przeglądów systematycznych wymagała od zawsze, a mianowicie, że za każdą ocenę odpowiada osoba dokonująca przeglądu, a nie narzędzie.

6. Ograniczenia

Niniejszy dokument stanowi narracyjny przegląd metodyczny, a nie przegląd systematyczny narzędzi sztucznej inteligencji. Opublikowane oceny modeli dużych języków (LLM) w procesie syntezy dowodów są niedawne, często prowadzone na małą skalę i specyficzne dla konkretnych modeli, a wydajność modeli zmienia się pomiędzy wersjami. Cytowane powyżej dane opisują modele i zbiory danych przetestowane w tych badaniach i nie należy ich uogólniać na inne narzędzia. Każda organizacja wdrażająca przegląd wspomagany sztuczną inteligencją powinna zweryfikować własny przepływ pracy względem referencyjnych standardów ludzkich i raportować tę walidację.

7. Wniosek

Sztuczna inteligencja może przyspieszyć rzetelną syntezę dowodów naukowych. Sama w sobie nie sprawi jednak, że będą one bardziej wiarygodne. W przypadku suplementów diety, żywności medycznej i nowej żywności (novel foods), gdzie dokumentacja musi wytrzymać rygorystyczną kontrolę regulacyjną i kliniczną, defensywnym modelem jest podejście z udziałem człowieka w pętli (human-in-the-loop): ugruntowane standardy (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), sztuczna inteligencja wykorzystywana wyłącznie tam, gdzie jej wyniki mogą zostać zweryfikowane, każde odniesienie bibliograficzne i każda liczba sprawdzone ze źródłem oraz wyznaczeni eksperci odpowiedzialni za każdy wniosek.