Tiivistelmä
Tausta: Ravintolisien, kliinisten ravustustuotteiden sekä uus elintarvikkeiden turvallisuus- ja tehopäätökset perustuvat yhä enemmän laajoihin, heterogeenisiin näyttöaineistoihin: satunnaistettuihin kokeisiin, havainnointikohorteihin, eläintoksikologiaan, in vitro -mekanistiseen työhön sekä sääntelyviranomaisten lausuntoihin. Koneoppiminen ja isot kielimallit (LLM) lupaavat lyhentää näytön synteesin hitaimmat vaiheet, mutta julkaistut arvioinnit osoittavat, että niiden luotettavuus vaihtelee voimakkaasti tehtävien välillä.
Tavoite: Kuvata ihminen mukana silmukassa -kehystä, jossa tekoälytyökalut nopeuttavat tiedonhakua, kaksoiskappaleiden poistoa, priorisointia ja tietojen luonnostelua, kun taas jokainen sisällytyspäätös, harha-arvio, varmuusluokitus ja johtopäätös säilyy nimetyllä, pätevällä ihmisarvioijalla.
Menetelmät: Narratiivinen menetelmäkatsaus raportointi- ja arviointistandardeista (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, OHAT-lähestymistapa sekä EFSA:n ohjeet elintarvike- ja rehuterveyden systemaattisen kirjallisuuskatsauksen menetelmistä), koneoppimisen ja LLM-mallien julkaistuista arvioinneista systemaattisen kirjallisuuskatsauksen tehtävissä sekä asetuksen (EU) 2024/1689 (tekoälysäädös) velvoitteista, jotka liittyvät tekoälyavusteiseen tieteelliseen työhön.
Johtopäätökset: Näyttö tukee tekoälyä haun, seulonnan priorisoinnin ja luonnosteluvedosten kiihdyttäjänä, ei autonomisena arvioijana. Ohjaamaton LLM-tuloste voi sisältää keksittyjä viitteitä ja epäluotettavia seulontapäätöksiä. Puolustettava työnkulku ennakkorekisteröi protokollan, kirjaa jokaisen tekoälyavusteisen vaiheen, tarkistaa jokaisen viitteen bibliografisesta rekisteristä, tarkistaa jokaisen luvun lähdetekstiä vasten ja pitää lopullisen tieteellisen arvion vastuullisilla asiantuntijoilla.
1. Johdanto
Ravintolisän tai lääkinnöllisen ravitsemustuotteen tuotedossjee on vain niin vahva kuin sen takana oleva näyttökatsaus. Sääntelyviranomaisten, kliinikoiden ja brändin omistajien on tiedettävä paitsi se, mitä tutkimus totesi, myös se, miten tutkimukset löydettiin, miksi jotkut suljettiin pois ja kuinka varma arvioija on näyttökokonaisuudesta. Systemaattinen kirjallisuuskatsausmenetelmä vastaa näihin kysymyksiin läpinäkyvän, toistettavan sarjan kautta: ennalta määritelty kysymys ja protokolla, dokumentoitu haku, riippumaton seulonta, jäsennetty tiedonkeruu, harha-arvio ja pisteytetty varmuuslausunto.
Elintarvike- ja rehuterveyden osalta Euroopan elintarviketurvallisuusviranomainen julkaisi ohjeet tämän menetelmän soveltamisesta riskinarviointikysymyksiin jo vuonna 2010 [10]. Ympäristöterveydessä ja toksikologiassa National Toxicology Programin OHAT-lähestymistapa laajensi systemaattisen kirjallisuuskatsauksen ihmis-, eläin- ja mekanistisen näytön yhdistämiseen vaarojen tunnistamiseksi [6]. Nämä kehykset ovat vaativia: yksittäinen katsaus voi sisältää tuhansia tietueita ja viikkoja asiantuntijoiden työaikaa.
Hakuun, seulontaan ja tiedonkeruuseen tarkoitetut koneoppimistyökalut ovat kypsyneet viimeisen vuosikymmenen aikana [15, 16], ja yleiskäyttöiset LLM-mallit ovat nyt laajasti saatavilla. Kysymys mille tahansa tieteellisiä dossjeita tuottavalle organisaatiolle ei siksi ole enää se, käytetäänkö tekoälyä, vaan missä tekoälytuotokseen voidaan luottaa, missä se on tarkistettava ja missä ihmisen arviointia ei voida ulkoistaa.
2. Raportointi- ja arviointistandardit, jotka eivät muutu tekoälyn myötä
2.1 Kysymys, protokolla ja haku
Katsaus alkaa jäsennetyllä kysymyksellä. Interventioissa tämä on tyypillisesti PICO (populaatio, interventio, vertailu, tulos); turvallisuus- ja altistuskysymyksissä PECO-kehys (populaatio, altistus, vertailu, tulos) soveltuu paremmin, koska se ottaa huomioon altistukset, joita osallistuja ei ole valinnut, ja vertailut eri altistustasojen välillä [9]. Protokolla tulisi kirjoittaa ennen seulonnan alkamista ja raportoida PRISMA-P:n, 17-kohtaisen tarkistuslistan mukaisesti [3].
Haun on oltava toistettava. PRISMA-S lisää 16 raportointikohtaa, jotka koskevat nimenomaan kirjallisuushakuja, mukaan lukien käytetyt tietokannat ja alustat, täydelliset hakujonot, rajoitukset, viimeisen haun päivämäärä ja kaksoiskappaleiden poistomenetelmä [2]. Nämä kohdat pätevät riippumatta siitä, onko kyselyn laatinut ihminen vai ehdottanut tekoälytyökalu: lopullinen hakujono sellaisena kuin se on suoritettu, on raportoitava.
2.2 Valinta, tiedonkeruu ja raportointi
PRISMA 2020 tarjoaa 27-kohtaisen tarkistuslistan ja vuokaavion, joka kattaa jokaisen tietueen tunnistamisesta sisällyttämiseen [1]. Perinteinen käytäntö on kahden arvioijan tekemä riippumaton kaksoisseulonta. Menetelmällinen systemaattinen katsaus, jossa verrattiin yhtä ja kahta seulontaa, osoitti, että yksittäiseltä seulonnalta jäi huomaamatta mediaani 5 % olennaisista tutkimuksista (vaihteluväli 0–58 %), mikä kasvoi mediaaniin 13 % vähemmän kokeneilla arvioijoilla [11]. Arvioijien välistä yhteisymmärrystä mitataan tavallisesti Cohenin kapalla [17] ja tulkitaan Landisin ja Kochan asteikolla, jolla arvot 0,61–0.80 osoittavat merkittävää ja 0,81–1.00 lähes täydellistä yhteisymmärrystä [18].
2.3 Harhariski ja varmuus
Jokaista sisällytettyä tutkimusta arvioidaan suunnittelulle sopivalla työkalulla: RoB 2 satunnaistetuille kokeille, jäsennettynä viidelle harha-alueelle [4], ja ROBINS-I satunnaistamattomille interventiotutkimuksille, jäsennettynä seitsemälle alueelle [5]. Olemassa olevia systemaattisia katsauksia, joita käytetään näyttönä, voidaan arvioida AMSTAR 2 -työkalulla [8].
Näyttökokonaisuuden varmuus kullekin tulokselle arvioidaan sen jälkeen GRADE-menetelmällä, jossa otetaan huomioon harhariski, epäjohdonmukaisuus, epäsuoruus, epätarkkuus ja julkaisuharha, ja joka mahdollistaa arvosanan korottamisen suurten vaikutusten, annos-vastegradienttien ja jäännössekoittavien tekijöiden osalta, jotka muuten vähentäisivät havaittua vaikutusta [7]. OHAT-lähestymistapa mukauttaa tämän logiikan ympäristö- ja toksikologiseen näyttöön ja kääntää luottamusluokitukset terveysvaikutuksen näyttötasoiksi yhdistmällä ihmis- ja eläinvirrat [6].
Mikään näistä vaiheista ei ole rutiinitehtävä. Sen päättäminen, onko tutkimuspopulaatio riittävän lähellä kohdejoukkoa, onko annos vertailukelpoinen vai onko sekoittava tekijä tarpeeksi vakava varmuuden alentamiseksi, vaatii alueen asiantuntemusta ja vastuullisuutta.
3. Mitä näyttö sanoo tekoälystä systemaattisissa katsauksissa
3.1 Missä koneoppimisesta on apua
Marshall ja Wallace tarkastelivat hakuun, seulontaan ja tiedonkeruuseen ehdotettuja koneoppimismenetelmiä ja totesivat useiden olevan valmiita käytännön käyttöön edellyttäen, että katsaustiimi ymmärtää niiden vahvuudet ja vikatilat [15]. Aktiivisen oppimisen työkalut, jotka järjestävät seulomattomat tietueet uudelleen arvioijien luokitellessa niitä, antavat tiimeille mahdollisuuden löytää olennaisia tutkimuksia aikaisemmin seulontaprosessissa; tämän tyyppisiä avoimen lähdekoodin, läpinäkyviä kehyksiä on saatavilla [16]. Näin käytettynä ihminen tekee edelleen jokaisen sisällytyspäätöksen; kone muuttaa vain järjestyksen, jossa tietueet nähdään.
Tiedonkeruun luonnostelua varten toteutettavuustutkimuksessa havaittiin, että LLM poimi 160 ennalta määriteltyä tietoalkiota 10 avoimen pääsyn satunnaistetusta kokeesta 96,3 %:n kokonaistarkkuudella; suurin osa sen kuudesta virheestä koski huomaamatta jääneitä kohteita [12]. Kirjoittajat esittivät tämän tehokkuuspotentiaalina pieneen mukavuusotokseen perustuen, ei korvikkeena ihmisen suorittamalle tiedonkeruulle.
3.2 Missä ohjaamaton tekoäly epäonnistuu
Seulontasuorituskyky on vähemmän rohkaiseva. Yleiskäyttöisen LLM-mallin ennakkoon rekisteröity arviointi "ihminen pois silmukasta" -tilassa osoitti, että näennäinen tarkkuus oli paisunut sattumanvaraisen yhteisymmärryksen ja aineiston epätasapainon vuoksi. Oikaisun jälkeen seulontasuorituskyky vaihteli nollasta tasapainotetuissa aineistoissa kohtalaiseen epätasapainoisissa aineistoissa, ja tiedonkeruun suorituskyky oli kohtalainen. Kirjoittajat päättelivät, että huomattava varovaisuus on tarpeen [13].
Viitteiden luominen on vakavin vikatila. Kun LLM-malleja pyydettiin toistamaan 11 julkaistun systemaattisen katsauksen viiteluettelot, hallusinaatioasteet (viitteet, joissa vähintään kaksi otsikossa, ensimmäisessä tekijässä tai vuodessa oli väärin) olivat 39,6 %, 28,6 % ja 91,4 % kolmelle testatulle mallille, ja tarkkuus oli enintään 13,4 % [14]. Dossjee, joka viittaa olemattomaan artikkeliin, menettää uskottavuutensa sääntelyviranomaisten ja kliinikoiden silmissä riippumatta muun työn laadusta.
3.3 Vaikutukset
Malli on johdonmukainen. Tekoäly on hyödyllinen, kun se ehdottaa ja ihminen ratkaisee: ehdokastietueet, seulontajärjestyksen, luonnostelutaulukon. Se on epäluotettava, kun sen tuotanto hyväksytään ilman todentamista. Suunnittelukysymys on siksi se, miten jokaisesta tekoälyosuudesta tehdään todennettava, kirjattu ja henkilön omistama.
4. Ihminen mukana silmukassa -työnkulku
Alla oleva työnkulku määrittelee ne ihminen mukana silmukassa -suunnitteluperiaatteet, joita Olympia Biosciences käyttää suunnitellessaan näyttökatsauksia lisäravinteiden, ravitsemusvalmisteiden ja lääkinnöllisen ravitsemuksen kehitykseen. Kun katsaus suoritetaan ja raportoidaan systemaattisena, jokaisen tekoälyavusteisen vaiheen odotetaan tuottavan luetellun artefaktin, jonka ihminen tarkistaa ja hyväksyy ennen kuin seuraava vaihe alkaa.
- Kysymys ja protokolla
Tekoälyavusteinen panos: Ehdottaa synonyymeja, tulosluetteloita ja PECO-/PICO-ehdokaselementtejä
Ihmisen vastuu: Kiinnittää kysymyksen, kelpoisuuskriteerit ja analyysisuunnitelman ennen seulontaa
Todennusartefakti: PRISMA-P:lle raportoitu protokolla [3]
- Haku
Tekoälyavusteinen panos: Ehdottaa hakujonovaihtoehtoja ja ehdokastietueita semanttisesta hausta
Ihmisen vastuu: Hyväksyy lopulliset jonot; ajaa ja dokumentoi ne bibliografisissa tietokannoissa
Todennusartefakti: PRISMA-S-hakuennuste [2]
- Kaksoiskappaleiden poisto ja priorisointi
Tekoälyavusteinen panos: Ryhmittelee kaksoiskappaleet; asettaa tietueet tärkeysjärjestykseen ennustetun relevanssin mukaan [16]
Ihmisen vastuu: Vahvistaa yhdistykset; seuloa jokaisen tietueen, joka määrittää sisällyttämisen
Todennusartefakti: PRISMA 2020 -vuokaavio [1]
- Seulonta
Tekoälyavusteinen panos: Merkitsee todennäköiset sisällytykset ja poisjätöt toisena mielipiteenä
Ihmisen vastuu: Tekee ja tallentaa jokaisen sisällyttämis-/poisjättöpäätöksen perusteluineen; ratkaisee ristiriidat
Todennusartefakti: Päätösloki; arvioijien välinen yhteisymmärrys (kappa) [17, 18]
- Tiedonkeruu
Tekoälyavusteinen panos: Luonnostelee poimintataulukot kokoteksteistä [12]
Ihmisen vastuu: Tarkistaa jokaisen poimitun luvun lähdetekstiä vasten
Todennusartefakti: Poimintataulukko sivu-/kuva-ankkureilla
- Harhariski ja varmuus
Tekoälyavusteinen panos: Ei delegoitu
Ihmisen vastuu: Soveltaa RoB 2, ROBINS-I, AMSTAR 2, GRADE tai OHAT -menetelmää [4–8]
Todennusartefakti: Allekirjoitetut arviointitaulukot
- Viitteiden eheys
Tekoälyavusteinen panos: Kerää tunnisteet
Ihmisen vastuu: Ratkaisee jokaisen DOI-tunnisteen bibliografisessa rekisterissä ja vahvistaa otsikon, tekijät ja vuoden
Todennusartefakti: Viitteiden tarkistusrekisteri
- Johtopäätökset
Tekoälyavusteinen panos: Luonnostelee selkokieliset tiivistelmät
Ihmisen vastuu: Kirjoittaa ja allekirjoittaa johtopäätöksen, mukaan lukien nimenomaiset näyttöaukot
Todennusartefakti: Nimetty, vastuullinen tekijä
Kolme sääntöä tekevät työnkulusta puolustettavan:
- Ei keksittyä näyttöä. Jokainen viite ratkaistaan bibliografista rekisteriä vasten ennen julkaisua. Viite, jota ei voida ratkaista, poistetaan, ja aukko todetaan "suoraa näyttöä ei tunnistettu" -muodossa sen sijaan, että se täytettäisiin.
- Jokainen numero on jäljitettävissä. Annokset, vaikuttavuuden koot, otoskoot ja raja-arvot tarkistetaan alkuperäisestä tiivistelmästä tai koko tekstistä, ei tekoälyn yhteenvedosta.
- Tekoälyn tuotokset ovat ehdotuksia, eivät havaintoja. Tekoälyn ehdottamat tietueet, poiminnat ja yhteenvedot ovat syötteitä ihmisen suorittamaan arviointiin. Sisällyttäminen, arviointi, varmuus ja johtopäätökset ovat ihmisen tekemiä päätöksiä, jotka kirjataan arvioijan nimellä.
5. Sääntelykonteksti: EU:n tekoälysäädös
Asetus (EU) 2024/1689 vahvistaa yhdenmukaistetut säännökset tekoälystä Euroopan unionissa [19]. Kaksi säännöstä liittyy suoraan tekoälyavusteiseen tieteelliseen työhön. Artikla 4 edellyttää tekoälyjärjestelmien tarjoajilta ja käyttöönottajilta riittävää tekoälylukutaidon tasoa järjestelmiä käyttävän henkilöstön keskuudessa. Artikla 14 edellyttää, että suureriskiset tekoälyjärjestelmät suunnitellaan tehokasta ihmisen valvontaa varten, jotta henkilö voi ymmärtää järjestelmän kapasiteetin ja rajoitukset, tiedostaa automaatiovinouman, tulkita sen tuotosta oikein ja päättää olla käyttämättä sitä tai ohittaa sen.
Kirjallisuuskatsauksen tukityökaluja ei sellaisenaan ole lueteltu suureriskisinä järjestelminä. Artiklan 14 valvontaperiaatteiden soveltaminen vapaaehtoisesti on kuitenkin hyvää tieteellistä käytäntöä: se on sama periaate, jota systemaattisen kirjallisuuskatsauksen metodologia on aina edellyttänyt, eli se, että arvioija, ei työkalu, on vastuussa jokaisesta arviosta.
6. Rajoitukset
Tämä on narratiivinen metodologinen katsaus, ei tekoälytyökalujen systemaattinen katsaus. Julkaistut arvioinnit suurista kielimalleista näytön synteesissä ovat tuoreita, usein pieniä ja mallikohtaisia, ja mallin suorituskyky vaihtelee versioiden välillä. Edellä mainitut luvut kuvaavat kyseisissä tutkimuksissa testattuja malleja ja aineistoja, eikä niitä pidä yleistää muihin työkaluihin. Organisaation, joka ottaa käyttöön tekoälyavusteisen katsauksen, tulee validoida oma työnkulkunsa suhteessa inhimillisiin viitestandardeihin ja raportoida kyseinen validointi.
7. Johtopäätös
Tekoäly voi nopeuttaa tiukkaa näytön synteesiä. Se ei yksin tee siitä luotettavampaa. Ravintolisien, kliinisten ravintovalmisteiden ja uuselintarvikeainesosien kohdalla, joissa asiakirja-aineiston on kestettävä sääntelyyn liittyvä ja kliininen tarkastelu, puolustettava malli on ihminen mukana silmukassa (human-in-the-loop): vakiintuneet standardit (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), tekoälyä käytetään vain siellä, missä sen tuotos voidaan todentaa, jokainen viittaus ja numero tarkistetaan lähteestä, ja nimetyt asiantuntijat ovat vastuussa jokaisesta johtopäätöksestä.
