Özet
Arka Plan: Gıda takviyeleri, özel tıbbi amaçlı gıdalar ve yeni nesil bileşenler için güvenlik ve etkinlik kararları, giderek daha büyük ve heterojen kanıt bütçelerine dayanmaktadır: randomize çalışmalar, gözlemsel kohortlar, hayvan toksikolojisi, in vitro mekanistik çalışmalar ve düzenleyici kurum görüşleri. Makine öğrenimi ve büyük dil modelleri (LLM'ler), kanıt sentezinin en yavaş aşamalarını kısaltmayı vaat etmektedir, ancak yayınlanmış değerlendirmeler, güvenilirliklerinin görevler arasında belirgin şekilde değiştiğini göstermektedir.
Amaç: Yapay zeka araçlarının literatür taraması, mükerrer kayıtların ayıklanması, önceliklendirme ve taslak veri çıkarımını hızlandırdığı, buna karşın her bir dahil etme kararının, yanlılık riski değerlendirmesinin, kesinlik derecesinin ve sonucun ismi belirtilmiş, yetkin bir insan hakemde kaldığı döngüsel bir insan denetimli (human-in-the-loop) çerçevenin tanımlanması.
Yöntemler: Raporlama ve değerlendirme standartlarının (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, OHAT yaklaşımı ve gıda ve yem güvenliği için sistematik derleme metodolojisine ilişkin EFSA rehberi), sistematik derleme görevlerinde makine öğrenimi ve LLM'lerin yayınlanmış değerlendirmelerinin ve yapay zeka destekli bilimsel çalışmalarla ilgili (Yapay Zeka Yasası) (EU) 2024/1689 sayılı Yönetmelik yükümlülüklerinin anlatısal metodolojik incelemesi.
Sonuçlar: Kanıtlar, yapay zekayı özerk bir hakem olarak değil; arama, tarama önceliklendirme ve taslak çıkarım hızlandırıcı olarak desteklemektedir. Denetimsiz LLM çıktısı üretilmiş referanslar ve güvenilmez tarama kararları içerebilir. Savunulabilir bir iş akışı, protokolü önceden kayda alır, yapay zeka destekli her adımı kaydeder, her bir kaynakçayı bir bibliyografik kayıt sistemine göre doğrular, her bir sayıyı kaynak metinle karşılaştırarak kontrol eder ve nihai bilimsel kararı sorumlu uzmanlarda bırakır.
1. Giriş
Bir gıda takviyesi veya tıbbi beslenme ürünü için hazırlanan ürün dosyası, arkasındaki kanıt derlemesi kadar güçlüdür. Düzenleyici otoriteler, klinisyenler ve marka sahipleri; yalnızca bir çalışmanın ne bulduğunu değil, aynı zamanda çalışmaların nasıl bulunduğunu, hangilerinin neden hariç tutulduğunu ve hakemin genel kanıt bütçesine ne kadar güvendiğini bilmek zorundadır. Sistematik derleme metodolojisi bu soruları şeffaf ve tekrarlanabilir bir sıra ile yanıtlar: önceden belirlenmiş bir soru ve protokol, belgelenmiş bir arama, bağımsız tarama, yapılandırılmış veri çıkarımı, yanlılık riski değerlendirmesi ve derecelendirilmiş bir kesinlik ifadesi.
Gıda ve yem güvenliği açısından Avrupa Gıda Güvenliği Otoritesi (EFSA), bu metodolojinin risk değerlendirmesi sorularına uygulanmasına ilişkin rehberini henüz 2010 yılında yayınlamıştır [10]. Çevresel sağlık ve toksikolojide, Ulusal Toksikoloji Programı'nın OHAT yaklaşımı, tehlike tanımlaması için insan, hayvan ve mekanistik kanıtların entegrasyonunu sistematik derlemeye dahil etmiştir [6]. Bu çerçeveler zahmetlidir: tek bir derleme, binlerce kaydı ve haftalarca uzman süresini içerebilir.
Arama, tarama ve veri çıkarımına yönelik makine öğrenimi araçları son on yılda olgunlaşmış [15, 16] ve genel amaçlı LLM'ler artık yaygın olarak erişilebilir hale gelmiştir. Bu nedenle, bilimsel dosyalar üreten herhangi bir kuruluş için soru artık yapay zeka kullanıp kullanılmayacağı değil, yapay zeka çıktısına nerede güvenilebileceği, nerede doğrulanması gerektiği ve insan muhakemesinin nerede devre dışı bırakılamayacağıdır.
2. Yapay zeka ile değişmeyen raporlama ve değerlendirme standartları
2.1 Soru, protokol ve arama
Bir derleme yapılandırılmış bir soru ile başlar. Girişimler için bu genellikle PICO'dur (popülasyon, girişim, karşılaştırma, sonuç); güvenlik ve maruziyet soruları için ise PECO çerçevesi (popülasyon, maruziyet, karşılaştırma, sonuç) daha uygundur; çünkü bu çerçeve, katılımcı tarafından seçilmeyen maruziyetleri ve maruziyet düzeyleri arasındaki karşılaştırmaları barındırır [9]. Protokol, tarama başlamadan önce yazılmalı ve 17 maddelik bir kontrol listesi olan PRISMA-P'ye göre raporlanmalıdır [3].
Arama tekrarlanabilir olmalıdır. PRISMA-S; kullanılan veri tabanları ve platformlar, tam arama dizileri, sınırlar, son arama tarihi ve mükerrer kayıt giderme yöntemi dahil olmak üzere literatür aramalarına özgü 16 raporlama maddesi ekler [2]. Bu maddeler, bir sorgunun bir insan tarafından taslak olarak hazırlanmış veya bir yapay zeka aracı tarafından önerilmiş olup olmasından bağımsız olarak geçerlidir: uygulandığı şekliyle nihai arama dizisi raporlanmalıdır.
2.2 Seçim, çıkarım ve raporlama
PRISMA 2020, 27 maddelik bir kontrol listesi ve tanımlamadan dahil etmeye kadar her kaydı açıklayan bir akış şeması sunar [1]. Geleneksel uygulama, iki hakem tarafından gerçekleştirilen bağımsız ikili taramadır. Tekli tarama ile ikili taramayı karşılaştıran metodolojik bir sistematik derleme, tekli tarama nedeniyle ilgili çalışmaların medyan %5'inin kaçırıldığını (%0-58 aralığında) ve daha az deneyimli hakemler için bu oranının medyan %13'e yükseldiğini bulmuştur [11]. Hakemler arasındaki uyum genellikle Cohen'in kappası ile nicelleştirilir [17] ve Landis ve Koch ölçeğinde yorumlanır; bu ölçekte 0,61–0,80 arasındaki değerler hatırı sayılır, 0,81–1,00 arasındaki değerler ise neredeyse mükemmel uyumu gösterir [18].
2.3 Yanlılık riski ve kesinlik
Dahil edilen her çalışma, tasarıma uygun bir araçla değerlendirilir: beş yanlılık alanında yapılandırılmış randomize çalışmalar için RoB 2 [4] ve yedi alanda yapılandırılmış girişimlerin randomize olmayan çalışmaları için ROBINS-I [5]. Kanıt olarak kullanılan mevcut sistematik derlemeler AMSTAR 2 ile değerlendirilebilir [8].
Her bir sonuç için kanıt bütçesinin kesinliği daha sonra GRADE ile derecelendirilir; bu araç; yanlılık riskini, tutarsızlığı, dolaylı olmayı, kesinlik eksikliğini ve yayın yanlılığını dikkate alır ve gözlemlenen etkiyi azaltacak büyük etkiler, doz-yanıt gradyanları ve kalıntı karıştırıcılar için derecenin yükseltilmesine izin verir [7]. OHAT yaklaşımı bu mantığı çevresel ve toksikolojik kanıtlara uyarlar ve insan ile hayvan akışlarını entegre ederek güven derecelerini bir sağlık etkisi için kanıt düzeylerine dönüştürür [6].
Bu adımların hiçbiri rutin bir büro işi değildir. Bir çalışma popülasyonunun hedef popülasyona yeterince yakın olup olmadığını, bir dozun karşılaştırılabilir olup olmadığını veya bir karıştırıcının kesinliği düşürecek kadar ciddi olup olmadığını belirlemek, alan uzmanlığı ve sorumluluk gerektirir.
3. Sistematik derlemelerde yapay zeka hakkında kanıtların söyledikleri
3.1 Makine öğreniminin yardımcı olduğu alanlar
Marshall ve Wallace, arama, tarama ve veri çıkarımı için önerilen makine öğrenimi yöntemlerini incelemiş ve derleme ekibinin güçlü yönlerini ve hata modlarını anlaması koşuluyla birçoğunun pratik kullanım için hazır olduğu sonucuna varmıştır [15]. Taranmamış kayıtları hakemler etiketledikçe yeniden sıralayan aktif öğrenme araçları, ekiplerin ilgili çalışmaları tarama sürecinde daha erken bulmasını sağlar; bu tür açık kaynaklı, şeffaf çerçeveler mevcuttur [16]. Bu şekilde kullanıldığında, insan her zaman tüm dahil etme kararlarını vermeye devam eder; makine yalnızca kayıtların görülme sırasını değiştirir.
Taslak veri çıkarımı için bir kavram kanıtlama (proof-of-concept) çalışmasında, bir LLM'nin 10 açık erişimli randomize çalışmadan önceden tanımlanmış 160 veri unsurunu %96,3 genel doğrulukla çıkardığı görülmüştür; altı hatasının çoğu kaçırılan maddelerdir [12]. Yazarlar bunu küçük bir kolayda örnekleme (convenience sample) dayanarak insan çıkarımının yerini alacak bir şey olarak değil, verimlilik potansiyeli olarak çerçevelemiştir.
3.2 Denetimsiz yapay zekanın başarısız olduğu alanlar
Tarama performansı o kadar güven vermiyor. "İnsanın döngü dışında olduğu" (human-out-of-the-loop) çalışan genel amaçlı bir LLM'nin önceden kaydedilmiş bir değerlendirmesi, görünür doğruluğun rastlantısal uyum ve veri seti dengesizliği nedeniyle şişirildiğini bulmuştur. Düzeltmeden sonra, tarama performansı dengeli veri setlerinde sıfırdan dengesiz olanlarda orta seviyeye kadar değişiklik göstermiş ve veri çıkarım performansı orta seviyede kalmıştır. Yazarlar önemli bir ihtiyat gerektiğini sonucuna varmıştır [13].
Referans üretimi en ciddi hata modudur. LLM'lerden yayınlanmış 11 sistematik derlemenin referans listelerini çoğaltmaları istendiğinde, test edilen üç model için halüsinasyon oranları (başlığı, ilk yazarı veya yılı yanlış olan en az iki referans içerenler) sırasıyla %39,6, %28,6 ve %91,4 olmuş ve kesinlik en fazla %13,4'te kalmıştır [14]. Var olmayan bir makaleye atıfta bulunan bir dosya, çalışmanın geri kalanının kalitesinden bağımsız olarak düzenleyiciler ve klinisyenler nezdindeki güvenilirliğini kaybeder.
3.3 Çıkarımlar
Model tutarlıdır. Yapay zeka, önerdiğinde ve insan karar verdiğinde faydalıdır: aday kayıtlar, tarama sırası, taslak çıkarım tablosu. Çıktısı doğrulama olmaksızın kabul edildiğinde güvenilmezdir. Bu nedenle tasarım sorusu, her bir yapay zeka katkısının nasıl doğrulanabilir, kaydedilebilir ve bir kişiye ait hale getirilebileceğidir.
4. İnsan denetimli (human-in-the-loop) iş akışı
Aşağıdaki iş akışı, Olympia Biosciences'in takviye edici gıda, nutrasötik ve tıbbi beslenme geliştirme için kanıt derlemeleri planlarken kullandığı insan denetimli tasarım ilkelerini ortaya koymaktadır. Bir derleme gerçekleştirildiğinde ve sistematik olarak raporlandığında, yapay zeka destekli her aşamanın, bir sonraki aşama başlamadan önce bir insanın kontrol ettiği ve imzaladığı listelenen eseri üretmesi beklenir.
- Soru ve protokol
Yapay zeka destekli katkı: Eş anlamlılar, sonuç listeleri ve aday PECO/PICO unsurları önerir
İnsan sorumluluğu: Taramadan önce soruyu, uygunluk kriterlerini ve analiz planını sabitler
Doğrulama eseri: PRISMA-P'ye göre raporlanan protokol [3]
- Arama
Yapay zeka destekli katkı: Anlamsal aramadan arama dizisi varyantları ve aday kayıtlar önerir
İnsan sorumluluğu: Nihai dizileri onaylar; bunları bibliyografik veri tabanlarında çalıştırır ve belgeler
Doğrulama eseri: PRISMA-S arama kaydı [2]
- Mükerrer kayıtların ayıklanması ve önceliklendirme
Yapay zeka destekli katkı: Mükerrer kayıtları gruplandırır; kayıtları öngörülen uygunluğa göre sıralar [16]
İnsan sorumluluğu: Birleştirmeleri onaylar; dahil etmeyi belirleyen her kaydı tarar
Doğrulama eseri: PRISMA 2020 akış şeması [1]
- Tarama
Yapay zeka destekli katkı: İkinci bir görüş olarak muhtemel dahil edilenleri ve hariç tutulanları işaretler
İnsan sorumluluğu: Gerekçeleriyle birlikte her dahil etme/hariç tutma kararını verir ve kaydeder; uyuşmazlıkları çözer
Doğrulama eseri: Karar günlüğü; değerlendiriciler arası uyum (kappa) [17, 18]
- Veri çıkarımı
Yapay zeka destekli katkı: Tam metinlerden çıkarım tabloları taslakları hazırlar [12]
İnsan sorumluluğu: Çıkarılan her sayıyı kaynak metne göre kontrol eder
Doğrulama eseri: Sayfa/şekil bağlantılarına sahip çıkarım tablosu
- Yanlılık riski ve kesinlik
Yapay zeka destekli katkı: Devredilen yok
İnsan sorumluluğu: RoB 2, ROBINS-I, AMSTAR 2, GRADE veya OHAT uygular [4–8]
Doğrulama eseri: İmzalı değerlendirme tabloları
- Atıf bütünlüğü
Yapay zeka destekli katkı: Tanımlayıcıları toplar
İnsan sorumluluğu: Bir bibliyografik kayıt sistemindeki her DOI'yi çözer ve başlığı, yazarları ve yılı teyit eder
Doğrulama eseri: Atıf doğrulama sicili
- Sonuçlar
Yapay zeka destekli katkı: Sade dille özetler taslak olarak hazırlar
İnsan sorumluluğu: Açık kanıt boşlukları dahil olmak üzere sonucu yazar ve imzalar
Doğrulama eseri: İsimli, sorumlu yazar
Üç kural iş akışını savunulabilir kılmaktadır:
- Uydurma kanıt yok. Her referans yayınlanmadan önce bir bibliyografik kayıt sistemine göre çözümlenir. Çözümlenemeyen bir referans kaldırılır ve boşluk doldurulmak yerine "doğrudan kanıt tespit edilmedi" şeklinde belirtilir.
- Her sayı izlenebilirdir. Dozlar, etki büyüklükleri, örneklem boyutları ve limitler bir yapay zeka özetine göre değil, özet metne veya tam metne göre kontrol edilir.
- Yapay zeka çıktıları bulgu değil, adaydır. Yapay zeka tarafından önerilen kayıtlar, ekstraksiyonlar ve özetler insan incelemesinin girdileridir. Dahil etme, değerlendirme, kesinlik ve sonuçlar; incelemecinin adı ile kaydedilen insan kararlarıdır.
5. Düzenleyici bağlam: AB Yapay Zeka Yasası
(AB) 2024/1689 Sayılı Yönetmelik, Avrupa Birliği'nde yapay zeka konusunda uyumlaştırılmış kurallar koymaktadır [19]. İki hüküm, yapay zeka destekli bilimsel çalışmalarla doğrudan ilgilidir. Madde 4, yapay zeka sistemlerinin sağlayıcılarının ve dağıtıcılarının, bu sistemleri kullanan personelin yeterli düzeyde yapay zeka okuryazarlığına sahip olmasını sağlamasını zorunlu kılar. Madde 14, yüksek riskli yapay zeka sistemlerinin etkili insan gözetimi için tasarlanmasını gerektirir; böylece bir kişi sistemin kapasitelerini ve sınırlamalarını anlayabilir, otomasyon yanlılığının farkında kalabilir, çıktısını doğru bir şekilde yorumlayabilir ve bunu kullanmamaya veya geçersiz kılmaya karar verebilir.
Literatür taraması destek araçları, olduğu haliyle yüksek riskli sistemler olarak listelenmemiştir. Bununla birlikte, Madde 14 gözetim ilkelerini gönüllü olarak uygulamak iyi bir bilimsel uygulamadır: sistematik derleme metodolojisinin her zaman gerektirdiği ilkeyle aynıdır; yani aracın değil, incelemecinin her karardan sorumlu olması ilkesidir.
6. Sınırlamalar
Bu çalışma, yapay zeka araçlarının sistematik bir derlemesi değil, anlatısal bir metodolojik derlemedir. Kanıt sentezinde büyük dil modellerinin yayınlanan değerlendirmeleri yenidir, genellikle küçüktür ve modele özgüdür ve model performansı sürümler arasında değişiklik gösterir. Yukarıda atıfta bulunulan rakamlar, bu çalışmalarda test edilen modelleri ve veri setlerini tanımlamaktadır ve diğer araçlara genelleştirilmemelidir. Yapay zeka destekli incelemeyi benimseyen herhangi bir kuruluş, kendi iş akışını insan referans standartlarına göre doğrulamalı ve bu doğrulamayı raporlamalıdır.
7. Sonuç
Yapay zeka, katı kanıt sentezini daha hızlı hale getirebilir. Kendi başına onu daha güvenilir hale getiremez. Bir dosyanın düzenleyici ve klinik incelemeye dayanması gereken gıda takviyeleri, tıbbi beslenme ve yeni gıda bileşenleri için savunulabilir model, döngü içinde insan modelidir: belirlenmiş standartlar (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), yalnızca çıktısının doğrulanabileceği yerlerde kullanılan yapay zeka, kaynağa göre kontrol edilen her atıf ve sayı ile her sonuçtan sorumlu olan ismi belirtilmiş uzmanlar.
