บทคัดย่อ
ความเป็นมา: การตัดสินใจด้านความปลอดภัยและประสิทธิภาพสำหรับผลิตภัณฑ์เสริมอาหาร อาหารสำหรับวัตถุประสงค์ทางการแพทย์เฉพาะ และส่วนผสมใหม่ อาศัยหลักฐานเชิงประจักษ์ที่มีขนาดใหญ่และมีความหลากหลายมากขึ้นเรื่อย ๆ ได้แก่ การทดลองแบบสุ่ม กลุ่มตัวกรองเชิงสังเกต พิษวิทยาในสัตว์ งานวิจัยเชิงกลไกในหลอดทดลอง และความเห็นด้านกฎระเบียบ การเรียนรู้ของเครื่องและโมเดลภาษาขนาดใหญ่ (LLMs) มีแนวโน้มที่จะช่วยย่นระยะเวลาในขั้นตอนที่ช้าที่สุดของการสังเคราะห์หลักฐานเชิงประจักษ์ แต่การประเมินที่ได้รับการตีพิมพ์แสดงให้เห็นว่าความน่าเชื่อถือมีความแตกต่างกันอย่างมากในแต่ละงาน
วัตถุประสงค์: เพื่ออธิบายกรอบการทำงานที่มีมนุษย์มีส่วนร่วม (human-in-the-loop) ซึ่งเครื่องมือปัญญาประดิษฐ์ช่วยเร่งการค้นหา การคัดแยกความซ้ำซ้อน การจัดลำดับความสำคัญ และการร่างข้อมูลสำหรับการสกัด ในขณะที่การตัดสินใจรวมเข้าด้วยกัน การประเมินความเสี่ยงต่อการเกิดอคติ การให้คะแนนความแน่นอน และข้อสรุปทั้งหมด ยังคงอยู่ภายใต้ความรับผิดชอบของผู้ทบทวนที่มีชื่อและมีคุณสมบัติเหมาะสม
วิธีการ: การทบทวนเชิงบรรยายด้านระเบียบวิธีของมาตรฐานการรายงานและการประเมิน (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, แนวทาง OHAT และคำแนะนำของ EFSA เกี่ยวกับระเบียบวิธีทบทวนอย่างเป็นระบบสำหรับความปลอดภัยของอาหารและอาหารสัตว์) การประเมินที่ได้รับการตีพิมพ์ของการเรียนรู้ของเครื่องและ LLMs ในงานทบทวนอย่างเป็นระบบ และข้อผูกพันของข้อบังคับ (EU) 2024/1689 (กฎหมาย AI) ที่เกี่ยวข้องกับงานทางวิทยาศาสตร์ที่สนับสนุนโดย AI
ข้อสรุป: หลักฐานสนับสนุนให้ AI เป็นตัวเร่งการค้นหา การจัดลำดับความสำคัญในการคัดกรอง และการร่างการสกัด ไม่ใช่ในฐานะผู้ทบทวนอัตโนมัติ ผลลัพธ์จาก LLM ที่ไม่มีการควบคุมดูแลสามารถมีข้อมูลอ้างอิงที่สร้างขึ้นเองและการตัดสินใจคัดกรองที่ไม่น่าเชื่อถือ ขั้นตอนการทำงานที่สามารถป้องกันได้ทำการลงทะเบียนโปรโตคอลล่วงหน้า บันทึกทุกขั้นตอนที่สนับสนุนโดย AI ตรวจสอบการอ้างอิงทุกรายการกับทะเบียนบรรณานุกรม ตรวจสอบตัวเลขทุกตัวเทียบกับข้อความต้นฉบับ และคงการตัดสินใจทางวิทยาศาสตร์ขั้นสุดท้ายไว้กับผู้เชี่ยวชาญที่มีความรับผิดชอบ
1. บทนำ
เอกสารข้อมูลผลิตภัณฑ์สำหรับผลิตภัณฑ์เสริมอาหารหรือผลิตภัณฑ์โภชนาการทางการแพทย์จะมีความน่าเชื่อถือเท่ากับการทบทวนหลักฐานที่อยู่เบื้องหลังเท่านั้น หน่วยงานกำกับดูแล แพทย์ และเจ้าของแบรนด์จำเป็นต้องทราบไม่เพียงแต่สิ่งที่การศึกษาค้นพบเท่านั้น แต่ยังรวมถึงวิธีการค้นหาการศึกษา เหตุผลที่บางการศึกษาถูกยกเว้น และระดับความมั่นใจของผู้ทบทวนที่มีต่อหลักฐานเชิงประจักษ์โดยรวมด้วย ระเบียบวิธีทบทวนอย่างเป็นระบบตอบคำถามเหล่านี้ผ่านลำดับที่โปร่งใสและสามารถทำซ้ำได้ ได้แก่ คำถามและโปรโตคอลที่กำหนดไว้ล่วงหน้า การค้นหาที่มีการบันทึกเอกสาร การคัดกรองโดยอิสระ การสกัดข้อมูลที่มีโครงสร้าง การประเมินความเสี่ยงต่อการเกิดอคติ และแถลงการณ์ความแน่นอนที่ให้คะแนนไว้
สำหรับความปลอดภัยของอาหารและอาหารสัตว์ หน่วยงานความปลอดภัยด้านอาหารแห่งยุโรปได้เผยแพร่คำแนะนำเกี่ยวกับการประยุกต์ใช้ระเบียบวิธีนี้กับคำถามการประเมินความเสี่ยงตั้งแต่ปี 2010 [10] ในด้านสุขภาพสิ่งแวดล้อมและพิษวิทยา แนวทาง OHAT ของโครงการพิษวิทยาแห่งชาติได้ขยายการทบทวนอย่างเป็นระบบไปยังการบูรณาการหลักฐานจากมนุษย์ สัตว์ และกลไกสำหรับการระบุความเป็นอันตราย [6] กรอบการทำงานเหล่านี้มีความต้องการสูง: การทบทวนครั้งเดียวอาจเกี่ยวข้องกับบันทึกนับพันรายการและใช้เวลาของผู้เชี่ยวชาญหลายสัปดาห์
เครื่องมือการเรียนรู้ของเครื่องสำหรับการค้นหา การคัดกรอง และการสกัด ได้พัฒนาจนมีความสมบูรณ์ในช่วงทศวรรษที่ผ่านมา [15, 16] และ LLM แบบอเนกประสงค์ในปัจจุบันก็มีให้ใช้งานอย่างแพร่หลาย คำถามสำหรับองค์กรใดๆ ที่จัดทำเอกสารทางวิทยาศาสตร์จึงไม่ใช่ว่าควรใช้ AI หรือไม่ แต่เป็นจุดใดที่สามารถไว้วางใจผลลัพธ์ของ AI จุดใดที่ต้องได้รับการตรวจสอบ และจุดใดที่ไม่สามารถมอบหมายการตัดสินใจของมนุษย์ให้ผู้อื่นทำแทนได้
2. มาตรฐานการรายงานและการประเมินที่ไม่เปลี่ยนแปลงไปตาม AI
2.1 คำถาม โปรโตคอล และการค้นหา
การทบทวนเริ่มต้นด้วยคำถามที่มีโครงสร้าง สำหรับการแทรกแซง โดยทั่วไปจะใช้ PICO (ประชากร, การแทรกแซง, ตัวเปรียบเทียบ, ผลลัพธ์); สำหรับคำถามด้านความปลอดภัยและการได้รับสัมผัส กรอบ PECO (ประชากร, การได้รับสัมผัส, ตัวเปรียบเทียบ, ผลลัพธ์) จะเหมาะสมกว่า เนื่องจากรองรับการได้รับสัมผัสที่ไม่ได้เลือกโดยผู้เข้าร่วมและการเปรียบเทียบลำดับขั้นของการได้รับสัมผัส [9] ควรเขียนโปรโตคอลก่อนเริ่มการคัดกรองและรายงานตาม PRISMA-P ซึ่งเป็นรายการตรวจสอบ 17 รายการ [3]
การค้นหาต้องสามารถทำซ้ำได้ PRISMA-S เพิ่มรายการรายงาน 16 รายการเฉพาะสำหรับการค้นหาวรรณกรรม รวมถึงฐานข้อมูลและแพลตฟอร์มที่ใช้ สตริงการค้นหาแบบเต็ม ขีดจำกัด วันที่ค้นหาครั้งล่าสุด และวิธีการขจัดความซ้ำซ้อน [2] รายการเหล่านี้มีผลบังคับใช้โดยไม่คำนึงว่าแบบสอบถามจะถูกร่างขึ้นโดยบุคคลหรือแนะนำโดยเครื่องมือ AI: สตริงการค้นหาขั้นสุดท้าย ตามที่ดำเนินการ คือสิ่งที่ต้องรายงาน
2.2 การคัดเลือก การสกัด และการรายงาน
PRISMA 2020 มีรายการตรวจสอบ 27 รายการและแผนภาพการไหลที่แสดงบันทึกทุกรายการตั้งแต่การระบุจนถึงการรวมเข้าด้วยกัน [1] แนวทางปฏิบัติทั่วไปคือการคัดกรองคู่แบบอิสระโดยผู้ทบทวนสองคน การทบทวนอย่างเป็นระบบด้านระเบียบวิธีที่เปรียบเทียบการคัดกรองเดี่ยวกับการคัดกรองคู่พบว่ามีมัธยฐานร้อยละ 5 ของการศึกษาที่เกี่ยวข้องที่พลาดไปจากการคัดกรองเดี่ยว (ช่วงร้อยละ 0–58) ซึ่งเพิ่มขึ้นเป็นมัธยฐานร้อยละ 13 สำหรับผู้ทบทวนที่มีประสบการณ์น้อยกว่า [11] ความเห็นพ้องต้องกันระหว่างผู้ทบทวนมักถูกหาปริมาณด้วยค่าแคปปาของโคเฮน [17] และตีความตามมาตราส่วน Landis และ Koch ซึ่งค่า 0.61–0.80 บ่งชี้ว่ามีความสอดคล้องกันอย่างมีนัยสำคัญ และ 0.81–1.00 บ่งชี้ว่ามีความสอดคล้องกันเกือบสมบูรณ์[18]
2.3 ความเสี่ยงต่อการเกิดอคติและความแน่นอน
การศึกษาแต่ละรายการที่รวมอยู่จะได้รับการประเมินด้วยเครื่องมือที่เหมาะสมกับการออกแบบ: RoB 2 สำหรับการทดลองแบบสุ่ม ซึ่งมีโครงสร้างเป็นห้าโดเมนอคติ [4] และ ROBINS-I สำหรับการศึกษาการแทรกแซงที่ไม่ใช่แบบสุ่ม ซึ่งมีโครงสร้างเป็นเจ็ดโดเมน [5] การทบทวนอย่างเป็นระบบที่มีอยู่ซึ่งใช้เป็นหลักฐานสามารถประเมินได้ด้วย AMSTAR 2[8]
ความแน่นอนของหลักฐานเชิงประจักษ์สำหรับผลลัพธ์แต่ละรายการจะได้รับการประเมินด้วย GRADE ซึ่งพิจารณาความเสี่ยงต่อการเกิดอคติ ความไม่สอดคล้องกัน ความทางอ้อม ความไม่แม่นยำ และอคติในการตีพิมพ์ และอนุญาตให้เพิ่มระดับสำหรับขนาดผลกระทบที่มีนัยสำคัญ การไล่ระดับผลตอบสนองต่อปริมาณ และปัจจัยรบกวนที่เหลือซึ่งจะลดผลกระทบที่สังเกตได้ [7] แนวทาง OHAT ปรับตรรกะนี้ให้เข้ากับหลักฐานด้านสิ่งแวดล้อมและพิษวิทยา และแปลงการให้คะแนนความมั่นใจเป็นระดับของหลักฐานสำหรับผลกระทบต่อสุขภาพ โดยบูรณาการกระแสข้อมูลจากมนุษย์และสัตว์[6]
ขั้นตอนเหล่านี้ไม่ใช่ภารกิจทางธุรการ การตัดสินใจว่าประชากรในการศึกษาใกล้เคียงกับประชากรเป้าหมายมากพอหรือไม่ ปริมาณเทียบเคียงกันได้หรือไม่ หรือปัจจัยรบกวนมีความร้ายแรงพอที่จะลดความแน่นอนลงหรือไม่ ต้องอาศัยความเชี่ยวชาญเฉพาะด้านและความรับผิดชอบ
3. สิ่งที่หลักฐานระบุเกี่ยวกับ AI ในการทบทวนอย่างเป็นระบบ
3.1 จุดที่การเรียนรู้ของเครื่องช่วยได้
Marshall และ Wallace ได้ทบทวนวิธีการเรียนรู้ของเครื่องที่เสนอสำหรับการค้นหา การคัดกรอง และการสกัดข้อมูล และสรุปว่าหลายวิธีพร้อมสำหรับการใช้งานจริง หากทีมทบทวนเข้าใจจุดแข็งและโหมดความล้มเหลว [15] เครื่องมือการเรียนรู้เชิงรุก ซึ่งจัดลำดับบันทึกที่ยังไม่ได้คัดกรองใหม่ตามที่ผู้ทบทวนติดป้ายกำกับ ช่วยให้ทีมค้นหาการศึกษาที่เกี่ยวข้องได้เร็วขึ้นในกระบวนการคัดกรอง; มีกรอบการทำงานโอเพนซอร์สที่โปร่งใสในลักษณะนี้ให้ใช้งาน [16] เมื่อใช้งานในลักษณะนี้ มนุษย์ยังคงทำการตัดสินใจเกี่ยวกับการรวมเข้าด้วยกันทุกครั้ง เครื่องจักรทำหน้าที่เพียงเปลี่ยนลำดับในการมองเห็นบันทึกเท่านั้น
สำหรับการร่างข้อมูลสำหรับการสกัด การศึกษาพิสูจน์แนวคิดพบว่า LLM สกัดองค์ประกอบข้อมูลที่กำหนดไว้ล่วงหน้า 160 รายการจากการทดลองแบบสุ่มที่เปิดให้เข้าถึงได้ 10 รายการ ด้วยความแม่นยำโดยรวมร้อยละ 96.3; ข้อผิดพลาดหกรายการส่วนใหญ่คือรายการที่ตกหล่น [12] ผู้เขียนได้จัดรอบกรอบนี้ว่าเป็นศักยภาพสำหรับประสิทธิภาพ โดยอิงตามกลุ่มตัวอย่างแบบสะดวกขนาดเล็ก ไม่ใช่เพื่อทดแทนการสกัดโดยมนุษย์
3.2 จุดที่ AI ที่ไม่มีการควบคุมดูแลล้มเหลว
ประสิทธิภาพการคัดกรองมีความน่าไว้วางใจน้อยกว่า การประเมินที่ลงทะเบียนไว้ล่วงหน้าของ LLM แบบอเนกประสงค์ที่ทำงานแบบ "ปราศจากมนุษย์ในกระบวนการ" พบว่าความแม่นยำที่ปรากฏเพิ่มสูงขึ้นจากการเห็นพ้องโดยบังเอิญและความไม่สมดุลของชุดข้อมูล หลังจากการปรับปรุง ประสิทธิภาพการคัดกรองมีตั้งแต่ไม่มีเลยในชุดข้อมูลที่สมดุลไปจนถึงระดับปานกลางในชุดข้อมูลที่ไม่สมดุล และประสิทธิภาพการสกัดข้อมูลอยู่ในระดับปานกลาง ผู้เขียนสรุปว่าจำเป็นต้องมีความระมัดระวังเป็นอย่างยิ่ง [13]
การสร้างการอ้างอิงคือโหมดความล้มเหลวที่ร้ายแรงที่สุด เมื่อขอให้ LLM ทำซ้ำรายการอ้างอิงของการทบทวนอย่างเป็นระบบที่ได้รับการตีพิมพ์ 11 รายการ อัตราการกัมมันตภาพประสาทหลอน (ข้อมูลอ้างอิงที่มีชื่อเรื่อง ผู้แต่งคนแรก หรือปีผิดพลาดอย่างน้อยสองรายการ) คิดเป็นร้อยละ 39.6, 28.6 และ 91.4 สำหรับสามโมเดลที่ได้รับการทดสอบ และความแม่นยำอยู่ที่ร้อยละ 13.4 เป็นอย่างมาก [14] เอกสารข้อมูลที่อ้างอิงถึงเอกสารที่ไม่มีอยู่จริงจะสูญเสียความน่าเชื่อถือกับหน่วยงานกำกับดูแลและแพทย์ โดยไม่คำนึงถึงคุณภาพของส่วนที่เหลือของงาน
3.3 ผลกระทบ
รูปแบบมีความสอดคล้อง AI มีประโยชน์เมื่อมันเสนอและมนุษย์เป็นผู้จัดการ: บันทึกที่เป็นผู้สมัคร, ลำดับการคัดกรอง, ตารางการสกัดฉบับร่าง มันไม่น่าเชื่อถือเมื่อผลลัพธ์ของมันได้รับการยอมรับโดยไม่มีการตรวจสอบ ดังนั้น คำถามเกี่ยวกับการออกแบบจึงเป็นวิธีการทำให้การมีส่วนร่วมของ AI ทุกครั้งสามารถตรวจสอบได้ มีการบันทึก และเป็นเจ้าของโดยบุคคล
4. ขั้นตอนการทำงานที่มีมนุษย์มีส่วนร่วม
ขั้นตอนการทำงานด้านล่างนี้กำหนดหลักการออกแบบที่มีมนุษย์มีส่วนร่วมซึ่ง Olympia Biosciences ใช้ในการวางแผนการทบทวนหลักฐานสำหรับการพัฒนาผลิตภัณฑ์เสริมอาหาร ผลิตภัณฑ์เสริมอาหารเพื่อสุขภาพ และโภชนาการทางการแพทย์ เมื่อการทบทวนถูกดำเนินการและรายงานว่าเป็นระบบ แต่ละขั้นตอนที่สนับสนุนโดย AI จะต้องผลิตสิ่งประดิษฐ์ตามรายการ ซึ่งมนุษย์ตรวจสอบและลงชื่ออนุมัติก่อนที่ขั้นตอนถัดไปจะเริ่มต้นขึ้น
- คำถามและโปรโตคอล
การมีส่วนร่วมที่สนับสนุนโดย AI: แนะนำคำพ้องความหมาย รายการผลลัพธ์ และองค์ประกอบ PECO/PICO ที่เป็นผู้สมัคร
ความรับผิดชอบของมนุษย์: กำหนดคำถาม เกณฑ์การมีสิทธิ์ และแผนการวิเคราะห์ก่อนทำการคัดกรอง
สิ่งประดิษฐ์การตรวจสอบ: โปรโตคอลที่รายงานต่อ PRISMA-P [3]
- การค้นหา
การมีส่วนร่วมที่สนับสนุนโดย AI: เสนอตัวแปรสตริงการค้นหาและบันทึกที่เป็นผู้สมัครจากการค้นหาเชิงความหมาย
ความรับผิดชอบของมนุษย์: อนุมัติสตริงขั้นสุดท้าย; ดำเนินการและบันทึกไว้ในฐานข้อมูลบรรณานุกรม
สิ่งประดิษฐ์การตรวจสอบ: บันทึกการค้นหา PRISMA-S [2]
- การขจัดความซ้ำซ้อนและการจัดลำดับความสำคัญ
การมีส่วนร่วมที่สนับสนุนโดย AI: จัดกลุ่มข้อมูลที่ซ้ำกัน; จัดอันดับบันทึกตามความเกี่ยวข้องที่คาดการณ์ไว้ [16]
ความรับผิดชอบของมนุษย์: ยืนยันการรวมเข้าด้วยกัน; คัดกรองบันทึกทุกรายการที่เป็นตัวกำหนดการรวม
สิ่งประดิษฐ์การตรวจสอบ: แผนภาพการไหล PRISMA 2020 [1]
- การคัดกรอง
การมีส่วนร่วมที่สนับสนุนโดย AI: ทำเครื่องหมายสิ่งที่น่าจะรวมเข้าด้วยกันและยกเว้นในฐานะความเห็นที่สอง
ความรับผิดชอบของมนุษย์: ทำและบันทึกการตัดสินใจรวม/ยกเว้นทุกรายการพร้อมเหตุผล; แก้ไขข้อขัดแย้ง
สิ่งประดิษฐ์การตรวจสอบ: บันทึกการตัดสินใจ; ความสอดคล้องระหว่างผู้ให้คะแนน (แคปปา) [17, 18]
- การสกัดข้อมูล
การมีส่วนร่วมที่สนับสนุนโดย AI: ร่างตารางการสกัดจากข้อความฉบับเต็ม [12]
ความรับผิดชอบของมนุษย์: ตรวจสอบตัวเลขทุกตัวที่สกัดออกมาเทียบกับข้อความต้นฉบับ
สิ่งประดิษฐ์การตรวจสอบ: ตารางการสกัดพร้อมจุดยึดหน้า/รูปภาพ
- ความเสี่ยงต่อการเกิดอคติและความแน่นอน
การมีส่วนร่วมที่สนับสนุนโดย AI: ไม่มีการมอบหมาย
ความรับผิดชอบของมนุษย์: ใช้ RoB 2, ROBINS-I, AMSTAR 2, GRADE หรือ OHAT [4–8]
สิ่งประดิษฐ์การตรวจสอบ: ตารางการประเมินที่ลงนามแล้ว
- ความสมบูรณ์ของการอ้างอิง
การมีส่วนร่วมที่สนับสนุนโดย AI: รวบรวมตัวระบุ
ความรับผิดชอบของมนุษย์: แก้ไข DOI ทุกรายการในทะเบียนบรรณานุกรมและยืนยันชื่อเรื่อง ผู้แต่ง และปี
สิ่งประดิษฐ์การตรวจสอบ: ทะเบียนการตรวจสอบการอ้างอิง
- ข้อสรุป
การมีส่วนร่วมที่สนับสนุนโดย AI: ร่างสรุปด้วยภาษาธรรมดา
ความรับผิดชอบของมนุษย์: เขียนและลงนามข้อสรุป รวมถึงช่องว่างของหลักฐานที่ชัดเจน
สิ่งประดิษฐ์การตรวจสอบ: ผู้เขียนที่มีชื่อและมีความรับผิดชอบ
สามกฎทำให้ขั้นตอนการทำงานสามารถป้องกันได้:
- ไม่มีหลักฐานที่ถูกสร้างขึ้น ข้อมูลอ้างอิงทุกรายการได้รับการตรวจสอบเทียบกับทะเบียนบรรณานุกรมก่อนการเผยแพร่ การอ้างอิงที่ไม่สามารถแก้ไขได้จะถูกลบออก และช่องว่างจะระบุว่าเป็น "ไม่พบหลักฐานโดยตรง" แทนที่จะเติมเต็ม
- ทุกตัวเลขสามารถตรวจสอบย้อนกลับได้ ปริมาณโดส ขนาดของผลลัพธ์ ขนาดกลุ่มตัวอย่าง และขีดจำกัด จะถูกตรวจสอบเทียบกับบทคัดย่อหรือเอกสารฉบับเต็ม ไม่ใช่เทียบกับบทสรุปที่สร้างโดยปัญญาประดิษฐ์
- ผลลัพธ์จากปัญญาประดิษฐ์เป็นเพียงข้อเสนอ ไม่ใช่ข้อสรุป บันทึก ข้อมูลที่สกัดได้ และบทสรุปที่เสนอโดยปัญญาประดิษฐ์ถือเป็นข้อมูลนำเข้าสำหรับการทบทวนโดยผู้เชี่ยวชาญมนุษย์ การคัดเลือก การประเมิน ระดับความเชื่อมั่น และข้อสรุป ถือเป็นการตัดสินใจของมนุษย์ ซึ่งบันทึกไว้พร้อมกับชื่อของผู้ทบทวน
5. บริบทด้านกฎระเบียบ: พระราชบัญญัติปัญญาประดิษฐ์แห่งสหภาพยุโรป (EU AI Act)
ระเบียบข้อบังคับ (EU) 2024/1689 กำหนดกฎเกณฑ์ที่มีการ harmonization ว่าด้วยปัญญาประดิษฐ์ในสหภาพยุโรป [19] ข้อกำหนดสองประการเกี่ยวข้องโดยตรงกับการทำงานทางวิทยาศาสตร์ที่อาศัยปัญญาประดิษฐ์ มาตรา 4 กำหนดให้ผู้ให้บริการและผู้ใช้งานระบบปัญญาประดิษฐ์ต้องมั่นใจว่าบุคลากรที่ปฏิบัติงานมีความรู้ความเข้าใจด้านปัญญาประดิษฐ์ในระดับที่เพียงพอ มาตรา 14 กำหนดให้ระบบปัญญาประดิษฐ์ที่มีความเสี่ยงสูงต้องได้รับการออกแบบสำหรับการกำกับดูแลโดยมนุษย์ที่มีประสิทธิภาพ เพื่อให้บุคคลสามารถเข้าใจขีดความสามารถและข้อจำกัดของระบบ ตระหนักถึงความลำเอียงจากระบบอัตโนมัติ (automation bias) ตีความผลลัพธ์ได้อย่างถูกต้อง และตัดสินใจที่จะไม่ใช้หรือยกเลิกการใช้ระบบดังกล่าวได้
เครื่องมือสนับสนุนการทบทวนวรรณกรรมไม่ได้ถูกระบุว่าเป็นระบบที่มีความเสี่ยงสูงในตัวของมันเอง อย่างไรก็ตาม การประยุกต์ใช้หลักการกำกับดูแลตามมาตรา 14 ด้วยความสมัครใจถือเป็นแนวปฏิบัติทางวิทยาศาสตร์ที่ดี: ซึ่งเป็นหลักการเดียวกันกับที่ระเบียบวิธีวิจัยแบบทบทวนอย่างเป็นระบบกำหนดมาโดยตลอด กล่าวคือ ผู้ทบทวนไม่ใช่เครื่องมือที่เป็นผู้รับผิดชอบต่อการตัดสินใจทุกประการ
6. ข้อจำกัด
นี่คือการทบทวนระเบียบวิธีวิจัยเชิงบรรยาย ไม่ใช่การทบทวนอย่างเป็นระบบของเครื่องมือปัญญาประดิษฐ์ การประเมินแบบจำลองภาษาขนาดใหญ่ (LLMs) ที่ได้รับการตีพิมพ์ในการสังเคราะห์หลักฐานเชิงประจักษ์นั้นเพิ่งเกิดขึ้นใหม่ มักมีขนาดเล็กและเฉพาะเจาะจงต่อรุ่นของแบบจำลอง โดยประสิทธิภาพของแบบจำลองจะเปลี่ยนแปลงไปตามเวอร์ชัน ตัวเลขที่อ้างถึงข้างต้นอธิบายถึงแบบจำลองและชุดข้อมูลที่ได้รับการทดสอบในการศึกษาเหล่านั้น และไม่ควรนำไปสรุปทั่วไปใช้กับเครื่องมืออื่น องค์กรใดๆ ที่นำการทบทวนที่ช่วยด้วยปัญญาประดิษฐ์มาใช้ควรตรวจสอบความถูกต้องของกระบวนการทำงานของตนเทียบกับมาตรฐานอ้างอิงของมนุษย์และรายงานการตรวจสอบความถูกต้องนั้น
7. บทสรุป
ปัญญาประดิษฐ์สามารถทำให้การสังเคราะห์หลักฐานเชิงประจักษ์ที่มีความเข้มงวดทำได้รวดเร็วยิ่งขึ้น แต่ไม่สามารถทำให้มีความน่าเชื่อถือมากขึ้นได้ด้วยตัวของมันเอง สำหรับผลิตภัณฑ์เสริมอาหาร โภชนบำบัด และส่วนผสมใหม่ ซึ่งชุดข้อมูลต้องผ่านการตรวจสอบด้านกฎระเบียบและคลินิก แบบจำลองที่สามารถป้องกันได้คือมนุษย์มีส่วนร่วมในกระบวนการ (human-in-the-loop): ใช้มาตรฐานที่เป็นที่ยอมรับ (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT) ใช้ปัญญาประดิษฐ์เฉพาะในส่วนที่สามารถตรวจสอบผลลัพธ์ได้ ตรวจสอบการอ้างอิงและตัวเลขทุกรายการเทียบกับแหล่งที่มา และมีผู้เชี่ยวชาญที่ได้รับการระบุชื่อเป็นผู้รับผิดชอบต่อทุกข้อสรุป

