الملخص
الخلفية: تعتمد قرارات السلامة والفعالية للمكملات الغذائية، والأغذية لأغراض طبية خاصة، والمكونات الجديدة بشكل متزايد على مجموعات واسعة ومتنوعة من الأدلة: التجارب العشوائية، والمجموعات الرصدية، وعلم السموم الحيواني، والأعمال الآلياتية المخبرية، والآراء التنظيمية. يعد التعلم الآلي والنماذج اللغوية الكبيرة (LLMs) بتقصير المراحل الأبطأ في توليف الأدلة، إلا أن التقييمات المنشورة تظهر أن موثوقيتها تتباين بشكل حاد بين المهام.
الهدف: وصف إطار عمل بشري-في-الحلقة تُسرِّع فيه أدوات الذكاء الاصطناعي عمليات الاسترجاع، وإزالة التكرار، وترتيب الأولويات، واستخراج مسودات البيانات، بينما يظل كل قرار إدراج، وتقييم لخطر التحيز، وتصنيف لليقين، والاستنتاج بيد مراجع بشري مؤهل ومسمى بالاسم.
الطرق: مراجعة منهجية سردية لمعايير التقرير والتقييم (PRISMA 2020، وPRISMA-S، وPRISMA-P، وPECO، وRoB 2، وROBINS-I، وAMSTAR 2، وGRADE، ونهج OHAT، وتوجيهات الهيئة الأوروبية للأمان الغذائي بشأن منهجية المراجعة المنهجية لسلامة الأغذية والأعلاف)، والتقييمات المنشورة للتعلم الآلي والنماذج اللغوية الكبيرة في مهام المراجعة المنهجية، والتزامات اللائحة (الاتحاد الأوروبي) 2024/1689 (قانون الذكاء الاصطناعي) ذات الصلة بالعمل العلمي المساعد بالذكاء الاصطناعي.
الاستنتاجات: تدعم الأدلة الذكاء الاصطناعي كمسرِّع للبحث، وتحديد أولويات الفحص، واستخراج المسودات، وليس كمراجع مستقل. يمكن لمخرجات النماذج اللغوية الكبيرة غير الخاضعة للإشراف أن تحتوي على مراجع مفبركة وقرارات فحص غير موثوقة. يسجل سير العمل القابل للدفاع عنه البروتوكول مسبقاً، ويسجل كل خطوة مدعومة بالذكاء الاصطناعي، ويتحقق من كل إشارة مرجعية مقابل سجل ببليوغرافي، ويطابق كل رقم مع النص الأصلي، ويُبقي الحكم العلمي النهائي مع الخبراء المسؤولين.
1. المقدمة
إن ملف المنتج للمكمل الغذائي أو منتج التغذية الطبية لا يكون قوياً إلا بقدر قوة مراجعة الأدلة الكامنة وراءه. يحتاج المنظمون والأطباء وأصحاب العلامات التجارية إلى معرفة ليس فقط ما توصلت إليه الدراسة، بل وكيف تم العثور على الدراسات، ولماذا تم استبعاد بعضها، وما مدى ثقة المراجع في مجمل مجموعة الأدلة. تجيب منهجية المراجعة المنهجية عن هذه الأسئلة من خلال تسلسل شفاف وقابل للتكرار: سؤال وبروتوكول مُحددان مسبقاً، وبحث موثق، وفحص مستقل، واستخراج منظم للبيانات، وتقييم لخطر التحيز، وبيان مصنف لليقين.
فيما يخص سلامة الأغذية والأعلاف، أصدرت الهيئة الأوروبية للأمان الغذائي توجيهات بشأن تطبيق هذه المنهجية على أسئلة تقييم المخاطر في وقت مبكر يعود إلى عام 2010 [10]. وفي مجال الصحة البيئية وعلم السموم، وسَّع نهج OHAT التابع لبرنامج السموم الوطني نطاق المراجعة المنهجية ليشمل دمج الأدلة البشرية والحيوانية والآلياتيّة لتحديد المخاطر [6]. تتطلب هذه الأطر جهوداً مكثفة: إذ قد تتضمن المراجعة الواحدة آلاف السجلات وأسابيع من وقت الخبراء.
لقد نضجت أدوات التعلم الآلي للبحث والفحص والاستخراج على مدار العقد الماضي [15, 16], وأصبحت النماذج اللغوية الكبيرة للأغراض العامة متاحة على نطاق واسع الآن. وبالتالي، لم يعد السؤال بالنسبة لأي مؤسسة تنتج ملفات علمية هو ما إذا كان ينبغي استخدام الذكاء الاصطناعي، بل أين يمكن الوثوق بمخرجاته، وأين يجب التحقق منها، وأين لا يمكن تفويض الحكم البشري.
2. معايير التقارير والتقييم التي لا تتغير مع الذكاء الاصطناعي
2.1 السؤال والبروتوكول والبحث
تبدأ المراجعة بسؤال منظم. بالنسبة للتدخلات، يكون هذا عادةً بنظام PICO (السكان، التدخل، المقارنة، النتيجة)؛ أما بالنسبة لأسئلة السلامة والتعرض، فإن إطار PECO (السكان، التعرض، المقارنة، النتيجة) يكون أكثر ملاءمة، لأنه يستوعب التعرضات التي لا يختارها المشارك والمقارنات عبر مستويات التعرض المختلفة [9]. ينبغي كتابة البروتوكول قبل بدء الفحص والإبلاغ عنه وفقاً لقائمة التحقق المكونة من 17 بنداً PRISMA-P [3].
يجب أن يكون البحث قابلاً للتكرار. يضيف PRISMA-S 16 بنداً للتقرير خاصة ببحوث الأدبيات، بما في ذلك قواعد البيانات والمنصات المستخدمة، وسلاسل البحث الكاملة، والقيود، وتاريخ آخر بحث، وطريقة إزالة التكرار [2]. تنطبق هذه البنود بغض النظر عما إذا كان الاستعلام قد صممه شخص أو اقترحته أداة ذكاء اصطناعي: فسلسلة البحث النهائية، كما تم تنفيذها، هي ما يجب الإبلاغ عنه.
2.2 الاختيار والاستخراج والتقارير
يوفر PRISMA 2020 قائمة تحقق من 27 بنداً ومخططاً انسيابياً يوضح كل سجل من مرحلة التحديد وحتى الإدراج [1]. الممارسة المعتادة هي إجراء فحص مزدوج مستقل من قبل مراجعين اثنين. وجدت مراجعة منهجية منهجية تقارن بين الفحص الفردي والمزدوج أن وسيط الدراسات ذات الصلة التي فاتها الفحص الفردي يبلغ 5% (المدى 0-58%)، ويرتفع إلى وسيط بنسبة 13% للمراجعين الأقل خبرة [11]. يُقاس الاتفاق بين المراجعين عادةً بمعامل كوهين كابا [17] ويُفسَّر على مقياس لانديس وكوخ، حيث تشير القيم من 0.61 إلى 0.80 إلى توافق كبير، ومن 0.81 إلى 1.00 إلى توافق شبه تام [18].
2.3 خطر التحيز واليقين
يتم تقييم كل دراسة مشمولة باستخدام أداة مناسبة للتصميم: RoB 2 للتجارب العشوائية، والمقسمة إلى خمسة مجالات للتحيز [4]، وROBINS-I للدراسات غير العشوائية للتدخلات، والمقسمة إلى سبعة مجالات [5]. يمكن تقييم المراجعات المنهجية الحالية المستخدمة كأدلة باستخدام AMSTAR 2 [8].
يتم بعد ذلك تقييم يقين مجموعة الأدلة لكل نتيجة باستخدام نظام GRADE، والذي يأخذ في الاعتبار خطر التحيز، وعدم الاتساق، وعدم المباشرة، وعدم الدقة، وتحيز النشر، ويسمح بزيادة التقييم في حال التأثيرات الكبيرة، وتدرجات الاستجابة للجرعة، والتشويش المتبقي الذي كان سيقلل من التأثير الملاحظ [7]. يكيّف نهج OHAT هذا المنطق ليناسب الأدلة البيئية والسمومية ويترجم تقييمات الثقة إلى مستويات من الأدلة للتأثير الصحي، داهماً بذلك مسارات الأدلة البشرية والحيوانية [6].
ليس أي من هذه الخطوات مهمة روتينية إدارية. إن تقرير ما إذا كان مجتمع الدراسة قريبًا بدرجة كافية من السكان المستهدفين، أو ما إذا كانت الجرعة قابلة للمقارنة، أو ما إذا كان العامل المربك خطيراً بدرجة تجعلنا نخفض مستوى اليقين، يتطلب خبرة في المجال ومساءلة مهنية.
3. ما تقوله الأدلة حول الذكاء الاصطناعي في المراجعات المنهجية
3.1 أين يساعد التعلم الآلي
راجع مارشال ووالاس طرق التعلم الآلي المقترحة للبحث والفحص واستخراج البيانات وخلصا إلى أن العديد منها جاهز للاستخدام العملي، شريطة أن يفهم فريق المراجعة نقاط قوتها وأنماط فشلها [15]. تتيح أدوات التعلم النشط، التي تعود لترتيب السجلات غير المفحوصة عندما يقوم المراجعون بتصنيفها، للفرق العثور على الدراسات ذات الصلة في وقت مبكر من عملية الفحص؛ وتتوفر أطر عمل مفتوحة المصدر وشفافة من هذا النوع [16]. عند استخدامها بهذه الطريقة، يظل البشر هم من يتخذون كل قرار إدراج؛ وكل ما تفعله الآلة هو تغيير ترتيب ظهور السجلات.
بالنسبة لاستخراج مسودات البيانات، وجدت دراسة إثبات مفهوم أن نموذجاً لغوياً كبيراً استخرج 160 عنصراً بيانياً محددًا مسبقاً من 10 تجارب عشوائية مفتوحة الوصول بدقة إجمالية بلغت 96.3%؛ وكان معظم الأخطاء الستة عبارة عن عناصر فائتة [12]. صاغ المؤلفون هذا كإمكانية لتحقيق الكفاءة، بناءً على عينة ملائمة صغيرة، وليس كبديل للاستخراج البشري.
3.2 أين ي فشل الذكاء الاصطناعي غير الخاضع للإشراف
أداء الفحص أقل اطمئناناً. وجدت تقييمات مسجلة مسبقاً لنموذج لغوي كبير للأغراض العامة يعمل بطريقة "الإنسان خارج الحلقة" أن الدقة الظاهرية كانت مبالغاً فيها بسبب التوافق العشوائي وعدم توازن مجموعة البيانات. بعد التعديل، تراوح أداء الفحص من لا شيء في مجموعات البيانات المتوازنة إلى متوسط في المجموعات غير المتوازنة، وكان أداء استخراج البيانات متوسطاً. خلص المؤلفون إلى أن هناك حاجة إلى الحذر الشديد [13].
يُعد توليد المراجع أخطر نمط فشل. عندما سُئلت النماذج اللغوية الكبيرة إعادة إنتاج قوائم المراجع لـ 11 مراجعة منهجية منشورة، كانت معدلات الهلوسة (المراجع التي تحتوي على خطأ في اثنين على الأقل من العنوان، أو المؤلف الأول، أو السنة) 39.6%، و28.6%، و91.4% للنماذج الثلاثة المختبرة، وكانت الدقة بحد أقصى 13.4% [14]. إن الملف الذي يستشهد بورقة بحثية غير موجودة يفقد مصداقيته لدى الجهات التنظيمية والأطباء، بغض النظر عن جودة باقي العمل.
3.3 الآثار المترتبة
النمط ثابت. يكون الذكاء الاصطناعي مفيداً عندما يقترح ويقوم الإنسان بالتصرف: السجلات المرشحة، وترتيب الفحص، وجول مسودة الاستخراج. وهو غير موثوق عندما يتم قبول مخرجاته دون تحقق. لذا فإن سؤال التصميم يتمثل في كيفية جعل كل مساهمة للذكاء الاصطناعي قابلة للتحقق، ومسجلة، ومملوكة لشخص ما.
4. سير عمل بشري-في-الحلقة
يحدد سير العمل أدناه مبادئ تصميم الإنسان في الحلقة التي يستخدمها Olympia Biosciences عند تخطيط مراجعات الأدلة لتطوير المكملات الغذائية، والمغذيات الدوائية، والتغذية الطبية. عند إجراء مراجعة والإبلاغ عنها كمراجعة منهجية، يُتوقع من كل مرحلة مدعومة بالذكاء الاصطناعي إنتاج النتيجة المدرجة، والتي يقوم البشر بالتحقق منها والتوقيع عليها قبل أن تبدأ المرحلة التالية.
- السؤال والبروتوكول
المساهمة المدعومة بالذكاء الاصطناعي: تقترح المرادفات، وقوائم النتائج، وعناصر PECO/PICO المرشحة
مسؤولية الإنسان: يحدد السؤال، ومعايير الأهلية، وخطة التحليل قبل الفحص
قطعة التحقق: البروتوكول المُبلغ عنه لـ PRISMA-P [3]
- البحث
المساهمة المدعومة بالذكاء الاصطناعي: تقترح متغيرات سلسلة البحث والسجلات المرشحة من البحث الدلالي
مسؤولية الإنسان: يوافق على السلاسل النهائية؛ ويقوم بتشغيلها توثيقها في قواعد البيانات الببليوغرافية
قطعة التحقق: سجل بحث PRISMA-S [2]
- إزالة التكرار وتحديد الأولويات
المساهمة المدعومة بالذكاء الاصطناعي: تجمع التكرارات؛ وترتب السجلات حسب الصلة المتوقعة [16]
مسؤولية الإنسان: يؤكد عمليات الدمج؛ يفحص كل سجل يحدد الإدراج
قطعة التحقق: مخطط تدفق PRISMA 2020 [1]
- الفحص
المساهمة المدعومة بالذكاء الاصطناعي: يضع علامات على ما يُحتمل تضمينه أو استبعاده كرأي ثانٍ
مسؤولية الإنسان: يتخذ ويسجل كل قرار تضمين/استبعاد مع الأسباب؛ ويحل النزاعات
قطعة التحقق: سجل القرارات؛ اتفاق المقيمين (كابا) [17, 18]
- استخراج البيانات
المساهمة المدعومة بالذكاء الاصطناعي: يصيغ مسودات لجداول الاستخراج من النصوص الكاملة [12]
مسؤولية الإنسان: يتحقق من كل رقم مستخرج مقابل النص الأصلي
قطعة التحقق: جدول الاستخراج مع مرساة الصفحات/الأشكال
- خطر التحيز واليقين
المساهمة المدعومة بالذكاء الاصطناعي: لم يتم تفويض أي شيء
مسؤولية الإنسان: يطبق RoB 2 أو ROBINS-I أو AMSTAR 2 أو GRADE أو OHAT [4–8]
قطعة التحقق: جداول تقييم موقعة
- سلامة الاستشهاد
المساهمة المدعومة بالذكاء الاصطناعي: يجمع المعرفات
مسؤولية الإنسان: يحل كل معامل DOI في السجل الببليوغرافي ويؤكد العنوان والمؤلفين والسنة
قطعة التحقق: سجل التحقق من الاستشهادات
- الاستنتاجات
المساهمة المدعومة بالذكاء الاصطناعي: يكتب مسودات الملخصات بلغة واضحة
مسؤولية الإنسان: يكتب ويوقع الاستنتاج، بما في ذلك ثغرات الأدلة الصريحة
قطعة التحقق: مؤلف مسمى ومسؤول
ثلاث قواعد تجعل سير العمل قابلاً للدفاع عنه:
- عدم وجود أدلة مفبركة. يتم حل كل مرجع مقابل سجل ببليوغرافي قبل النشر. يتم إزالة المرجع الذي لا يمكن حله، ويُذكر الفجوة على أنها "لم يتم تحديد أدلة مباشرة" بدلاً من ملئها.
- كل رقم قابل للتعقب. يتم التحقق من الجرعات، وأحجام التأثير، وأحجام العينات، والحدود مقابل الملخص أو النص الكامل، وليس مقابل ملخص تم توليده بواسطة الذكاء الاصطناعي.
- مخرجات الذكاء الاصطناعي هي مجرد مرشحات وليست نتائج نهائية. تُعد السجلات، وعمليات الاستخراج، والملخصات المقترحة من قِبل الذكاء الاصطناعي مدخلات للمراجعة البشرية. وتُعد قرارات الإضمام، والتقييم، واليقين، والاستنتاجات قرارات بشرية تُسجل باسم المراجع.
5. السياق التنظيمي: قانون الذكاء الاصطناعي للاتحاد الأوروبي
تضع اللائحة التنظيمية (الاتحاد الأوروبي) 2024/1689 قواعد موحدة بشأن الذكاء الاصطناعي في الاتحاد الأوروبي [19]. وهناك نصان قانونيان ذات صلة مباشرة بالعمل العلمي المدعوم بالذكاء الاصطناعي. تتطلب المادة 4 من مقدمي ومستخدمي أنظمة الذكاء الاصطناعي ضمان مستوى كافٍ من الإلمام بالذكاء الاصطناعي بين الموظفين الذين يشغلونها. وتتطلب المادة 14 تصميم أنظمة الذكاء الاصطناعي عالية المخاطر لتحقيق رقابة بشرية فعالة، بحيث يتمكن الشخص من فهم قدرات النظام وقيوده، والوعي بالتحيز المرتبط بالاتمتاع، وتفسير مخرجاته بشكل صحيح، واتخاذ قرار بعدم استخدامها أو تجاوزها.
لا تُصنف أدوات دعم مراجعة الأدبيات، بحد ذاتها، كأنظمة عالية المخاطر. ومع ذلك، يُعد تطبيق مبادئ الرقابة الواردة في المادة 14 طوعياً ممارسة علمية جيدة: فهو نفس المبدأ الذي تطلبه منهجية المراجعة المنهجية دائماً، وهو أن المراجع، وليس الأداة، هو المسؤول عن كل حكم.
6. القيود
تُعد هذه مراجعة منهجية سردية وليست مراجعة منهجية لأدوات الذكاء الاصطناعي. إن التقييمات المنشورة لنماذج اللغات الكبيرة في تجميع الأدلة حديثة العهد، وغالباً ما تكون نطاقاتها صغيرة وخاصة بنماذج محددة، كما يتغير أداء النماذج بين الإصدارات. وتصف الأرقام المذكورة أعلاه النماذج ومجموعات البيانات التي تم اختبارها في تلك الدراسات، ولا ينبغي تعميمها على أدوات أخرى. وينبغي لأي منظمة تتبنى مراجعة مدعومة بالذكاء الاصطناعي التحقق من سير عملها الخاص مقارنة بمعايير مرجعية بشرية والإبلاغ عن هذا التحقق.
7. الخلاصة
يمكن للذكاء الاصطناعي أن يجعل عملية تجميع الأدلة الصارمة أسرع، ولكنه لا يستطيع بمفرده جعلها أكثر موثوقية. بالنسبة للمكملات الغذائية، والتغذية الطبية، والمكونات المستحدثة، حيث يجب أن يتحمل الملف التنظيمي التدقيق التنظيمي والإكلينيكي، فإن النموذج القابل للدفاع عنه هو النموذج الذي يعتمد على العنصر البشري في حلقة العمل: المعايير الراسخة (PRISMA 2020، PRISMA-S، RoB 2، ROBINS-I، GRADE، OHAT)، واستخدام الذكاء الاصطناعي فقط عندما يمكن التحقق من مخرجاته، والتحقق من كل استشهاد ورقم مقابل المصدر، ووجود خبراء مسجلين بأسمائهم يتحملون المسؤولية عن كل استنتاج.
