摘要
背景： 食品补充剂、特殊医学用途食品和新颖原料的安全与功效决策，越来越依赖于庞大且异质的证据体系：随机试验、观察性队列、动物毒理学、体外机制研究以及监管意见。机器学习和大语言模型（LLM）有望缩短证据综合中最缓慢的阶段，但已发表的评估表明，其可靠性在不同任务之间存在显著差异。
目的： 描述一种“人在回路”框架，在该框架中，AI 工具可加速检索、去重、优先级排序和初稿数据提取，而每一项纳入决策、偏倚风险判断、确定性评级和结论均由具名的合格人类评审员负责。
方法： 对报告与评估标准（PRISMA 2020、PRISMA-S、PRISMA-P、PECO、RoB 2、ROBINS-I、AMSTAR 2、GRADE、OHAT 方法以及 EFSA 关于食品和饲料安全系统评价方法的指南）、关于机器学习和 LLM 在系统评价任务中应用的已发表评估，以及欧盟法规 (EU) 2024/1689（《人工智能法案》）中与 AI 辅助科研工作相关的义务进行叙述性方法学回顾。
结论： 证据支持 AI 作为检索、筛查优先级排序和初稿提取的加速器，而非自主评审员。无监督的 LLM 输出可能包含虚构的参考文献和不可靠的筛查决策。一个可辩护的工作流程应预先注册方案，记录每个 AI 辅助步骤，对照书目注册表验证每个引文，对照源文本检查每个数字，并将最终的科学判断交由负有责任的专家。
1. 引言
食品补充剂或医用营养产品的产品卷宗，其严谨程度取决于其背后的证据评价。监管机构、临床医生和品牌方不仅需要知道研究发现了什么，还需要知道研究是如何被检索到的、为什么某些研究被排除，以及评审员对整体证据体系的确信程度。系统评价方法通过透明、可重复的序列来回答这些问题：预先确定的问题和方案、记录在案的检索、独立筛查、结构化数据提取、偏倚风险评估以及分级的确定性陈述。
在食品和饲料安全领域，欧洲食品安全局早在 2010 年就发布了将此方法应用于风险评估问题的指南 [10]。在环境健康和毒理学领域，国家毒理学计划的 OHAT 方法将系统评价扩展至用于危害识别的人类、动物和机制证据的整合 [6]。这些框架要求严格：单次评价可能涉及数千条记录和数周的专家工作时间。
用于检索、筛查和提取的机器学习工具在过去十年中已经趋于成熟 [15, 16]，通用 LLM 现在也已广泛可用。因此，对于任何制作科学卷宗的机构来说，问题不再是是否使用 AI，而是可以在何处信任 AI 输出、必须在何处对其进行验证，以及哪些人类判断是绝对不能委派的。
2. 不随 AI 改变的报告与评估标准
2.1 问题、方案与检索
评价始于一个结构化的问题。对于干预措施，这通常是 PICO（人群、干预、对照、结局）；对于安全和暴露问题，PECO 框架（人群、暴露、对照、结局）更适合，因为它能够适应并非由参与者选择的暴露以及跨暴露水平的比较 [9]。方案应在筛查开始前编写，并根据包含 17 个条目的检查表 PRISMA-P 进行报告 [3]。
检索必须是可重复的。PRISMA-S 增加了 16 个特定于文献检索的报告条目，包括所使用的数据库和平台、完整的检索字符串、限制条件、最后检索日期以及去重方法 [2]。这些条目适用于查询是由人工起草还是由 AI 工具建议：必须报告的是实际执行的最终检索字符串。
2.2 选择、提取与报告
PRISMA 2020 提供了一个包含 27 个条目的检查表和一个流程图，用于记录从识别到纳入的每一条记录 [1]。常规做法是由两名评审员进行独立的双人筛查。一项比较单人与双人筛查的方法学系统评价发现，单人筛查遗漏相关研究的中位数为 5%（范围 0–58%），对于经验较少的评审员，这一比例上升至 13% 的中位数 [11]。评审员之间的一致性通常用科恩 kappa 值进行量化 [17]，并根据 Landis 和 Koch 量表进行解释，在该量表上，0.61–0.80 的值表示高度一致，0.81–1.00 表示几乎完全一致 [18]。
2.3 偏倚风险与确定性
每项纳入的研究都使用适合设计的工具进行评估：RoB 2 用于随机试验，分为五个偏倚域 [4]；ROBINS-I 用于非随机干预研究，分为七个域 [5]。用作证据的现有系统评价可以使用 AMSTAR 2 进行评估 [8]。
随后，使用 GRADE 对每个结局的证据体系确定性进行评级，GRADE 考虑了偏倚风险、不一致性、间接性、不精确性和发表偏倚，并允许对大效应、剂量-反应梯度以及会降低观察到效应的残余混杂因素进行升级 [7]。OHAT 方法将此逻辑适配于环境和毒理学证据，并将置信度评级转化为健康效应的证据等级，整合了人类和动物证据流 [6]。
这些步骤都不是文书性任务。决定研究人群是否足够接近目标人群、剂量是否具有可比性，或者混杂因素是否严重到足以降低确定性，都需要领域专业知识和责任担当。
3. 证据对系统评价中 AI 应用的见解
3.1 机器学习的助力之处
马歇尔（Marshall）和华莱士（Wallace）综述了为检索、筛查和数据提取提出的机器学习方法，并得出结论：其中几种方法已准备好投入实际应用，前提是评审团队了解其优势和失效模式 [15]。主动学习工具在评审员标记未筛查记录时对其重新排序，使团队能够在筛查过程的早期发现相关研究；这种类型的开源、透明框架是可用的 [16]。通过这种方式使用时，人类仍然做出每一项纳入决策；机器仅改变查看记录的顺序。
对于初稿数据提取，一项概念验证研究发现，LLM 从 10 项开放获取的随机试验中提取了 160 个预定义数据元素，总体准确率为 96.3%；其六个错误大多是遗漏的条目 [12]。作者将此视为基于小型便利样本的效率潜力，而非对人类提取的替代。
3.2 无监督 AI 的失效之处
筛查表现并没有那么令人放心。一项对以“人在回路之外”方式工作的通用 LLM 的预注册评估发现，表面准确率被巧合一致性和数据集失衡夸大了。调整后，筛查发现在平衡数据集中表现为零，在不平衡数据集中表现为中等，数据提取表现为中等。作者得出结论，需要给予高度谨慎 [13]。
参考文献生成是最严重的失效模式。当要求 LLM 重现 11 项已发表系统评价的参考文献列表时，对于所测试的三种模型，幻觉率（标题、第一作者或年份中至少有两个错误的参考文献）分别为 39.6%、28.6% 和 91.4%，精确度最高为 13.4% [14]。无论其余工作的质量如何，引用不存在的论文的卷宗都会失去监管机构和临床医生的信任。
3.3 启示
规律是一致的。AI 在提出建议而由人类进行处置时是有用的：候选记录、筛查顺序、初稿提取表。当其输出未经验证就被接受时，它是不可靠的。因此，设计上的问题是如何使每一项 AI 贡献都可验证、有记录可查并由专人负责。
4. “人在回路”工作流程
以下工作流程规定了 Olympia Biosciences 在规划补充剂、营养保健品和医用营养品开发的证据评价时所采用的“人在回路”设计原则。当进行系统评价并将其报告为系统评价时，预计每个 AI 辅助阶段都会产生列出的制品，供人类在下一阶段开始前进行检查和签收。
- 问题与方案
AI 辅助贡献： 建议同义词、结局列表和候选 PECO/PICO 元素
人类责任： 在筛查前确定问题、资格标准和分析计划
验证制品： 报告给 PRISMA-P 的方案 [3]
- 检索
AI 辅助贡献： 提出检索字符串变体和来自语义检索的候选记录
人类责任： 批准最终字符串；在书目数据库中运行并记录它们
验证制品： PRISMA-S 检索记录 [2]
- 去重与优先级排序
AI 辅助贡献： 将重复项分组；按预测相关性对记录进行排序 [16]
人类责任： 确认合并；筛查决定纳入的每一条记录
验证制品： PRISMA 2020 流程图 [1]
- 筛查
AI 辅助贡献： 作为第二意见标记可能的纳入和排除
人类责任： 做出并记录每一项带有理由的纳入/排除决策；解决冲突
验证制品： 决策日志；评价者间一致性（kappa） [17, 18]
- 数据提取
AI 辅助贡献： 从全文中起草提取表 [12]
人类责任： 对照源文本检查提取的每个数字
验证制品： 带有页码/图表锚点的提取表
- 偏倚风险与确定性
AI 辅助贡献： 未委派
人类责任： 应用 RoB 2、ROBINS-I、AMSTAR 2、GRADE 或 OHAT [4–8]
验证制品： 签字的评估表
- 引文完整性
AI 辅助贡献： 收集标识符
人类责任： 在书目注册表中解析每一个 DOI 并确认标题、作者和年份
验证制品： 引文验证登记册
- 结论
AI 辅助贡献： 起草通俗语言摘要
人类责任： 撰写并签署结论，包括明确的证据空白
验证制品： 具名的、负有责任的作者
三项规则使该工作流程具有可辩护性：
- 无虚构证据。每篇参考文献在发表前都需对照书目注册表进行解析。无法解析的参考文献将被删除，空白处表述为“未识别出直接证据”而非进行填补。
- 每个数据都是可追溯的。剂量、效应量、样本量和限制条件均需对照摘要或全文进行核对，而非依据人工智能生成的摘要。
- 人工智能输出的结果仅为候选内容，而非最终发现。由人工智能提出的记录、提取和摘要均作为人工审查的输入。纳入标准、质量评估、确定性及结论均由人工判定，并记录审查人员姓名。
5. 监管背景：《欧盟人工智能法案》
《条例 (EU) 2024/1689》对欧盟境内的人工智能制定了统一的规则 [19]。其中有两项规定与人工智能辅助的科学工作直接相关。第 4 条要求人工智能系统的提供者和部署者确保操作人员具备充分的人工智能素养水平。第 14 条要求高风险人工智能系统的设计应支持有效的人工监督，以便操作人员能够理解系统的能力与局限性、保持对自动化偏见的警惕、正确解释其输出结果，并决定不使用该系统或对其进行干预覆盖。
文献回顾支持工具本身并未被列为高风险系统。然而，自愿应用第 14 条的监督原则是良好的科学实践：这与系统评价方法论一贯要求的原则相同，即审稿人（而非工具）对每一项判定承担全部责任。
6. 局限性
这是一篇叙述性方法论综述，并非针对人工智能工具的系统评价。已发表的关于大语言模型在证据合成中应用评估的研究时间较近，通常样本较小且具有模型特异性，且模型性能随版本迭代而变化。上述引用的数据描述了在这些研究中测试的模型和数据集，不应推广应用于其他工具。任何采用人工智能辅助综述的机构均应对自身的验证工作流程对照人工参考标准进行验证，并报告验证结果。
7. 结论
人工智能可以提高严谨证据合成的效率，但其本身无法使其更具可信度。对于食品补充剂、医用营养品及新原料而言，其申报资料必须经受得起监管和临床审查，因此可辩护的模型是人机协同（Human-in-the-Loop）：遵循既定标准（PRISMA 2020、PRISMA-S、RoB 2、ROBINS-I、GRADE、OHAT），仅在输出结果可被验证的环节使用人工智能，对每一项引用和数据均与原始来源进行核对，并由具名的专家对每一项结论承担责任。
