要旨
背景: 食品サプリメント、特定保健用食品、新規素材に関する安全性および有効性の意思決定は、ランダム化試験、観察コホート、動物毒性学、in vitroにおける機序研究、規制当局の見解など、大規模かつ多様なエビデンス群にますます依存するようになっている。機械学習や大規模言語モデル（LLM）はエビデンス統合における最も低速な段階を短縮することが期待されているが、発表された評価結果からは、その信頼性がタスクによって大きく変動することが示されている.
目的: AIツールが文献検索、重複排除、優先順位付け、データ抽出ドラフトを加速させる一方で、組み入れの決定、バイアスリスクの評価、確実性の格付け、および結論の導出のすべては指名された適格な人間のレビュアーの責任において維持される、ヒューマン・イン・ザ・ループの枠組みについて述べる.
方法: 報告および評価基準（PRISMA 2020、PRISMA-S、PRISMA-P、PECO、RoB 2、ROBINS-I、AMSTAR 2、GRADE、OHATアプローチ、および食品・飼料の安全性に関するシステマティックレビュー方法論に関するEFSAガイダンス）、システマティックレビューのタスクにおける機械学習およびLLMの公開された評価、ならびにAI支援による科学的作業に関連する規則（EU）2024/1689（AI法）の義務についてのナラティブな方法論的レビューを実施した.
結論: 本エビデンスは、AIが検索、スクリーニングの優先順位付け、および抽出ドラフトの加速器としては有用であることを支持するが、自律的なレビュアーとしての使用を支持するものではない。教師なしLLMの出力には、捏造された参考文献や信頼性のないスクリーニング決定が含まれる可能性がある。防御可能なワークフローとは、プロトコルを事前登録し、AI支援の各ステップを記録し、すべての引用文献を文献レジストリと突合して検証し、すべての数値を原典テキストと照合し、最終的な科学的判断を責任ある専門家の手元に残すものである.
1. はじめに
食品サプリメントや医療用栄養製品の製品資料（ドシエ）は、その背後にあるエビデンスレビューの厳密さに依存する。規制当局、臨床医、ブランドオーナーにとって必要なのは、研究で何が見出されたかだけでなく、研究がどのように見出されたか、なぜ一部の研究が除外されたか、そしてレビュアーがエビデンス全体に対してどの程度の確信を持っているかを知ることである。システマティックレビューの方法論は、透明性と再現性のある一連の手順、すなわち事前指定されたリサーチクエスチョンとプロトコル、文書化された検索、独立したスクリーニング、構造化されたデータ抽出、バイアスリスク評価、および段階的な確実性表明を通じてこれらの問いに答える.
食品および飼料の安全性に関して、欧州食品安全機関（EFSA）はすでに2010年の時点で、リスク評価の問いにこの方法論を適用するためのガイダンスを公表している [10]。環境衛生および毒性学の分野では、国家毒性学プログラム（NTP）のOHATアプローチにより、ハザード同定のためのヒト、動物、および機序的エビデンスの統合へとシステマティックレビューが拡張された [6]。これらの枠組みは厳格なものであり、1件のレビューに何千ものレコードと専門家による数週間の作業が伴うことがある.
検索、スクリーニング、抽出のための機械学習ツールは過去10年間にわたって成熟し [15, 16]、汎用LLMが現在広く利用可能になっている。したがって、科学的ドシエを作成する組織にとっての問いは、もはやAIを使用するかどうかではなく、AIの出力を信頼できる場所、検証しなければならない場所、そして人間の判断を委譲してはならない場所はどこかという点にある.
2. AIによって変わらない報告および評価基準
2.1 問い、プロトコル、および検索
レビューは構造化された問いから始まる。介入研究の場合、これは通常PICO（対象集団、介入、比較対照、アウトカム）である。安全性や曝露に関する問いについては、参加者が選択しない曝露や曝露レベル間での比較に対応できるため、PECOフレームワーク（対象集団、曝露、比較対照、アウトカム）の方がより適している [9]。プロトコルはスクリーニング開始前に作成し、17項目のチェックリストであるPRISMA-Pに従って報告すべきである [3]。
検索は再現可能でなければならない。PRISMA-Sには、使用したデータベースとプラットフォーム、完全な検索式、制限事項、最終検索日、重複排除の方法など、文献検索に特化した16の報告項目が追加されている [2]。これらの項目は、クエリが人間によって起草されたものであるかAIツールによって提案されたものであるかにかかわらず適用される。すなわち、実行された最終的な検索式が報告されなければならない.
2.2 選択、抽出、および報告
PRISMA 2020は、27項目のチェックリストと、特定から組み入れまでのすべてのレコードを説明するフロー図を提供する [1]。従来の慣行では、2名のレビュアーによる独立した二重スクリーニングが行われる。単独スクリーニングと二重スクリーニングを比較した方法論的システマティックレビューでは、単独スクリーニングによって見落とされた関連研究の中央値が5%（範囲0〜58%）であり、経験の少ないレビュアーでは中央値13%に上昇することが見出されている [11]。レビュアー間の合意度は一般にコーエンのカッパ係数で定量化され [17]、Landis and Kochの尺度に基づいて解釈される。この尺度では0.61〜0.80の値が「実質的」、0.81〜1.00が「ほぼ完璧な」一致を示すとされる.[18]
2.3 バイアスリスクと確実性
含まれる各研究は、デザインに適したツールを用いて評価される。ランダム化試験に対しては5つのバイアスドメインで構成されるRoB 2が用いられ [4]、非ランダム化介入研究に対しては7つのドメインで構成されるROBINS-Iが用いられる [5]。エビデンスとして使用される既存のシステマティックレビューはAMSTAR 2で評価できる.[8]
次に、各アウトカムに関するエビデンス全体の確実性がGRADEを用いて評価される。GRADEは、バイアスリスク、非一貫性、非直接性、不精密性、および出版バイアスを考慮し、大きな効果、用量反応関係、および観察された効果を減少させるような残余交絡が存在する場合には確実性の引き上げを認める [7]。OHATアプローチはこのロジックを環境および毒性学的エビデンスに適応させ、ヒトと動物のエビデンスストリームを統合して、健康影響に関するエビデンスの水準へと信頼性評価を変換する.[6]
これらのステップのいずれも事務的な作業ではない。研究対象集団がターゲット集団に十分に酷似しているか、用量が匹敵するか、あるいは交絡因子が確実性を下げるほど重大であるかを判断するには、専門分野の知識と説明責任が求められる.
3. システマティックレビューにおけるAIに関するエビデンスの現状
3.1 機械学習が役立つ領域
MarshallとWallaceは、検索、スクリーニング、およびデータ抽出のために提案された機械学習手法をレビューし、レビューチームがそれらの強みと失敗モードを理解していることを条件として、いくつかの手法が実用化の段階にあると結論付けた [15]。アクティブラーニングツールは、レビュアーがラベル付けを行うのに伴って未スクリーニングのレコードを再ランク付けし、チームがスクリーニングプロセスの早い段階で関連研究を見つけることを可能にする。この種のオープンソースで透明性のある枠組みが利用可能である [16]。このように使用された場合でも、依然として人間がすべての組み入れ決定を行い、機械はレコードが表示される順序を変更するだけである.
データ抽出のドラフト作成に関する概念実証研究では、あるLLMが10件のオープンアクセス・ランダム化試験から160の事前定義されたデータ要素を全体精度96.3%で抽出したことが見出され、6件のエラーの大半は抽出もれ項目であった [12]。著者らはこれを、人間の抽出の代替としてではなく、小規模な便宜的サンプルに基づく効率性のポテンシャルとして位置づけた.
3.2 教師なしAIが失敗する領域
スクリーニングのパフォーマンスはそれほど安心できるものではない。「人間を介さない（human-out-of-the-loop）」方式で稼働する汎用LLMの事前登録された評価では、見かけ上の精度が偶然の一致とデータセットの不均衡によって誇張されていたことが判明した。調整後、スクリーニングのパフォーマンスは、バランスの取れたデータセットでは皆無から、不均衡なデータセットでは中程度までの範囲に収まり、データ抽出のパフォーマンスは中程度であった。著者らは相当な慎重さが求められると結論付けた [13]。
参考文献の生成は、最も深刻な失敗モードである。LLMに11件の公開されたシステマティックレビューの参考文献リストの再現を求めたところ、テストされた3つのモデルにおけるハルシネーション率（タイトル、第一著者、または年のうち少なくとも2つが間違っている参考文献）は39.6%、28.6%、91.4%であり、適合率はせいぜい13.4%であった [14]。存在しない論文を引用するドシエは、残りの部分の質にかかわらず、規制当局や臨床医からの信認を失う.
3.3 示唆
その傾向は一貫している。AIは、候補レコード、スクリーニング順序、抽出ドラフト表といった提案をAIが行い、それを人間が決定（採否）する場合に有用である。その出力が検証なしに受け入れられる場合には信頼性が置けない。したがって設計上の問いは、AIのあらゆる貢献を検証可能にし、記録し、人間が責任を持つものにする方法をいかに構築するかという点にある.
4. ヒューマン・イン・ザ・ループのワークフロー
以下のワークフローは、サプリメント、ニュートラシューティカル、および医療用栄養製品の開発に向けたエビデンスレビューを計画する際に Olympia Biosciencesが採用している、ヒューマン・イン・ザ・ループの設計原則を定めたものである。レビューがシステマティックとして実施および報告される場合、AI支援による各段階において記載された成果物の生成が求められ、人間がそれをチェックして次の段階を開始する前に承認を行うことになっている.
- 問いとプロトコル
AI支援による貢献: 同義語、アウトカムリスト、および候補となるPECO/PICO要素を提案する
人間の責任: スクリーニング前に、問い、適格基準、および解析計画を確定する
検証成果物: PRISMA-Pに従って報告されたプロトコル [3]
- 検索
AI支援による貢献: 検索式のバリエーションとセマンティック検索からの候補レコードを提案する
人間の責任: 最終的な検索式を承認し、文献データベースで実行して文書化する
検証成果物: PRISMA-S検索記録 [2]
- 重複排除と優先順位付け
AI支援による貢献: 重複をグループ化し、予測される関連性に従ってレコードをランク付けする [16]
人間の責任: マージを確認し、組み入れを決定するすべてのレコードをスクリーニングする
検証成果物: PRISMA 2020フロー図 [1]
- スクリーニング
AI支援による貢献: 第二の意見として、組み入れおよび除外の可能性が高いものをフラグ付けする
人間の責任: 理由を添えてすべての組み入れ/除外の決定を行い記録する。競合を解決する
検証成果物: 決定ログ、評価者間一致度（カッパ係数） [17, 18]
- データ抽出
AI支援による貢献: 全文から抽出表のドラフトを作成する [12]
人間の責任: 抽出されたすべての数値を原典テキストと照合してチェックする
検証成果物: ページ/図表アンカー付きの抽出表
- バイアスリスクと確実性
AI支援による貢献: 委譲なし
人間の責任: RoB 2、ROBINS-I、AMSTAR 2、GRADE、またはOHATを適用する [4–8]
検証成果物: 署名済み評価表
- 引用の完全性
AI支援による貢献: 識別子を収集する
人間の責任: 文献レジストリですべてのDOIを解決し、タイトル、著者、および年を確認する
検証成果物: 引用検証登録簿
- 結論
AI支援による貢献: プレーン言語によるサマリーのドラフトを作成する
人間の責任: 明確なエビデンスのギャップを含め、結論を執筆して署名する
検証成果物: 署名済みの責任ある著者
以下の3つのルールがこのワークフローを防御可能なものにする:
- 捏造されたエビデンスの排除。すべての参考文献は公表前に文献レジストリと突合して解決される。解決できない参考文献は削除され、穴埋めするのではなく「直接的なエビデンスは同定されなかった」としてギャップが明記される.
- すべての数値は追跡可能です。用量、効果量、サンプルサイズ、および限界値は、AIの要約ではなく、抄録または本文と照合して確認されます。
- AIの出力は候補であり、知見ではありません。AIによって提案された記録、抽出、要約は、人間のレビューへのインプットとなります。組入れ、評価、確実性、および結論は人間の決定事項であり、レビュアーの氏名とともに記録されます。
5. 規制上の文脈：EU人工知能法（EU AI Act）
規則（EU）2024/1689は、欧州連合における人工知能に関する調和された規則を定めています[19]。2つの規定が、AI支援による科学的作業に直接関連しています。第4条では、AIシステムのプロバイダーおよびデプロイヤー（導入者）に対し、システムを操作するスタッフの間で十分なレベルのAIリテラシーを確保することを義務付けています。第14条では、高リスクAIシステムについて、効果的な人間の監督（ヒューマン・オキシサイト）が設計に組み込まれていることを義務付けており、これにより、担当者はシステムの能力と限界を理解し、自動化バイアスに留意し、その出力を正しく解釈し、使用しないことや上書きすることを決定できるようにする必要があります。
文献レビュー支援ツールは、それ自体が高リスクシステムとしてリストアップされているわけではありません。それにもかかわらず、第14条の監督原則を自主的に適用することは、優れた科学的実践です。これは、システムレビューの方法論が常に求めてきた原則と同じであり、すなわち、ツールではなくレビュアーがすべての判断に対して責任を負うということです。
6. 限界
これはナラティブな方法論的レビューであり、AIツールのシステマティックレビューではありません。エビデンス統合におけるLLMの公開された評価は最近のものであり、多くの場合小規模かつモデル固有のものであり、モデルのパフォーマンスはバージョン間で変化します。上記で引用された数値は、それらの研究でテストされたモデルとデータセットを説明するものであり、他のツールに一般化されるべきではありません。AI支援によるレビューを採用する組織は、独自のワークフローを人間のリファレンス基準に対して検証し、その検証結果を報告する必要があります。
7. 結論
AIは、厳密なエビデンス統合を迅速化することができます。それ単体で信頼性を高めることはできません。健康食品、医療用栄養食品、および新規原料において、ドセリュ（申請資料）が規制当局および臨床的審査に耐えなければならない場合、擁護可能なモデルはヒューマン・イン・ザ・ループです。すなわち、確立された基準（PRISMA 2020、PRISMA-S、RoB 2、ROBINS-I、GRADE、OHAT）、出力が検証可能な場合にのみ使用されるAI、ソースと照合されるすべての引用および数値、そしてすべての結論に対して責任を負う指名された専門家です。
