Аннотация
Обоснование: Принятие решений о безопасности и эффективности биологически активных добавок к пище, пищевых продуктов для специального медицинского назначения и новых ингредиентов все больше зависит от обширных и разнородных массивов данных: рандомизированных клинических исследований, обсервационных когортных исследований, токсикологических исследований на животных, работ по изучению механизмов действия in vitro и экспертных заключений регуляторных органов. Машинное обучение и большие языковые модели (LLM) обещают сократить наиболее длительные этапы синтеза доказательных данных, однако опубликованные результаты оценки показывают, что их надежность существенно варьируется в зависимости от решаемых задач.
Цель: Описать концепцию с участием человека в контуре управления (human-in-the-loop), в рамках которой инструменты искусственного интеллекта ускоряют поиск, дедупликацию, приоритизацию и предварительное извлечение данных, в то время как каждое решение о включении источников, оценка риска предвзятости, оценка степени достоверности и окончательные выводы остаются за конкретным квалифицированным экспертом-рецензентом.
Методы: Нарративный методологический обзор стандартов отчетности и экспертной оценки (PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, подход OHAT и руководство EFSA по методологии систематических обзоров в сфере безопасности пищевых продуктов и кормов), опубликованных оценок применения машинного обучения и LLM в задачах систематического обзора, а также требований Регламента (ЕС) 2024/1689 (Закон об искусственном интеллекте), применимых к научной деятельности с использованием искусственного интеллекта.
Заключение: Полученные данные подтверждают роль искусственного интеллекта в качестве инструмента ускорения поиска, приоритизации скрининга и предварительного извлечения данных, но не в качестве автономного рецензента. Результаты работы неконтролируемых LLM могут содержать сгенерированные библиографические ссылки и ненадежные решения по скринингу. Обоснованный рабочий процесс предполагает пререгистрацию протокола, протоколирование каждого этапа с участием ИИ, верификацию каждой ссылки по библиографическому реестру, сверку каждого числового показателя с исходным текстом, а также сохранение финального экспертного суждения за подотчетными специалистами.
1. Введение
Досье на продукт для биологически активной добавки к пище или изделия медицинского назначения для энтерального питания ценно ровно настолько, насколько надежен лежащий в его основе обзор доказательной базы. Регуляторам, клиницистам и владельцам торговых марок необходимо понимать не только то, какие результаты были получены в ходе исследования, но и каким образом эти исследования были обнаружены, почему некоторые из них были исключены и насколько уверен эксперт в общей совокупности доказательств. Методология систематического обзора отвечает на эти вопросы посредством прозрачной и воспроизводимой последовательности: предварительно сформулированный вопрос и протокол, документированный поиск, независимый скрининг, структурированное извлечение данных, оценка риска предвзятости и градуированная оценка достоверности.
В области безопасности пищевых продуктов и кормов Европейское ведомство по безопасности пищевых продуктов опубликовало руководство по применению данной методологии к задачам оценки рисков еще в 2010 году [10]. В сфере гигиены окружающей среды и токсикологических исследований подход OHAT Национальной программы токсикологии расширил применение систематического обзора на интеграцию данных о воздействии на человека, животных и механизмы для целей идентификации опасности [6]. Эти методологии предъявляют высокие требования: подготовка одного обзора может затрагивать тысячи записей и недели экспертного времени.
Инструменты машинного обучения для поиска, скрининга и извлечения данных достигли зрелости за последнее десятилетие [15, 16], а универсальные LLM теперь широко доступны. В связи с этим перед любой организацией, выпускающей научные досье, больше не стоит вопрос о том, следует ли использовать ИИ; актуален вопрос о том, каким результатам работы ИИ можно доверять, где их необходимо верифицировать и где экспертное суждение человека делегировать нельзя.
2. Стандарты отчетности и экспертной оценки, не зависящие от применения ИИ
2.1 Вопрос, протокол и поиск
Обзор начинается со структурированного вопроса. Для интервенционных исследований типичным является формат PICO (популяция, вмешательство, сравнение, исход); для вопросов безопасности и экспозиции лучше подходит концепция PECO (популяция, экспозиция, сравнение, исход), поскольку она учитывает воздействия, которые не выбираются участником исследования, и позволяет проводить сравнения между различными уровнями экспозиции [9]. Протокол должен быть составлен до начала скрининга и оформлен в соответствии с контрольным списком PRISMA-P, состоящим из 17 пунктов [3].
Поиск должен быть воспроизводимым. Стандарт PRISMA-S добавляет 16 пунктов отчетности, специфичных для поиска литературы, включая используемые базы данных и платформы, полные поисковые запросы, ограничения, дату проведения последнего поиска и метод дедупликации [2]. Эти требования применяются независимо от того, был ли запрос составлен человеком или предложен инструментом искусственного интеллекта: отчетности подлежит именно итоговая поисковая строка в том виде, в котором она была выполнена.
2.2 Отбор, извлечение данных и отчетность
Стандарт PRISMA 2020 предоставляет контрольный список из 27 пунктов и блок-схему, отражающую движение каждой записи от этапа идентификации до этапа включения[1]. Общепринятой практикой является независимый двойной скрининг, выполняемый двумя рецензентами. Методологический систематический обзор, сравнивающий одинарный скрининг с двойным, выявил, что при одинарном скрининге в среднем пропускается 5% релевантных исследований (диапазон 0–58%), а для менее опытных рецензентов этот показатель возрастает до 13% [11]. Согласованность между рецензентами обычно оценивается с помощью каппы Коэна [17] и интерпретируется по шкале Ландиса и Коха, где значения в диапазоне 0,61–0,80 указывают на существенную согласованность, а 0,81–1,00 — на практически идеальную [18].
2.3 Риск предвзятости и достоверность
Каждое включенное исследование оценивается с помощью инструмента, соответствующего плану исследования: RoB 2 для рандомизированных клинических исследований, структурированный по пяти доменам предвзятости [4], и ROBINS-I для нерандомизированных исследований вмешательств, структурированный по семи доменам [5]. Существующие систематические обзоры, используемые в качестве доказательной базы, могут оцениваться с помощью инструмента AMSTAR 2 [8].
Достоверность массива доказательств для каждого исхода затем оценивается по системе GRADE, которая учитывает риск предвзятости, несогласованность результатов, косвенный характер доказательств, неточность и предвзятость публикаций, а также позволяет повысить оценку при наличии выраженных эффектов, градиентов «доза-ответ» и остаточных мешающих факторов (конфлаундинга), которые могли бы уменьшить наблюдаемый эффект [7]. Подход OHAT адаптирует эту логику к данным экологических и токсикологических исследований и переводит оценки степени уверенности в уровни доказательности влияния на здоровье, интегрируя массивы данных по человеку и животным [6].
Ни один из этих этапов не является чисто технической (рутинной) задачей. Решение о том, достаточно ли исследуемая популяция близка к целевой группе, сопоставима ли доза или является ли мешающий фактор достаточно серьезным для снижения оценки достоверности, требует профильной квалификации и ответственности эксперта.
3. Что говорят данные об искусственном интеллекте в систематических обзорах
3.1 В чем помогает машинное обучение
Маршалл и Уоллес провели обзор методов машинного обучения, предложенных для поиска, скрининга и извлечения данных, и пришли к выводу, что некоторые из них готовы к практическому применению при условии, что команда исследователей понимает их сильные стороны и возможные сбои [15]. Инструменты активного обучения, которые выполняют ранжирование непросмотренных записей по мере их разметки рецензентами, позволяют группам специалистов находить релевантные исследования на более ранних стадиях процесса скрининга; подобные открытые и прозрачные программные платформы доступны [16]. При таком подложении человек по-прежнему принимает каждое решение о включении; машина лишь меняет порядок просмотра записей.
Для задач предварительного извлечения данных пилотное исследование показало, что LLM извлекла 160 предопределенных элементов данных из 10 рандомизированных исследований в открытом доступе с общей точностью 96,3%; большинство из шести допущенных ошибок были связаны с пропущенными элементами [12]. Авторы охарактеризовали это как потенциал для повышения эффективности на основе небольшой выборки удобства, а не как замену извлечению данных человеком.
3.2 Где неконтролируемый искусственный интеллект терпит неудачу
Эффективность скрининга выглядит менее обнадеживающе. Пререгистрационная оценка универсальной LLM, работающей в режиме «человек вне контура управления», показала, что видимая точность была завышена из-за случайных совпадений и несбалансированности набора данных. После внесения поправок эффективность скрининга варьировалась от нулевой на сбалансированных наборах данных до умеренной на несбалансированных, а эффективность извлечения данных оказалась умеренной. Авторы пришли к выводу о необходимости соблюдения значительной осторожности [13].
Генерация ссылок является наиболее серьезной проблемой. Когда перед LLM была поставлена задача воспроизвести списки литературы 11 опубликованных систематических обзоров, показатели галлюцинаций (ссылки, в которых название, первый автор или год указаны неверно как минимум по двум параметрам) составили 39,6%, 28,6% и 91,4% для трех протестированных моделей, а точность составила не более 13,4% [14]. Досье, содержащее ссылки на несуществующую публикацию, теряет доверие регуляторов и клиницистов вне зависимости от качества остальной части работы.
3.3 Выводы
Закономерность очевидна. Искусственный интеллект полезен, когда он предлагает варианты, а человек принимает окончательное решение: кандидаты в исследования, порядок скрининга, проект таблицы извлечения данных. Он ненадежен, если его результаты принимаются без проверки. Таким образом, проектная задача заключается в том, чтобы сделать каждый вклад ИИ проверяемым, запротоколированным и закрепленным за конкретным специалистом.
4. Рабочий процесс с участием человека в контуре управления
Представленный ниже рабочий процесс определяет принципы проектирования с участием человека в контуре управления, которые Olympia Biosciences использует при планировании обзоров доказательной базы для разработки биологически активных добавок, нутрицевтиков и продуктов медицинского питания. Когда обзор проводится и оформляется как систематический, предполагается, что на каждом этапе с поддержкой ИИ создается определенный результат (артефакт), который проверяется и утверждается экспертом до перехода к следующему этапу.
- Вопрос и протокол
Вклад с поддержкой ИИ: Предлагает синонимы, перечни исходов и возможные элементы PECO/PICO
Ответственность человека: Фиксирует вопрос, критерии соответствия (правомочности) и план анализа до начала скрининга
Результат верификации: Протокол, оформленный в соответствии со стандартом PRISMA-P [3]
- Поиск
Вклад с поддержкой ИИ: Предлагает варианты поисковых запросов и кандидатные записи на основе семантического поиска
Ответственность человека: Утверждает итоговые поисковые строки; выполняет поиск и документирует его в библиографических базах данных
Результат верификации: Поисковый журнал по стандарту PRISMA-S [2]
- Дедупликация и приоритизация
Вклад с поддержкой ИИ: Группирует дубликаты; ранжирует записи по прогнозируемой релевантности [16]
Ответственность человека: Подтверждает объединение записей; осуществляет скрининг каждой записи, определяющей включение в обзор
Результат верификации: Блок-схема по стандарту PRISMA 2020 [1]
- Скрининг
Вклад с поддержкой ИИ: Выделяет потенциально включаемые и исключаемые материалы в качестве второго экспертного мнения
Ответственность человека: Принимает и фиксирует каждое решение о включении или исключении с указанием причин; разрешает разногласия
Результат верификации: Журнал решений; показатель согласованности между экспертами (каппа) [17, 18]
- Извлечение данных
Вклад с поддержкой ИИ: Формирует проекты таблиц извлечения данных на основе полных текстов[12]
Ответственность человека: Проверяет каждое извлеченное числовое значение по исходному тексту
Результат верификации: Таблица извлечения данных с привязкой к страницам и рисункам
- Риск предвзятости и достоверность
Вклад с поддержкой ИИ: Не делегируется
Ответственность человека: Применяет инструменты RoB 2, ROBINS-I, AMSTAR 2, GRADE или OHAT [4–8]
Результат верификации: Подписанные экспертные таблицы оценки
- Целостность цитирования
Вклад с поддержкой ИИ: Собирает идентификаторы
Ответственность человека: Проверяет каждый DOI по библиографическому реестру и подтверждает название, авторов и год публикации
Результат верификации: Реестр проверки цитирования
- Заключение
Вклад с поддержкой ИИ: Готовит проекты резюме на понятном языке
Ответственность человека: Формирует и подписывает заключение, включая явное указание пробелов в доказательной базе
Результат верификации: Имя ответственного автора с указанием должности
Рабочий процесс регулируется тремя ключевыми правилами:
- Отсутствие сфабрикованных данных. Каждая ссылка проверяется по библиографическому реестру до публикации. Ссылка, которая не может быть верифицирована, удаляется, а образовавшийся пробел обозначается формулировкой «прямых доказательств не обнаружено» вместо заполнения несуществующей информацией.
- Каждое число прослеживаемо. Дозы, размеры эффектов, размеры выборок и пределы проверяются по аннотации или полному тексту, а не по резюме, созданному ИИ.
- Результаты работы ИИ являются кандидатами, а не готовыми выводами. Записи, извлеченные данные и резюме, предложенные ИИ, служат входными данными для экспертной оценки человеком. Отбор, оценка качества, степень достоверности и выводы принимаются человеком и фиксируются с указанием имени рецензента.
5. Регуляторный контекст: Регламент ЕС об искусственном интеллекте (AI Act)
Регламент (ЕС) 2024/1689 устанавливает гармонизированные правила в отношении искусственного интеллекта в Европейском Союзе [19]. Два положения имеют непосредственное отношение к научной работе с использованием ИИ. Статья 4 требует, чтобы разработчики и операторы систем ИИ обеспечивали достаточный уровень грамотности в вопросах ИИ среди сотрудников, которые их эксплуатируют. Статья 14 требует, чтобы высокорисковые системы ИИ были спроектированы для эффективного надзора со стороны человека, с тем чтобы специалист мог понимать возможности и ограничения системы, осознавать склонность к предвзятости автоматизации, правильно интерпретировать ее результаты и принимать решение о неиспользовании или отмене таких результатов.
Инструменты поддержки при обзоре литературы сами по себе не классифицируются как высокорисковые системы. Добровольное применение принципов надзора, изложенных в Статье 14, тем не менее является надлежащей научной практикой: это тот же принцип, которого всегда требовала методология систематических обзоров, а именно, что рецензент, а не инструмент, несет ответственность за каждое экспертное суждение.
6. Ограничения
Настоящая работа представляет собой нарративный методологический обзор, а не систематический обзор инструментов ИИ. Опубликованные оценки больших языковых моделей (LLM) в синтезе доказательств появились недавно, часто основаны на небольших выборках и специфичны для конкретных моделей, а производительность моделей меняется от версии к версии. Цитируемые выше показатели описывают модели и наборы данных, протестированные в этих исследованиях, и не должны экстраполироваться на другие инструменты. Любая организация, внедряющая обзор с поддержкой ИИ, должна валидировать собственный рабочий процесс по эталонным стандартам с участием человека и документировать эту валидацию.
7. Заключение
ИИ может ускорить проведение строгого синтеза доказательных данных. Сам по себе он не может сделать его более надежным. В отношении пищевых добавок, медицинского питания и новых ингредиентов, где досье должно выдерживать регуляторную и клиническую проверку, жизнеспособной моделью является концепция «человек в контуре» (human-in-the-loop): соблюдение установленных стандартов (PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT), использование ИИ только там, где его результаты поддаются верификации, проверка каждой ссылки и каждого числа по первоисточнику, а также ответственность поименованных экспертов за каждое заключение.
