초록
배경: 건강기능식품, 특수의료용도식품 및 신소재에 대한 안전성 및 유효성 결정은 무작위 대조 임상시험, 관찰 코호트, 동물 독성학, 체외 기전 연구, 규제 기관의견 등 방대하고 이질적인 근거 문헌에 점점 더 의존하고 있습니다. 머신러닝과 거대 언어 모델(LLM)은 근거 통합에서 가장 느린 단계를 단축할 것으로 기대되나, 발표된 평가 결과에 따르면 그 신뢰성은 과업에 따라 큰 차이를 보입니다.
목적: AI 도구가 문헌 검색, 중복 제거, 우선순위 지정 및 초안 데이터 추출을 가속화하는 한편, 모든 문헌 선정 결정, 비뚤림 위험 평가, 확실성 등급 부여 및 결론은 지정된 자격을 갖춘 인간 검토자의 책임하에 유지되는 휴먼 인 더 루프(human-in-the-loop) 프레임워크를 기술합니다.
방법: 보고 및 평가 표준(PRISMA 2020, PRISMA-S, PRISMA-P, PECO, RoB 2, ROBINS-I, AMSTAR 2, GRADE, OHAT 접근법, 그리고 식품 및 사료 안전 분야의 체계적 문헌고찰 방법론에 관한 EFSA 지침), 체계적 문헌고찰 과업에서의 머신러닝 및 LLM 평가에 관한 발표 문헌, 그리고 AI 지원 과학 연구와 관련된 규정(EU) 2024/1689(인공지능법)의 의무 사항에 대한 서술적 방법론적 문헌고찰.
결론: 본 근거는 AI가 자율적인 검토자가 아니라 검색, 선별 우선순위 지정 및 초안 추출의 가속화 도구임을 뒷받침합니다. 비지도 LLM 산출물에는 조작된 참고문헌과 신뢰할 수 없는 선별 결정이 포함될 수 있습니다. 방어 가능한 작업 흐름은 프로토콜을 사전 등록하고, AI 지원 단계를 모두 기록하며, 서지 레지스트리에 대해 모든 인용을 검증하고, 원문과 대조하여 모든 수치를 확인하며, 최종 과학적 판단을 책임감 있는 전문가에게 맡깁니다.
1. 서론
건강기능식품 또는 메디컬 뉴트리션 제품의 제품 서류는 그 이면에 있는 근거 검토의 탄탄함만큼만 가치가 있습니다. 규제 기관, 임상가 및 브랜드 소유자는 연구가 무엇을 발견했는지뿐만 아니라 연구가 어떻게 발견되었는지, 왜 일부 연구가 배제되었는지, 그리고 검토자가 전체 근거 본문에 대해 얼마나 확신하는지 알아야 합니다. 체계적 문헌고찰 방법론은 사전에 명시된 질문과 프로토콜, 문서화된 검색, 독립적 선별, 구조화된 데이터 추출, 비뚤림 위험 평가, 그리고 등급이 부여된 확실성 진술이라는 투명하고 재현 가능한 순서를 통해 이러한 질문에 답합니다.
식품 및 사료 안전 분야에서 유럽식품안전청(EFSA)은 이미 2010년에 위험 평가 질문에 이 방법론을 적용하는 지침을 발표했습니다 [10]. 환경 보건 및 독성학 분야에서 미국 국가독성학프로그램(NTP)의 OHAT 접근법은 유해성 식별을 위해 인간, 동물 및 기전적 근거를 통합하는 데까지 체계적 문헌고찰을 확장했습니다 [6]. 이러한 프레임워크는 까다로워서 단일 문헌고찰에 수천 건의 기록과 전문가의 수주 간 시간이 소요될 수 있습니다.
검색, 선별 및 추출을 위한 머신러닝 도구는 지난 10년간 성숙해졌으며 [15, 16], 범용 LLM이 현재 널리 보급되어 있습니다. 따라서 과학 서류를 작성하는 모든 조직에게 던져지는 질문은 더 이상 AI를 사용할지 여부가 아니라, AI 산출물을 신뢰할 수 있는 곳이 어디인지, 어디서 검증해야 하는지, 그리고 인간의 판단을 위임할 수 없는 곳이 어디인지입니다.
2. AI에 의해 변경되지 않는 보고 및 평가 표준
2.1 질문, 프로토콜 및 검색
문헌고찰은 구조화된 질문으로 시작됩니다. 중재의 경우 이는 전형적으로 PICO(대상 인구, 중재, 비교 중재, 결과)이며, 안전성 및 노출 질문의 경우 PECO 프레임워크(대상 인구, 노출, 비교 노출, 결과)가 더 적합합니다. 이는 참가자가 선택하지 않는 노출과 노출 수준 간의 비교를 수용하기 때문입니다 [9]. 프로토콜은 선별 시작 전에 작성되어야 하며 17개 항목으로 구성된 체크리스트인 PRISMA-P에 따라 보고되어야 합니다 [3].
검색은 재현 가능해야 합니다. PRISMA-S는 사용된 데이터베이스 및 플랫폼, 전체 검색어, 제한 사항, 마지막 검색일 및 중복 제거 방법을 포함하여 문헌 검색에 특화된 16가지 보고 항목을 추가합니다 [2]. 이러한 항목은 쿼리가 사람이 작성되었는지 AI 도구에 의해 제안되었는지에 관계없이 적용됩니다. 실행된 최종 검색어가 바로 보고되어야 하는 것입니다.
2.2 선정, 추출 및 보고
PRISMA 2020은 식별부터 선정까지 모든 기록을 설명하는 27개 항목 체크리스트와 흐름도를 제공합니다 [1]. 통상적인 관행은 두 명의 검토자에 의한 독립적인 이중 선별입니다. 단일 선별과 이중 선별을 비교한 방법론적 체계적 문헌고찰에 따르면 단일 선별로 누락된 관련 연구의 중앙값은 5%(범위 0~58%)였으며, 경험이 적은 검토자의 경우 13%의 중앙값으로 상승했습니다 [11]. 검토자 간의 일치도는 일반적으로 코엔스 카파(Cohen's kappa)로 정량화되며 [17] 랜디스 및 코흐(Landis and Koch) 척도에 따라 해석되는데, 여기서 0.61~0.80의 값은 상당한 일치도를, 0.81~1.00은 거의 완벽한 일치도를 나타냅니다 [18].
2.3 비뚤림 위험 및 확실성
포함된 각 연구는 연구 설계에 적절한 도구로 평가됩니다. 무작위 대조 임상시험의 경우 5개의 비뚤림 영역으로 구조화된 RoB 2 [4], 비무작위 중재 연구의 경우 7개의 영역으로 구조화된 ROBINS-I로 평가합니다 [5]. 근거로 사용되는 기존의 체계적 문헌고찰은 AMSTAR 2로 평가할 수 있습니다 [8].
그런 다음 각 결과에 대한 근거 본문의 확실성은 GRADE를 사용하여 평가됩니다. GRADE는 비뚤림 위험, 비일관성, 비직접성, 비임상적 정밀성 부족 및 출판 비뚤림을 고려하며, 관찰된 효과를 감소시킬 수 있는 대규모 효과, 용량-반응 구배 및 잔여 교락에 대해 상향 조정을 허용합니다 [7]. OHAT 접근법은 이 논리를 환경 및 독성학적 근거에 적용하고, 인간과 동물 연구 스트림을 통합하여 건강 영향에 대한 근거 수준으로 신뢰도 등급을 변환합니다 [6].
이러한 단계 중 어느 것도 단순한 사무적 업무가 아닙니다. 연구 대상 인구가 목표 인구에 충분히 근접한지, 용량이 비교 가능한지, 또는 교락 변수가 확실성을 낮출 만큼 심각한지 결정하려면 전문 분야 지식과 책임감이 요구됩니다.
3. 체계적 문헌고찰에서의 AI에 관하여 근거가 말해주는 것
3.1 머신러닝이 도움이 되는 영역
마샬(Marshall)과 월리스(Wallace)는 검색, 선별 및 데이터 추출을 위해 제안된 머신러닝 방법을 검토하고, 검토 팀이 그 강점과 실패 양상을 이해한다면 여러 방법이 실용적으로 사용할 준비가 되었다고 결론지었습니다 [15]. 검토자가 라벨을 지정함에 따라 선별되지 않은 기록의 순위를 다시 매기는 능동 학습 도구를 통해 팀은 선별 과정의 더 이른 단계에서 관련 연구를 찾을 수 있으며, 이러한 종류의 오픈 소스 투명한 프레임워크를 사용할 수 있습니다 [16]. 이러한 방식으로 사용될 때 인간은 여전히 모든 선정 결정을 내리며, 기계는 단지 기록이 보이는 순서만 변경합니다.
초안 데이터 추출과 관련하여, 개념 증명 연구에 따르면 LLM이 10개의 오픈 액세스 무작위 대조 임상시험에서 96.3%의 전체 정확도로 160개의 사전 정의된 데이터 요소를 추출했습니다. 6건의 오류 중 대부분은 누락된 항목이었습니다 [12]. 저자들은 이를 인간의 추출을 대체하는 것이 아니라, 소규모 편의 표본을 바탕으로 한 효율성의 잠재력으로 규정했습니다.
3.2 비지도 AI가 실패하는 영역
선별 성능은 그다지 안심할 만하지 않습니다. "사람이 개입하지 않는(human-out-of-the-loop)" 방식으로 작동하는 범용 LLM에 대한 사전 등록된 평가는 외견상 정확도가 우연에 의한 일치와 데이터셋 불균형으로 인해 부풀려졌음을 밝혔습니다. 보정 후, 선별 성능은 균형 잡힌 데이터셋에서는 전무한 수준부터 불균형한 데이터셋에서는 보통 수준까지 다양했으며, 데이터 추출 성능은 보통 수준이었습니다. 저자들은 상당한 주의가 필요하다고 결론지었습니다 [13].
참고문헌 생성은 가장 심각한 실패 양상입니다. LLM에 10편의 발표된 체계적 문헌고찰의 참고문헌 목록을 재현하도록 요청했을 때, 환각(제목, 제1저자 또는 연도 중 최소 두 가지가 틀린 참고문헌) 비율은 테스트한 세 가지 모델에 대해 각각 39.6%, 28.6%, 91.4%였으며 정밀도는 최대 13.4%였습니다 [14]. 존재하지 않는 논문을 인용하는 서류는 나머지 작업의 품질과 상관없이 규제 기관과 임상가에 대한 신뢰성을 잃게 됩니다.
3.3 시사점
양상은 일관됩니다. AI는 후보 기록, 선별 순서, 초안 추출 표 등 AI가 제안하고 사람이 처리할 때 유용합니다. 그 산출물이 검증 없이 수용될 때는 신뢰할 수 없습니다. 따라서 설계상의 질문은 모든 AI 기여를 검증 가능하고 기록되며 사람이 소유하도록 만드는 방법입니다.
4. 휴먼 인 더 루프 작업 흐름
아래의 작업 흐름은 건강기능식품, 뉴트라수티컬 및 메디컬 뉴트리션 개발을 위한 근거 검토를 계획할 때 Olympia Biosciences에서 사용하는 휴먼 인 더 루프 설계 원칙을 제시합니다. 문헌고찰이 수행되고 체계적으로 보고될 때, 각 AI 지원 단계는 나열된 산출물을 생성할 것으로 기대되며, 이는 인간이 다음 단계가 시작되기 전에 확인하고 서명합니다.
- 질문 및 프로토콜
AI 지원 기여: 동의어, 결과 목록 및 PECO/PICO 후보 요소 제안
인간의 책임: 선별 전 질문, 적격성 기준 및 분석 계획 확정
검증 산출물: PRISMA-P에 보고된 프로토콜 [3]
- 검색
AI 지원 기여: 검색어 변형 및 의미론적 검색을 통한 후보 기록 제안
인간의 책임: 최종 검색어 승인; 서지 데이터베이스에서 실행 및 문서화
검증 산출물: PRISMA-S 검색 기록 [2]
- 중복 제거 및 우선순위 지정
AI 지원 기여: 중복 그룹화; 예측된 관련성순으로 기록 순위 지정 [16]
인간의 책임: 병합 확인; 포함 여부를 결정하는 모든 기록 선별
검증 산출물: PRISMA 2020 흐름도 [1]
- 선별
AI 지원 기여: 교차 검토 의견으로서 포함 및 배제 가능성 표시
인간의 책임: 사유와 함께 모든 포함/배제 결정 작성 및 기록; 충돌 해결
검증 산출물: 결정 로그; 평가자 간 일치도(카파) [17, 18]
- 데이터 추출
AI 지원 기여: 전문으로부터 추출 표 초안 작성 [12]
인간의 책임: 원문과 대조하여 추출된 모든 수치 확인
검증 산출물: 페이지/그림 앵커가 포함된 추출 표
- 비뚤림 위험 및 확실성
AI 지원 기여: 위임된 사항 없음
인간의 책임: RoB 2, ROBINS-I, AMSTAR 2, GRADE 또는 OHAT 적용 [4–8]
검증 산출물: 서명된 평가 표
- 인용 무결성
AI 지원 기여: 식별자 수집
인간의 책임: 서지 레지스트리에서 모든 DOI를 해결하고 제목, 저자 및 연도 확인
검증 산출물: 인용 검증 등록부
- 결론
AI 지원 기여: 평이한 언어로 된 요약 초안 작성
인간의 책임: 명시적인 근거 공백을 포함하여 결론 작성 및 서명
검증 산출물: 지정된 책임 있는 저자
작업 흐름을 방어 가능하게 만드는 세 가지 규칙:
- 조작된 근거 없음. 모든 참고문헌은 출판 전에 서지 레지스트리를 통해 해결됩니다. 해결할 수 없는 참고문헌은 삭제되며, 공백은 채워지는 대신 "확인된 직접적인 근거 없음"으로 명시됩니다.
- 모든 숫자는 추적 가능합니다. 용량, 효과 크기, 표본 크기 및 한계는 AI 요약이 아닌 초록 또는 원문을 기준으로 검증됩니다.
- AI 출력값은 연구 결과가 아닌 후보군입니다. AI가 제안한 기록, 추출 및 요약은 인간의 검토를 위한 입력값입니다. 문헌 선정, 평가, 확실성 및 결론은 검토자의 이름이 기록되는 인간의 결정입니다.
5. 규제 맥락: EU 인공지능법(EU AI Act)
유럽연합 규정(EU) 2024/1689는 유럽연합 내 인공지능에 대한 조화된 규칙을 규정합니다 [19]. 두 가지 조항이 AI 지원 과학적 작업과 직접적으로 관련이 있습니다. 제4조는 AI 시스템의 제공자와 배포자가 이를 운영하는 직원의 충분한 수준의 AI 리터러시를 보장하도록 요구합니다. 제14조는 고위험 AI 시스템이 효과적인 인간의 감독을 위해 설계되어, 사람이 시스템의 역량과 한계를 이해하고, 자동화 편향을 인지하며, 출력물을 올바르게 해석하고, 사용하지 않거나 무시할지 결정할 수 있도록 요구합니다.
문헌 검토 지원 도구는 그 자체로 고위험 시스템으로 분류되지 않습니다. 그럼에도 불구하고 제14조의 감독 원칙을 자발적으로 적용하는 것은 우수한 과학적 관행입니다. 이는 체계적 문헌 고찰 방법론이 항상 요구해온 것과 동일한 원칙, 즉 도구가 아닌 검토자가 모든 판단에 대해 책임을 진다는 원칙입니다.
6. 한계
본 논문은 AI 도구에 대한 체계적 문헌고찰이 아닌 서사적 방법론적 고찰입니다. 근거 합성에서 대규모 언어 모델(LLM)에 대한 출판된 평가는 최근에 이루어졌고, 규모가 작으며 모델별로 다르고, 모델 성능은 버전마다 변경됩니다. 위에 인용된 수치는 해당 연구에서 테스트된 모델과 데이터셋을 설명하며 다른 도구에 일반화되어서는 안 됩니다. AI 지원 검토를 채택하는 모든 조직은 인간의 참조 표준에 대해 자체 워크플로우를 검증하고 그 검증 결과를 보고해야 합니다.
7. 결론
AI는 엄격한 근거 합성을 더 빠르게 만들 수 있습니다. AI 자체만으로는 이를 더 신뢰할 수 있게 만들 수 없습니다. 건강기능식품, 메디컬 뉴트리션, 그리고 규제 및 임상적 검증을 통과해야 하는 서류가 필요한 신소재의 경우, 방어 가능한 모델은 인간 개입형(human-in-the-loop) 모델입니다. 즉, 확립된 표준(PRISMA 2020, PRISMA-S, RoB 2, ROBINS-I, GRADE, OHAT)을 따르고, 출력물을 검증할 수 있는 경우에만 AI를 사용하며, 모든 인용문과 숫자를 원문과 대조하여 확인하고, 모든 결론에 대해 지정된 전문가가 책임을 지는 것입니다.
