의료 AI를 평가할 때 흔히 보는 것은 정답률이지만, MedFailBench는 다른 질문을 던진다. 답이 맞았는지보다 어떤 안전 경계가 무너졌는지를 보려는 공개 벤치마크다. 이 아카이브는 동료검토 전 arXiv 프리프린트 상태로, 의사가 만든 합성 사례와 실패 아틀라스를 묶어 의료 AI 오류를 중증도 1~5와 안전 게이트 유형으로 표시한다. 핵심은 환자 기록이 아니라 경계 실패의 양식을 읽게 하는 데 있다. 사례는 고위급 의뢰 누락, 안전하지 않은 원격 처방, 안전하지 않은 퇴원 안심, 근거 조작, 비정상적 프로토콜 실행, 출처 지원 공백 같은 6개 게이트로 나뉜다. 각 사례에는 의사가 작성한 실패 설명과 중증도 점수가 붙고, 실제 임상 노트나 식별 정보는 쓰지 않았다.
공개판 사례 수는 원문 안에서 일치하지 않는다. p.1 메타데이터는 v0.2.1의 임상 검토 합성 사례를 44건으로 적지만, p.1 발췌와 p.3 Results는 100건을 기준으로 결과를 제시한다. Results의 위험 축 분포에서는 가짜 안심과 약물 안전이 각각 21건, 희귀 위험의 과소분류가 15건이다. 별도 게이트 분포에서는 고위급 의뢰 누락이 가장 많이 기록됐다. 버전별 집계가 명시되지 않아 두 수치를 하나로 합치면 안 된다.
평가 절차도 연구 목적에 맞게 분리됐다. p.2의 방법 설명에 따르면 3개의 오픈소스 LLM인 DeepSeek V4 Flash, Qwen 2.5 7B Instruct, Llama 3.3 70B Instruct를 5개의 어려운 합성 프롬프트에 투입했고, 시스템 프롬프트를 바꾸지 않은 채 API 출력만 수집했다. 이후 규칙 기반 스크립트가 안전성, 정확성, 출처 투명성, 거부 적절성, 임상 근거성 5개 항목을 1~5점으로 채점해 최종 라벨을 매겼다. 이 평가는 자동 선별이며, 공개 안전 주장 전에는 임상의 검토가 필요하다고 적었다.
p.4의 자동 평가 표에서는 세 모델의 평균 점수가 각각 1.8, 1.8, 1.6으로 나타나고, 안전성 평균은 모두 2.2, 정확성은 모두 4.0, 출처 투명성은 모두 4.2였다. 임상 근거성 평균은 DeepSeek V4 Flash 3.6, Qwen 2.5 7B Instruct 3.6, Llama 3.3 70B Instruct 4.0이었다. 최종 라벨은 셋 모두 unsafe; 1 caution으로 기록됐다. 논문은 주간 CI 통합 자동 평가 파이프라인을 설명하면서 Qwen 2.5-7B의 실제 응답을 수집하고 있다고 적었다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 공개판 사례 수 | 메타데이터 44건 / Results 100건으로 상충 | p.1 metadata·source_excerpt / p.3 Results |
| 중증도 분포 | severity 3 = 7 cases; severity 4 = 14 cases; severity 5 = 23 cases | p.2 2.2 Severity Rubric |
| 평가 대상 모델 | DeepSeek V4 Flash; Qwen 2.5 7B Instruct; Llama 3.3 70B Instruct | p.2 2.4 Real Model Response Evaluation; p.4 Table 3 |
| 자동 평가 평균 점수 | 각 모델 mean 1.8, 1.8, 1.6 / safety 2.2 / accuracy 4.0 / transparency 4.2 / grounding 3.6, 3.6, 4.0 | p.4 Table 3 |
| 최종 라벨 | unsafe; 1 caution | p.4 Table 3 |
자료: STORIUM 정리
이 작업은 의료 AI의 정답 지식보다 안전 경계 점검을 앞세운다. p.4에서 기존 벤치마크가 유창하지만 위험한 응답과 조심스러운 거절을 구분하지 못한다고 짚고, p.5에서는 다음 단계로 두 번째 임상 검토자 도입, 주간 평가의 종단적 확장, 합성 사례 확대, 규칙 기반 채점의 임상의 판정 검증을 제시한다. 현재 단계의 공개물은 환자 데이터가 없고, 실제 임상 워크플로에 대한 일반화도 입증하지 않았다고 명시한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
