대규모 언어 모델(LLM)의 임상 활용 가능성을 체계적으로 평가하기 위한 자동화 벤치마크 EHRBench가 공개됐다. arXiv에 게재된 논문에 따르면, 이 벤치마크는 전자건강기록(EHR, Electronic Health Record)을 기반으로 LLM의 임상 의사결정 능력을 측정하며, 기존 평가 방식의 주관성과 재현성 문제를 해결하는 것을 목표로 한다. 연구팀은 실제 임상 환경에서 의료진이 수행하는 판단 과제를 벤치마크로 구조화하여 LLM이 환자 데이터를 얼마나 정확하고 신뢰성 있게 해석하는지 자동으로 측정할 수 있도록 설계했다.
EHRBench의 핵심은 실제 환자의 전자건강기록을 토대로 진단(diagnosis), 치료(treatment), 예후(prognosis)라는 세 가지 핵심 임상 추론 과제를 포함한다는 점이다. 연구팀은 EHR-LLM-지식베이스(KB) 상호작용 파이프라인을 통해 진료 단위 EHR 기록을 구조화된 템플릿으로 자동 변환하고, 지식베이스 기반 검증으로 환각이나 모호한 관계를 걸러내 신뢰성을 확보했다. 이 방식으로 약 96만 건(960,067개)의 QA 항목을 구축했으며, 30종 이상의 대표적 LLM을 평가해 모델 간 성능 차이와 견고성을 분석했다. 기존 의료 AI 평가 연구들이 특정 질병이나 단일 과제에 집중했던 것과 달리, EHRBench는 복수의 임상 시나리오에 걸친 통합 평가 체계를 자동화된 파이프라인으로 제공한다.
이 연구는 의료 AI 분야에서 평가 기준의 표준화가 시급하다는 문제의식에서 출발했다. LLM이 임상 현장에 실제로 도입되려면 단순한 의학 지식 테스트를 넘어, 복잡한 환자 데이터를 종합해 의미 있는 판단을 내릴 수 있는지 검증해야 한다. EHRBench는 자동화된 파이프라인으로 대규모 평가를 가능하게 하면서도 지식베이스 검증으로 신뢰성을 확보해 이러한 요구에 대응한다. 다만 특정 EHR 데이터에 기반한 벤치마크인 만큼, 의료 체계나 지역이 다른 환경으로 결과를 일반화할 때는 주의가 필요하다는 점은 도입 단계에서 함께 고려해야 한다.
한국 의료 AI 연구자와 병원 정보화 담당자에게 이 벤치마크는 중요한 참고 자료가 될 수 있다. 국내에서도 LLM 기반 임상 지원 시스템 도입 논의가 활발해지는 가운데, EHRBench와 같은 표준화된 평가 프레임워크는 시스템 선정과 성능 비교에 실질적 근거를 제공한다. 특히 진료기록 분석, 처방 검토, 임상 경보 시스템 등 국내 병원에서 관심을 갖는 응용 분야와 직접 연결되는 만큼, 해당 논문의 방법론과 평가 항목을 자체 도입 검토에 활용할 수 있다.
