정신의학 분야의 대규모 언어모델 평가는 대화나 진단, 치료 계획 같은 개별 과업에 머무는 경우가 많다. 위밍 양 등 연구진은 실제 진료처럼 면담에서 검사와 진단, 치료 계획까지 이어지는 전체 과정을 평가하는 가상 환경 MentalHospital을 제안했다. 논문은 2026년 7월 9일 arXiv에 제출된 프리프린트다.
MentalHospital은 주관적 면담, 객관적 검사, 진단 평가, 치료 계획으로 구성된 S.O.A.P. 흐름을 구현한다. 표준화 환자는 비식별 정신과 전자의무기록 1,193건을 바탕으로 만들었으며 주요 ICD-11 범주와 76개 장애를 포괄한다. 평가는 기록에서 얻은 참조 답안과의 객관적 비교, 임상 과정의 질에 대한 주관적 판단을 함께 사용한다.
전문가 판단을 확장하기 위해 연구진은 MentalEval이라는 5개 영역별 평가기도 개발했다. 의사소통과 공감, 면담 전문성, 임상 기록의 질, 진단의 엄밀성, 치료의 적절성을 각각 다루며 기준표 기반 지도 미세조정과 전문가 안내 선호 최적화로 훈련했다. 임상의 22명의 설문에서 임상 충실도는 5점 만점에 3.88이었고, MentalEval의 전문가 일치도는 평균 QWK 0.944를 기록했다.
벤치마크에서 가장 강한 LLM도 객관적 정신의학 역량에서 임상의보다 37.28%포인트 낮았고 정신상태 평가가 주요 병목으로 나타났다. 다만 가상 환경과 자동 평가기의 높은 일치도가 실제 진료 안전성을 대신하지는 않는다. 데이터 구성과 평가 기준의 편향, 다른 의료 체계로의 일반화도 검토해야 한다. 결과는 정신과 AI가 부분 과업의 성능만으로 임상 준비를 주장하기 어렵다는 점을 보여주는 프리프린트 단계의 근거다. 정신상태 평가는 대화 내용뿐 아니라 관찰과 시간적 변화, 맥락을 함께 해석해야 하므로 가상 환자의 표현 범위가 평가 난도를 좌우할 수 있다. 실제 임상 배치 판단에는 다양한 기관의 전향적 평가와 환자 안전 절차가 추가돼야 한다.
원문: arXiv 2607.08257
저작권자 © STORIUM 무단전재 및 재배포 금지
