João Matos 등 연구진은 환자가 같은 임상 정보를 다른 말투와 감정, 대화 전략으로 전달할 때 의료 챗봇의 긴급도 판단이 달라지는지 조사했다. 2026년 7월 9일 arXiv에 제출된 프리프린트다. 평균 정확도만 보는 대신 실제 환자의 의사소통 다양성이 소비자용 의료 AI의 과소·과잉 분류에 어떤 영향을 주는지 평가했다.
연구진은 Verily Me 앱에서 이뤄진 환자-AI 대화 2053건을 분석했다. 이 가운데 세부 분석에 사용할 수 있는 1006개 세션의 환자 메시지는 9196개였다. 임상 내용, 감정 상태, 대화 전략, 의사소통 스타일을 분리해 조절하는 시뮬레이터를 만들었고, 사람 평가자 15명이 실제와 합성 대화를 구분한 정확도는 55%였다. 이는 대화가 사람처럼 보였다는 지표일 뿐 임상 안전성을 뜻하지 않는다.
긴급도 평가는 임상의가 등급을 매긴 1164개 임상 사례, 다섯 환자 페르소나, 네 개 언어모델로 수행했다. 동일한 사례의 임상 내용은 유지하면서 불안한 환자, 무관심한 환자 등 표현 방식을 바꿨다. 연구진은 페르소나가 모델의 과잉·과소 분류를 유의미하게 바꿨다고 보고했으며, Gemini 3.5 Flash에서는 기본형 대비 일부 페르소나의 과잉 분류가 11.0%포인트 늘었다.
이 결과는 정돈된 가상 환자만으로 평가하면 현실 성능을 과대평가할 수 있음을 시사한다. 그러나 실제 대화 자료는 디지털 건강 도구 이용자에 편중될 수 있고, 시뮬레이터도 언어·문화·건강 문해력의 전체 분포를 재현하지 못한다. 페르소나별 차이가 실제 진료 결과나 위해로 이어지는지도 이 연구만으로 확인되지 않았다.
논문은 프리프린트이며 시뮬레이션 기반 평가 결과에 대한 독립 재현과 전향적 임상시험이 아직 필요하다. 배포 전에는 집단별 과소·과잉 분류, 누락 정보에서의 보류 동작, 사람에게 넘기는 기준을 별도로 검증해야 한다. 55% 판별 정확도나 특정 모델의 11.0%포인트 변화 하나를 의료 챗봇 전체의 안전성 결론으로 확대해서는 안 된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
