임상 노트에는 환자가 진료를 찾게 된 징후와 증상이 풍부하게 담기지만, 이런 정보는 구조화된 항목으로 잘 옮겨지지 않는다. 기존 추출 방식은 문맥을 보지 못해 거짓 양성이 늘거나, 많은 라벨과 미세조정이 필요한 지도학습에 의존하는 경우가 많았다. 이 연구는 동료심사 전 arXiv 프리프린트(2607.12886v1)에서, 사람의 수동 프롬프트 설계와 가중치 미세조정 없이 개념별 추출 프롬프트를 쓰고 최적화하는 다중 에이전트 시스템 Pythia를 제시한다.
Pythia는 로컬에 호스팅한 오픈웨이트 모델 위에서 작동해 임상 노트를 기관 내부 인프라에 둔 채 처리한다. 각 개념마다 개발 세트의 민감도와 특이도로 프롬프트를 고르고, 회귀가 생기면 이전 단계로 되돌리거나 중단한다. 검증은 전자건강기록에서 뽑은 400건의 임상 노트, 387명의 환자, 72개 징후·증상에 대해 이뤄졌고, 각 개념마다 300건 개발 세트와 100건 보류 검증 세트를 독립적으로 나눴다. 기준 비교군은 정제한 렉시콘과 개념별 미세조정 BERT 분류기였다.
전체 72개 개념에서 Pythia의 평균 민감도는 0.76, 평균 특이도는 0.95였다. 렉시콘은 평균 민감도 0.82, 평균 특이도 0.76이었고, 개념별 미세조정 BERT는 평균 민감도 0.23, 평균 특이도 0.91을 보였다. Pythia는 직접 비교가 가능한 62개 개념 중 20개에서 두 지표 모두 렉시콘과 같거나 더 좋았고, 렉시콘이 모든 노트를 양성으로 표시하던 14개 개념에서는 현재형의 환자 귀속 소견을 요구하도록 바꿔 평균 특이도를 0.97까지 회복했다.
개발 세트에서 고른 프롬프트는 검증 세트로 거의 그대로 옮겨졌다. 특이도는 유병률 전 구간에서 개발과 검증의 차이가 거의 없었지만, 민감도는 5% 미만 유병률에서 약해졌고 2% 미만에서는 평균 차이가 0.25까지 벌어졌다. 개발 세트에 양성 예가 적은 희귀 개념일수록 개발 점수가 검증 성능을 낙관하는 셈이었으며, 이 현상은 시스템 자체보다 분모가 작은 민감도 추정의 한계와 맞닿아 있다.
같은 300건 개발 예산을 쓴 BERT는 저유병률 개념에서 거의 배우지 못했다. 5% 미만에서 교차검증 개발 민감도 평균은 0.02 수준이었고, 2% 이하 37개 개념에서는 평균 개발 양성 수가 4.6건, 민감도는 0.03, 민감도 0인 개념은 95%였다. 이 비교는 자동 프롬프트 최적화가 규칙 기반 방식과 지도학습 사이의 빈틈을 메울 수 있음을 보여주지만, 모든 범위에서 우세하다는 뜻은 아니다.
논문이 확인한 범위는 400건 노트와 72개 개념, 그리고 기관 내부에서 설정한 개발·검증 분할에 한정된다. 렉시콘이 단일 토큰으로 명확히 지칭되는 개념에서는 여전히 유리했고, 저유병률 영역에서는 프롬프트 선택이 낙관적으로 치우칠 수 있었다. 그럼에도 연구진은 특이도를 우선하는 임상용 목표에 맞춰, 로컬 환경에서 검증 세트까지 일반화되는 추출 프롬프트를 자율적으로 얻을 수 있음을 보였다.
| 항목 | 값 | 근거 단서 |
|---|---|---|
| 환자 수 | 387 | Table 1 |
| 노트 수 | 400 | Methods 3.1 |
| 평균 연령 | 58.8 (SD 17.5) 세 | Table 1 |
| Pythia 평균 민감도 / 특이도 | 0.76 / 0.95 | Results 4.1 |
| 렉시콘 평균 민감도 / 특이도 | 0.82 / 0.76 | Results 4.1 |
자료: STORIUM 정리
저작권자 © STORIUM 무단전재 및 재배포 금지
