VR 소아 응급실에서 학생이 보호자에게 알레르기를 물었는지, 간호사에게 물었는지는 채점 결과를 바꿀 수 있다. 옥스퍼드대 연구진은 평가자의 기억에만 기대지 않고 영상·VR 로그·가상 배우 데이터를 맞춰 보는 Quality Action Assurance(QAA)를 제안했다. 평가자가 말한 행동과 실제 사건 순서가 일치하는지 확인하는 방식이다.
분석 대상은 12분짜리 소아 응급 시나리오를 수행한 최종학년 의대생 91명의 영상과 VR 로그였다. 임상 평가자 4명은 이 가운데 학생 30명을 각각 채점하며 관찰 중 판단과 사후 채점 근거를 말로 남겼다. 이렇게 모인 전사본 120개 중 73개(60.8%)에서 최소 한 건의 사실 오류가 확인됐고, 오류는 104건이었다. 실제로 하지 않은 행동을 했다고 추론하거나, 행동의 주체를 다른 사람으로 잘못 짚은 경우다.
QAA는 비디오 특징 추출, 행동 시점·주체 정렬, 언어모델 검증의 세 단계로 작동한다. 연구진은 X3D·SlowFast·VideoMAE를 비교한 뒤 SlowFast의 정렬 결과를 검증 단계에 사용했다. 5겹 교차검증에서 SlowFast는 행동 시작 시점을 약 0.5초 이내로 맞히는 W@16 93.4% ± 1.9, 주체를 식별하는 Masked F1 99.2% ± 0.7을 기록했다.
정렬된 기록을 받은 GPT-5.2는 평가자 오류를 정밀도 70.0%, 재현율 76.7%로 찾아냈다. 키워드 기준선은 정밀도 3.0%, 재현율 21.4%였다. 오류가 있던 전사본 73개 가운데 48개는 모든 오류를 찾아내면서, 전사본의 사실 정확도는 39.2%에서 79.2%로 올랐다.
| 검증 항목 | 논문 보고값 |
|---|---|
| 평가자 전사본의 오류 | 73/120개(60.8%), 총 104건 |
| SlowFast 시간 정렬 | W@16 93.4% ± 1.9, Masked F1 99.2% ± 0.7 |
| GPT-5.2 오류 검출 | 정밀도 70.0%, 재현율 76.7% |
| 경계선 학생 판정 | GPT-5.2 보정: 자동 탈락→의무 재심사 구간 |
자료: STORIUM 정리
채점 영향은 보정 범위에 따라 달랐다. GPT-5.2가 찾아낸 42건을 반영하자 경계선 기준점은 1.2%포인트 낮아졌고, 학생 한 명은 자동 탈락에서 의무 재심사 구간으로 이동했다. 사람이 표시한 점수 영향 오류 53건을 모두 바로잡는 오라클 분석에서는 기준점이 46.3%에서 45.2%로 내려가 같은 학생이 통과 구간에 들어갔다. 다만 오류 분석은 단일 VR 플랫폼의 소아 시나리오 한 개, 학생 30명과 평가자 4명의 전사본에 한정됐다. 오류 표지도 연구자 한 명이 맡았다. 이 연구는 2026년 7월 21일 제출된 arXiv 프리프린트이며, 동료심사 여부는 확인되지 않았다.
저작권자 © STORIUM 무단전재 및 재배포 금지
