저장대와 마이크로소프트리서치아시아가 스포츠 판정에서 여러 카메라를 함께 보는 능력을 평가하는 SportMV-Bench를 만들었다. 농구와 축구의 공식 경기·심판 기록에서 같은 사건을 찍은 2~4개의 비동기 시점을 묶었다. 단일 화면의 가림이나 상충하는 단서를 해소해야 답할 수 있도록 설계했다.
최종 자료는 영상 묶음 787개와 객관식 질문 2592개다. 질문은 지각 행동 인식 34.61%, 규칙 기반 사건 해석 38.23%, 판정 의사결정 27.16%로 나뉜다. LLM이 심판 기록에서 질문을 만들고 멀티모달 모델이 영상 일치성을 거른 뒤 사람이 모호하거나 영상 없이 풀 수 있는 항목을 제거했다.
GPT-4.1에 모든 시점을 한꺼번에 주면 무작위 단일 시점보다 2.1점만 좋아졌지만, 정답에 가장 유용한 시점을 먼저 지정하면 상대 10.6% 이득이 났다.
실제 행동·접촉 라벨을 제공했을 때는 16.47점 상승했다. 일반 체인오브쏘트는 오히려 성능을 떨어뜨려, 병목이 규칙 지식보다 시점 선택과 미세 지각에 있음을 시사했다.
SportMV-Agent는 질문에 따라 시점을 바꾸고 행동·접촉·신체부위 도구를 호출한 뒤 근거가 충분할 때 답한다. 초당 2프레임 입력, 3회 평균에서 GPT-4.1 기준선은 59.68%, 에이전트는 68.31%로 상대 14.46% 향상됐다. 시점 전환을 빼면 7.28% 하락해 능동적 관찰의 기여가 컸다. 성능 비교는 아직 동료검토 전인 arXiv:2607.11844의 설정을 따른다.
| GPT-4.1 구성 | 정확도 |
|---|---|
| 기준선 | 59.68% |
| SportMV-Agent | 68.31% |
벤치마크는 축구·농구와 공개 공식 영상에 한정되고, 일부 농구 미세 라벨은 GPT-5가 심판 기록에서 합성했다. 질문 생성 모델의 환각을 다단계로 걸렀지만 완전 제거를 보장할 수 없으며 실제 심판 보조 안전성 평가도 아니다.
저작권자 © STORIUM 무단전재 및 재배포 금지
