비전-언어 모델이 장면을 ‘이해’하는 수준을 넘어 실제로 더 나은 행동을 고를 수 있는지는 아직 분명하지 않다. arXiv 프리프린트인 이번 연구는 축구의 온볼 의사결정을 시험대로 삼아, 모델이 슛과 특정 동료에게의 패스 가운데 무엇을 선택하는지 검증했다. 판단 기준은 시각적 설명이 아니라 각 행동의 가치다.
연구진은 2022 FIFA 월드컵에서 뽑은 478개 온볼 결정을 묶어 SportD를 만들었다. 각 사건은 약 5초 전부터 0.5초 간격으로 샘플링한 이미지, 결정 시점 이미지, 그리고 모든 가시 선수의 위치를 담은 탑다운 맵으로 제시된다. 모델은 SHOOT 또는 보이는 동료에게의 패스 중 하나를 골라야 한다.
채점에는 VAEP 기반 possession-value 모델이 쓰였다. 이 모델은 각 행동이 팀의 다음 득점 가능성과 실점 가능성에 미치는 변화를 값으로 환산하고, 보류한 대안까지 함께 비교한다. 본문은 최적 행동의 정확도와, 비최적 선택이 남긴 가치 손실(regret)을 함께 보려는 구조다. 선수의 선택과 모델의 선택이 둘 다 최적이 아니었던 사건에서는, 두 선택이 얼마나 겹치는지도 따로 계산했다.
결과에서 세 개의 최전선 VLM 가운데 최고 성능은 최댓값 행동을 맞힌 비율이 31.4%였고, 실제 프로 선수는 38.9%였다(n=478). top-20% 기준으로는 모델들이 35.6~42.9%, 선수는 52.5%였으며, skill 평균은 최고 VLM 0.239, 선수 0.320으로 제시됐다. mean regret도 최고 VLM 0.0351, 선수 0.0275였다. 랜덤 기준은 정확도 19.3%, skill 0.007, mean regret +0.0538이었다.
행동 성향도 갈렸다. 가치모델의 분산 기준으로 VLM들은 최적안보다 낮은 변동성과 낮은 보상을 주는 선택을 더 자주 골랐다. 예를 들어 shot rate는 GPT 25.7%, Gemini 23.3%, Claude 12.1%였고, 실제 선수는 33.7%였다. 또 패스의 전진성에서도 모델은 보수적이었다. 평균 goal-ward gain은 최적 패스가 약 9 m, 실제 선수는 약 1 m였고, 모델의 패스는 Gemini +1.7 m, Claude -0.2 m, GPT -1.6 m로 보고됐다.
| 지표 | 모델/비교군 | 수치 |
|---|---|---|
| strategy accuracy | real player / Gemini 3.5 Flash / GPT 5.6 Sol / Claude Opus 4.8 / RANDOM | 38.9% / 31.4% / 31.0% / 23.2% / 19.3% |
| top-20% | real player / Gemini 3.5 Flash / GPT 5.6 Sol / Claude Opus 4.8 / RANDOM | 52.5% / 42.9% / 42.1% / 35.6% / 30.5% |
| mean regret | real player / Gemini 3.5 Flash / GPT 5.6 Sol / Claude Opus 4.8 / RANDOM | +0.0275 / +0.0351 / +0.0337 / +0.0457 / +0.0538 |
| shot rate | real player / GPT 5.6 Sol / Gemini 3.5 Flash / Claude Opus 4.8 | 33.7% / 25.7% / 23.3% / 12.1% |
| mean goal-ward gain per pass | optimal / real player / Claude-4.8 / Gemini-3.5 / GPT-5.6 | 약 9 m / 약 1 m / +1.7 m / -0.2 m / -1.6 m |
자료: STORIUM 정리
연구진은 이런 패턴이 단순한 정답 맞히기보다 익숙한 플레이를 부분적으로 모사한 결과일 수 있다고 본다. 선수의 구체적 선택을 우연 이상으로 재현하면서도, 실제 가치 평가에서는 더 나쁜 결정을 내리는 모습이 함께 나타났기 때문이다. SportD는 방송 영상에서 읽은 장면을 실제 가치 기준으로 재채점해, VLM의 물리적 전략 판단을 정량 비교하는 시험대를 제시한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
