RoboCup 경기 영상을 바탕으로 자동 중계를 만드는 LLM 기반 체계

RoboCup 경기 영상을 사람이 읽을 수 있는 중계문으로 바꾸는 완전 자율·실시간 스포츠캐스터 체계가 제안됐다. 이 논문은 Sapienza University of Rome을 포함한 연구진의 arXiv 프리프린트로, 원시 시각 추적과 자연어 생성을 잇는 neuro-symbolic 구조를 사용한다. 연구진은 이 구조가 경기 중 라이브 스트리밍과 경기 후 분석 모두에 쓸 수 있다고 본다. 체계는 먼저 캘리브레이터로 방송 화면의 픽셀 좌표를 경기장 좌표계로 옮긴다. 이때 렌즈 왜곡과 호모그래피를 추정해, 로봇과 공의 위치를 2차원 필드 위에 재투영한다. 이어 시각 인지 모듈이 로봇과 공을 검출하고, OCR로 스코어보드를 읽어 모든 출력을 같은 미터 단위 좌표계에 맞춘다.

사건 추출은 추적된 로봇, 공 위치, 점수 변화에 기반한다. 공의 유효 이동량과 속도를 계산한 뒤, 가까운 팀 동료 방향으로 충분히 정렬되면 패스, 상대 골 방향으로 향하되 팀 동료와 강하게 정렬되지 않고 전진 거리가 최소 조건을 만족하면 슛으로 분류한다. 골은 OCR로 읽은 점수판의 증가가 있을 때만 확정된다. 이렇게 얻은 이벤트는 LLM으로 전달되지만, 생성 자체는 규칙과 게이팅에 묶여 있다.

언어 출력은 event-reactive와 periodic의 두 경로로 나뉜다. event-reactive 경로는 골을 패스나 슛보다 우선하며, 중복 이벤트 억제, 짧은 냉각 시간, 낮은 우선순위 이벤트 억제, 오래된 데이터 폐기 같은 시간적 안전장치를 둔다. periodic 경로는 최근 고우선 이벤트가 없을 때만 작동하며, 현재 점수 상태와 짧은 기억 버퍼를 바탕으로 장면 수준의 한 문장을 내도록 설계됐다. 두 경로 모두 모델이 검증되지 않은 선수나 사건을 덧붙이지 못하게 제한한다.

검증은 2026년 3월 14일 유튜브에 중계된 RoboCup German Open 2026의 3개 영상 클립, 즉 Middle 1st, Middle 2nd, Large 1st로 수행했다. 세 클립은 모두 14×9 m 경기장에서 촬영됐고, 실험은 미래 프레임을 보지 않는 causal processing으로 진행해 실제 실시간 스트림을 모사했다. 로봇 위치 오차는 비디오에서 검출한 위치와 GameController 로그 위치의 유클리드 거리를 바탕으로 프레임별 RMSE로 계산했다.

자료: STORIUM 정리

세 클립의 평균 RMSE는 Middle 1st 0.637 m, Middle 2nd 0.657 m, Large 1st 0.930 m였고, 표준편차는 각각 0.551, 0.377, 0.795 m였다. 사분위수는 각각 (0.207, 0.446, 0.848), (0.394, 0.513, 0.812), (0.339, 0.610, 1.247) m였다. 연구진은 추적 오차가 적어도 75%의 시간에 1.3 m 아래라고 해석했다. 한편 공의 오검출이나 심판에 의한 공 이동 같은 예외에서는 오탐이 남아 있었고, 이는 트리거 조건과 안전 장치 조정으로 줄였다고 적었다.

논문은 동료검토 전 arXiv 프리프린트이며, 이런 구조가 다른 RoboCup 리그로도 확장될 수 있고 다국어 중계로도 이어질 수 있다고 본다. 한편 본문에서의 평가는 실제 경기 영상과 GameController 로그를 맞춰 본 제한된 사례에 기반한다.

연구 원문은 arXiv:2607.14809에서 확인할 수 있다. 프리프린트 결과는 동료평가와 후속 재현을 거치며 달라질 수 있다.

저작권자 © STORIUM 무단전재 및 재배포 금지