연구진이 실시간 전략(RTS) 게임을 기반으로 비전언어모델(VLM)의 전략적 추론 능력을 평가하는 벤치마크 RTSGameBench를 공개했다. VLM이 불확실한 경쟁·협력 환경에서 상대 행동을 예측하고 영향을 주는 전략적 추론 능력에서 일관되게 어려움을 겪는다는 문제의식에서 출발했다. 연구진은 RTS 게임이 아군과의 협동 조율, 상대 전략에 대한 적응, 부분 관측 환경에서의 장기 계획이 동시에 요구되는 환경으로 이 한계를 진단하기에 적합하다고 본다.
RTSGameBench는 기존 RTS 벤치마크들이 평가 범위가 제한적이고 역량별 체계적 진단이 부족하며 사전에 설계된 시나리오에 고정된다는 한계를 해결하기 위해 설계됐다. 연구진은 Beyond All Reason이라는 대규모 RTS 게임을 기반으로 삼았으며, 이 게임은 기존 테스트 환경보다 넓은 전장에서 더 다양한 전략을 요구한다. 벤치마크는 세 가지 방식으로 평가를 제공한다. 첫째는 다양한 대전 구조에 걸친 실제 게임플레이, 둘째는 개별 전략 역량을 표적으로 삼는 미니게임을 통한 진단 평가, 셋째는 자유 형식의 쿼리를 새 미니게임으로 변환해 반복 주기마다 커버리지를 확장하는 자기 진화형 생성 프레임워크다.
대규모 RTS 게임에서 VLM이 유닛을 운용할 수 있도록 유한 상태 기계(FSM)와 에이전틱 메모리를 결합한 RTSGameAgent도 함께 제안됐다. 실험 결과, 최신 VLM 여러 모델이 협동 조율이 더 긴밀히 요구되는 대전 구조나 과제 규모가 커질수록 성능이 저하되는 경향을 보였다. 이 연구는 게임을 AI 전략 추론 능력의 진단 도구로 활용하는 흐름과 맞닿아 있으며, 벤치마크의 자기 확장 구조가 다양한 전략 시나리오에서 모델 발전을 지속적으로 추적할 수 있게 해준다는 점에서 평가 체계로서의 장기적 활용 가능성이 있다.
