로보컵(RoboCup) 2D 축구 시뮬레이션(RCSS2D)과 파이썬 기반 다중에이전트 강화학습(MARL) 워크플로우를 이어주는 환경 R2D-RL이 공개됐다. 로봇 축구는 부분 관측성, 협력과 경쟁의 혼재, 희소 보상, 장기적 전술 행동이 동시에 요구되는 다중에이전트 강화학습의 까다로운 시험대로 꼽혀 왔다. RCSS2D는 오랫동안 성숙된 로봇 축구 플랫폼을 제공하지만, 대회 지향 서버-클라이언트 구조로 설계돼 있어 현대 파이썬 기반 연구 도구와 직접 연결하기 어렵다는 한계가 있었다.
R2D-RL은 RCSS2D와 HELIOS 기반 플레이어 클라이언트를 공유 메모리 통신과 사이클 단위 동기화를 통해 파이썬 MARL 인터페이스에 연결한다. 이 환경은 전체 경기장 및 시나리오 기반 훈련, 설정 가능한 상대팀, 기본 이산 행동 공간과 하이브리드 파라미터화 행동 공간, 행동 마스크, 예상 점유 가치(EPV) 기반 보상 형성, 병렬 실행을 지원한다. 앞골 시나리오와 11대11 전체 경기장 벤치마크가 포함되며, 기본 성능 결과도 함께 제공된다.
다중에이전트 강화학습 연구에서 표준화된 벤치마크 환경의 부재는 오랜 과제였다. 기존 MARL 환경들이 단순화된 시나리오나 소규모 에이전트 설정에 머무는 경우가 많은 데 비해, R2D-RL은 11명으로 구성된 두 팀이 경쟁하는 복잡한 시나리오를 현대 파이썬 연구 생태계와 직접 연결할 수 있도록 설계됐다. 기존에는 연구자가 직접 서버-클라이언트 연결 코드를 작성해야 했지만, 이 환경을 통해 상당한 공학적 부담을 줄일 수 있을 것으로 기대된다.
로봇 축구 시뮬레이션은 협력 전략 학습, 다중 에이전트 간 의사소통, 장기 전술 계획 등 실제 로보틱스와 자율 시스템 연구에서 중요한 문제들을 다루는 데 활용된다. R2D-RL의 공개로 이 분야 연구자들이 RCSS2D 플랫폼의 풍부한 환경을 현대적인 MARL 알고리즘과 보다 쉽게 결합해 실험할 수 있는 토대가 마련됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
