실내 환경에서 여러 행동을 이어 과제를 완수하는 엠보디드 행동계획 연구는 시뮬레이터와 데이터 형식이 달라 모델을 직접 비교하기 어려웠다. 2026년 7월 20일 공개된 arXiv 프리프린트는 AI2-THOR, VirtualHome, Habitat, BEHAVIOR 네 환경을 하나의 관측·행동 형식으로 묶은 벤치마크 ‘UniETP’를 제안한다.
UniETP는 환경층과 과제층으로 나뉜다. 환경층은 Python 인터페이스로 에이전트를 시뮬레이터별 구현에서 분리하고 표준 관측과 행동을 제공한다. 과제층은 객체 상태와 도구 기능을 조합하는 138개 템플릿과 자동 생성 절차를 지원한다. 논문이 제시한 규모는 평가 과제 인스턴스 536개, 학습 과제 9천개, 장면 배치 170개다.
평가는 원자·복합·논리 과제와 인스턴스 그라운딩, 언어 이해를 나눠 진행했다. GPT-5.5, Gemini-er-1.6, Gemini-3.1-pro, Claude Sonnet 4.6, Claude Opus 4.7과 Qwen·InternVL·Gemma·RoboBrain·EmbodiedBrain·Vlaser·Cosmos-Reason2·RynnBrain·ACE-Brain·MiMo-Embodied 계열을 비교했다. 연구진은 인스턴스 그라운딩이 가장 어려웠으며 일부 강한 모델도 M1의 이 구간에서 50%에 머물렀다고 보고했다.
본문은 시뮬레이터별 성능, 행동 피드백 제거 실험, 전체 데이터 미세조정 결과도 제시한다. 전체 데이터로 미세조정한 모델은 Qwen3.6-27B와 Gemma4-31B-it보다 높은 성능을 기록했다고 보고됐다. 다만 이 수치는 논문 저자들이 구성한 벤치마크의 내부 평가이며 외부 재현 결과는 아니다.
UniETP는 흩어진 실내 행동계획 환경을 공통 인터페이스와 평가 프로토콜로 묶고, 단순 과제부터 장기 복합 과제까지 한 틀에서 비교하려는 시도다. 현재 근거는 동료검토 전 프리프린트와 저자 실험에 한정된다. 논문은 코드와 데이터를 깃허브에서 제공할 예정이라고 밝혔지만 현재 공개 프로젝트 주소는 제시하지 않았다. 출처: arXiv 논문 페이지
저작권자 © STORIUM 무단전재 및 재배포 금지
