베이징교통대와 바이트댄스 연구진은 순수한 시각 데모로 복합 추론, 미세한 물리 동역학, 장기 계획을 함께 학습하는 UniVR를 제안했다. 논문은 arXiv 프리프린트이며, 텍스트 감독 없이 비전 공간에서 다음 프레임을 예측해 행동 경로를 익히는 점을 강조한다.
핵심 절차는 VR-GRPO다. 전역 보상으로 전체 시퀀스의 완성도를 보고, 단계 보상으로 오류가 생기기 쉬운 구간을 따로 평가한다. 연구진은 전역 보상만으로는 긴 과제에서 논리적 공백이나 물리적 불일치를 놓치기 쉽다고 봤고, CLIP 이미지 인코더의 프레임별 특징 분산으로 불확실한 시점을 찾아 서브스텝을 뽑았다. task-specific heuristics나 image-text pairs는 요구하지 않는다.
검증용 VR-X는 16개 다양한 출처에서 모은 150만 개 원시 샘플을 바탕으로 구성했다. 이 가운데 31만 개는 cold-start 학습, 약 3000개는 RL, 1800개는 평가에 썼다. 과제는 visual guidance, robotic manipulation, puzzle games, editing, search, spatial perception의 6개 범주로 나뉜다.
VR-X에서 UniVR는 전체 점수 58.2%로 Emu3.5의 39.8%보다 높았고, 장기 계획은 48.5% 대 32.7%, 일반 추론은 46.5% 대 35.3%였다. JEPA는 13.01로 Emu3.5의 33.62보다 낮았다. 과제별로는 visual guidance 59.5 대 38.6, robotic manipulation 68.0 대 42.8, editing 48.5 대 32.7, spatial perception 46.5 대 35.3, puzzle games 62.2 대 43.4, search 64.3 대 46.2로 제시됐다.
| 항목 | 수치/구성 | 근거 |
|---|---|---|
| VR-X 평가 구성 | 6개 과제: visual guidance, robotic manipulation, puzzle games, editing, search, spatial perception | Table 4 / Section 4 |
| 데이터 규모 | 1.5M raw samples → 310k cold-start / 3k RL / 1.8k benchmark evaluation | Sec. 4.1 / Appendix A |
| 주요 비교 결과 | UniVR overall 58.2%, Emu3.5 39.8%; JEPA 13.01 vs 33.62 | Table 1 |
| 장기 시간대 성능 | UniVR <10s 71.1%, 10–30s 61.0%, 30–60s 56.7%, >60s 45.6%; Emu3.5는 각각 54.2, 48.0, 38.9, 21.7 | Table 5 |
자료: STORIUM 정리
외부 멀티모달 이해 벤치마크에서는 UniVR∗가 MMMU 0.337, MME(P) 799.3, MME(C) 338.5, MMBench 0.198, MathVista 44.0, MM-Vet 35.6을 기록했다. Emu3.5보다 각각 0.045, 18.2, 13.9, 0.015, 2.3, 7.6 높았고, 텍스트만으로 학습한 비교군보다도 전반적으로 앞섰다. 다른 외부 벤치마크에서는 WorldArena 49.5, Uni-MMMU 54.4, RBench 47.7로 Emu3.5보다 최대 25.7% 높았다.
논문은 VR-GRPO가 글로벌 보상만 쓸 때보다 단계 보상을 더했을 때 더 안정적이었다고 밝혔다. cold-start에서 global reward만 쓰면 장기 계획과 JEPA가 나빠졌고, global·step·pairwise를 함께 쓰면 VR-X 전체 63.8%, 장기 계획 55.4%, JEPA 13.01로 개선됐다. 반면 34B 규모 모델과 긴 시퀀스를 다루는 만큼 계산 자원이 많이 들고, 보상 모델도 여전히 범용 VLM에 의존한다는 한계를 함께 적었다. 코드, 데이터, 모델은 공개했다고 밝혔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
