GigaAI와 칭화대 연구진은 액션 중심 World Action Model(WAM)인 GigaWorld-Policy-0.5를 프리프린트(arXiv:2607.13960)로 공개했다. 이 모델은 미래 영상을 추론 시점에 생성하지 않고 행동만 디코딩하는 구조를 유지하면서, 실환경 로봇 조작에서 로컬 RTX 4090과 C++ 배포를 함께 쓴 조건으로 85ms 추론 지연시간을 보고했다. 논문은 실로봇 평가에서 전체 평균 성공률 0.85를 제시했으며, 기존 GigaWorld-Policy보다 0.05 높았다고 밝혔다.
연구진은 먼저 사전학습 단계에서 필터링한 오픈소스 로봇 데이터와 내부 수집 실로봇 데이터를 합쳐 약 2,000시간 규모로 학습했다. 여기에 Action-Conditioned World Modeling(AC-WM)과 WAM 학습을 혼합해, 로봇 행동과 미래 시각 동역학의 결합을 강화했다고 설명했다. 이후 대상 로봇 데이터로 후학습을 진행했으며, 입력은 다중 시점 관측, proprioceptive state, 언어 지시로 구성됐다. 아키텍처는 비주얼 전문가와 액션 전문가를 분리한 Mixture-of-Transformers(MoT) 구조를 채택했다. 두 전문가는 멀티모달 셀프어텐션으로 정보를 교환하지만, 액션 중심 인과 마스크가 행동 토큰이 미래 시각 토큰을 보지 못하게 막는다. 미래 시각 동역학은 학습 감독 신호이며, 배포 시에는 선택적 미래 예측을 생략하고 행동만 디코딩할 수 있다. 언어 인코더로 umT5, 시각 인코더로 Wan의 VAE를 사용했다.
실험에서는 AgileX PiPER 6-DoF 로봇팔로 실환경 집기·배치 과제를 평가했다. 각 지시문은 10회 시험하고 단계별 부분점수를 평균했다. 표 1의 과일 집기 과제에서 GigaWorld-Policy-0.5는 6개 지시문 평균 성공률 0.85를 기록해 π0.5의 0.76, Motus의 0.80, FastWAM의 0.78, GigaWorld-Policy의 0.80을 앞섰다. 표 2의 물체 배치 과제에서도 평균 0.89를 얻어 비교군 중 가장 높았다. 장기 과제 3종을 묶은 표 3에서는 Food Heating 0.80, Solid Weighing 0.70, Tableware Arrangement 0.80으로 평균 0.77을 보고했으며, 이는 최고 비교군인 Motus의 0.57보다 높았다. 표 4는 효율을 함께 보여주는데, GigaWorld-Policy-0.5는 A100에서 189ms, RTX 4090에서 110ms, C++ 배포 시 85ms를 기록했고 실로봇 SR은 0.85였다.
논문은 한계와 공개 상태도 분명히 적었다. 첫째, 85ms는 로컬 RTX 4090에서 C++ 배포와 KV 캐시, torch.compile을 적용한 경우의 수치이며, A100에서는 189ms로 보고됐다. 둘째, AutoResearch 하이퍼파라미터 탐색은 pick the fruit 과제의 약 3.9시간, 930개 에피소드 중 300개 학습·30개 검증 분할에서 수행됐고, 1K-step 파일럿과 30K-step 확장 학습으로 최적 구성을 골랐다. 셋째, 검증 지표는 action MSE와 loss를 사용했으나, 본문은 downstream 정책 성능과 더 직접적인 action prediction을 기준으로 6×10^-5 학습률과 배치 크기 16을 채택했다고 밝혔다. 이 논문은 arXiv 프리프린트이며, 프로젝트 페이지와 코드 공개를 안내하지만 정식 저널 게재나 외부 독립 재현은 본문에 없다.
| 항목 | 조건 | 결과 |
|---|---|---|
| 과일 집기 평균 SR | 실로봇, 6개 지시문 평균 | 0.85 |
| 물체 배치 평균 SR | 실로봇, 6개 지시문 평균 | 0.89 |
| 장기 과제 평균 SR | Food Heating / Solid Weighing / Tableware Arrangement | 0.77 |
| 추론 지연시간 | RTX 4090, C++ 배포 | 85 ms |
자료: STORIUM 정리
저작권자 © STORIUM 무단전재 및 재배포 금지
