중국 앤트그룹의 체화 인공지능(embodied AI) 부문 로비언트(Robbyant)가 로봇 조작을 위한 비디오-액션 파운데이션 모델 ‘링봇-VA 2.0(LingBot-VA 2.0)’을 공개했다. 연구팀은 기존 영상 생성기를 미세조정해 쓰던 방식에서 벗어나, 로봇 체화를 위한 전체 구조를 처음부터 사전학습했다고 밝혔다. 로비언트는 이 모델을 체화에 특화된 ‘네이티브’ 파운데이션 모델이라고 소개했다.
대부분의 비디오-액션 모델은 디지털 콘텐츠 제작용으로 만들어진 두 요소, 즉 복원 중심의 VAE와 양방향 영상 확산(diffusion) 백본에 행동 모듈을 붙이는 방식을 재활용한다. 로비언트는 이 방식에 세 가지 한계가 있다고 봤다. 픽셀 복원 위주의 잠재 표현은 겉모습은 담지만 물리 구조는 거의 담지 못하고, 영상 토큰을 반복 노이즈 제거하는 과정은 폐루프 제어에 쓰기엔 느리며, 일반적인 영상 학습 목표로는 행동이 세계를 어떻게 바꾸는지 가르치지 못한다는 것이다. 여기에 제어는 시간상 앞으로만 전개되는데 백본은 양방향 주의(attention)를 쓴다는 구조적 불일치도 더해진다. 링봇-VA 1.0이 그 구조를 인과(causal) 모델로 미세조정했다면, 2.0은 인과 DiT를 처음부터 사전학습했다.
2.0은 영상 전문가와 행동 전문가가 하나의 인과 자기주의를 공유하되 각자 별도의 신경망 경로를 갖는 구조다. 영상 전문가는 밀집 신경망 대신 128개의 라우팅 전문가를 두고 상위 8개를 선택하는 희소 전문가 혼합(MoE) 계층을 쓴다. 영상 백본은 약 130억 파라미터 규모이며 이 가운데 약 19억 개만 활성화되고, 행동 전문가와 부가 헤드까지 포함하면 학습 규모는 약 153억 파라미터로 추론 시 토큰당 약 25억 개가 활성화된다. 학습 신호 측면에서는 다음 세 구간을 함께 예측하게 하는 다중 구간 예측(MCP)을 도입해, 한 실험에서 기존 대비 4만5000스텝의 정확도를 2만 스텝 만에 달성하는 2.3배 학습 가속을 얻었다.
실제 배치의 핵심은 ‘예견 추론(Foresight Reasoning)’이다. 로봇이 현재 동작을 실행하는 동안 영상 전문가가 그 결과를 미리 상상하고, 행동 전문가가 그 상상으로부터 다음 동작을 미리 결정한다. 다만 앞서 나가면 오차가 누적될 수 있어, 실제 관측값이 돌아오면 상상했던 잠재 상태를 실측값으로 덮어써 다시 보정한다. 이렇게 예측과 실행을 별개의 비동기 흐름으로 겹쳐 돌려 모델 지연이 곧바로 제어 지연으로 이어지는 문제를 완화했다.
성능 면에서 링봇-VA 2.0은 로봇 시뮬레이션 벤치마크 RoboTwin 2.0의 50개 과제 평균에서 93.6점을 기록해, π0.5(79.8점)와 모투스(87.9점), 자사 1.0 버전(92.2점)을 앞섰다. 여러 가속 기법을 단계적으로 적용한 결과 구간당 추론 시간을 927밀리초에서 142밀리초로 줄이고 비동기 제어 주기를 초당 35회에서 225회로 끌어올렸다. 연구팀은 10~15건의 시연만으로도 새 과제에 적응할 수 있으며, 사람의 손 움직임을 로봇 행동 공간으로 변환해 저비용으로 데이터를 확장하는 방식도 함께 제시했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
