영상을 만들어내는 인공지능이 콘텐츠 제작을 넘어 로봇의 몸을 움직이는 두뇌로 쓰이려면 무엇이 달라져야 할까. 연구진은 로봇 제어에 특화한 대규모 영상 파운데이션 모델 ‘링봇-비디오(LingBot-Video)’를 arXiv에 사전 공개하며, 이를 커뮤니티에 오픈소스로 내놓는다고 밝혔다. 동료심사를 거치기 전 공개본이다.
연구진은 기존 영상 생성 모델이 로봇 제어에 그대로 쓰이기 어려운 이유로 영역 불일치를 지목했다. 이런 모델은 본래 콘텐츠 창작을 겨냥해 설계된 탓에, 계산 효율이나 물리적 사실성보다 시각적 완성도와 창의성을 우선한다는 것이다. 로봇이 실제 세계에서 물체를 다루려면 화면이 예쁜 것보다 물리 법칙에 어긋나지 않는 움직임이 중요한데, 그 지점이 어긋나 있었다.
이를 풀기 위해 연구진은 세 갈래에서 접근했다. 구조 면에서는 모든 매개변수를 항상 쓰는 밀집(dense) 방식 대신 전문가 혼합(MoE, Mixture-of-Experts) 구조를 채택해, 표현 능력과 추론 효율 사이의 균형을 맞추고 이를 처음부터 대규모로 확장했다. 데이터 면에서는 일반 인터넷 영상에 로봇 중심 영상을 대거 보강하는 데이터 정제 엔진을 만들었다. 여기에는 물체 조작, 이동, 1인칭 시점 영상이 두루 담겨, 모델이 행동과 세계의 동역학을 본질적으로 이해하도록 했다.
학습 면에서는 다차원 보상 체계를 개발해, 미학이나 지시 이행, 움직임의 일관성 같은 일반적 기준을 넘어 물리적 합리성과 과제 완수라는 잣대로 모델을 정렬했다. 연구진은 종합 평가를 통해 이 모델이 영상 파운데이션 모델로서 성능과 효율을 갖췄음을 확인했다고 밝혔다. 연구진은 링봇-비디오를 최초의 대규모 오픈소스 MoE 영상 파운데이션 모델로 소개하며, 디지털 창작과 물리적 작동 사이를 잇는 선구적 시도라고 의미를 부여했다. 원문 초록 보기
저작권자 © STORIUM 무단전재 및 재배포 금지
