각 감각 입력 모달리티를 독립적인 처리 주기로 분리하는 비전-언어-행동 모델(VLA) DAM-VLA(Decoupled Asynchronous Multimodal Vision Language Action model)가 공개됐다. 연구팀은 기존 동기식 VLA 모델이 시각·언어·고주파 센서 신호를 단일 클록으로 처리함으로써 물리적 조작에 부적합한 구조를 가진다는 문제를 지적하고, 각 모달리티를 고유한 센서 속도로 업데이트하는 구조를 제안했다.
DAM-VLA의 핵심 설계는 모달리티별 잠재 버퍼를 유지하는 방식이다. 시각 정보는 상대적으로 느리게, 고주파 센서 신호는 수백 헤르츠 속도로 각각 독립 업데이트되며, 행동 헤드가 이를 연속적으로 읽어 들인다. 새로운 고주파 입력은 게이트 방식의 교차 어텐션을 통해 사전 학습된 백본 모델을 그대로 유지하면서 통합된다. 이 구조는 느린 모달리티를 과잉 샘플링하고 빠른 모달리티를 과소 샘플링하는 동기식 모델의 근본적 한계를 해소한다.
7가지 접촉 집약적 실세계 조작 과제에서 DAM-VLA는 평균 성공률 95.2%를 기록했다. 비교 대상인 가장 강력한 동기식 베이스라인의 성공률이 40.95%였음을 감안하면, DAM-VLA는 두 배 이상의 성능 향상을 달성한 것이다. 또한 100헤르츠의 부드럽고 반응성 높은 실시간 제어를 유지했다.
로봇의 물리적 조작 능력을 높이는 것은 제조·물류·가정용 로봇 등 다양한 산업에서 핵심 과제다. 기존 대형 언어 모델 기반 로봇 제어 연구는 언어적 계획 수립에 집중해 온 반면, 고주파 감각 신호를 실시간으로 처리하는 물리 제어 영역은 상대적으로 덜 다뤄졌다. DAM-VLA의 비동기 처리 방식은 언어 기반 추론과 빠른 물리 반응을 통합하는 새로운 접근으로, 로봇 조작 연구에서 모달리티별 처리 주기 설계가 중요함을 보여준다.
저작권자 © STORIUM 무단전재 및 재배포 금지
