로봇이 긴 작업을 수행하려면 무엇을 어떤 순서로 할지 이해하는 의미 추론과 실제 공간에서 가능한지 확인하는 기하 추론이 모두 필요하다. 언어만으로는 물체 선택과 목표 분해를 잘해도 좁은 공간이나 충돌을 놓칠 수 있다. APIVOT는 비전언어모델 기반 플래너가 언어 생각과 시각 생각을 고정된 순서가 아니라 상황에 맞게 번갈아 사용하도록 학습한다. 두 추론 형식의 장점을 작업 단계마다 선택하는 설계다.
언어 생각은 목표를 하위 작업으로 나누고 관련 물체와 행동 순서를 정하는 데 쓰인다. 시각 생각은 앞으로의 장면을 내부적으로 상상해 여유 공간과 물체 충돌 같은 기하 제약을 확인한다. 연구진은 긴 주방 작업에서 APIVOT를 범용 비전언어모델과 기존 계획 프레임워크에 비교했다. APIVOT는 전반적인 계획 성공에서 앞섰고 공간 제약이 큰 조건에서 이득이 가장 컸다. 분석에서는 모델이 의미 있는 모달리티 선택 행동을 학습해 성공률뿐 아니라 추론 효율도 개선했다고 보고했다.
핵심은 항상 더 많은 시각 추론을 하는 것이 아니라 필요한 순간에만 미래 장면을 사용하는 데 있다. 로봇 계획의 계산량을 관리하면서도 언어 계획의 공간적 허점을 보완할 수 있다. 그러나 상상한 미래 상태가 실제 물리와 다르면 검증 단계 자체가 잘못된 확신을 줄 수 있다. 주방 과제의 결과가 도구 변형이나 사람과의 상호작용이 많은 환경까지 이어지는지도 별도 검증이 필요하다. APIVOT는 비전과 언어를 한 번에 섞는 모델에서 나아가 추론 과정 중 어떤 표현을 언제 사용할지 학습하는 방향을 보여준다.
실제 배치에서는 시각 생각이 물리적 제약을 제대로 반영했는지 외부 충돌 검사기로 다시 확인하는 계층이 필요하다. 모델이 언어와 시각 중 하나를 선택한 이유와 계획을 수정한 지점을 기록하면 실패 분석도 쉬워진다. 새로운 주방 배치와 낯선 물체, 실행 중 물체가 이동하는 상황까지 평가할 때 장기 계획 능력의 범위를 더 분명히 알 수 있다.
원문: arXiv 2607.08024
저작권자 © STORIUM 무단전재 및 재배포 금지
