휴머노이드가 긴 절차의 물체 조작을 수행하려면 이동과 접촉, 가림, 복구를 거친 뒤에도 같은 물체를 같은 실체로 추적해야 한다. 2026년 7월 20일 공개된 프리프린트 ‘Closing the Loop in Humanoid VLA: Persistent 3D Object Tokens for Verifiable Loco-Manipulation’은 행동을 정할 때 쓴 객체 상태와 성공 여부를 확인할 때 쓴 상태가 달라지는 ‘객체 상태 발산’을 줄이기 위해 Persistent Object Tokenization(POT)을 제안한다.
POT는 RGB-D 관측에서 역할별 3D 객체 기록을 유지하고 이를 전신 행동 전문가가 읽는 객체 토큰으로 바꾼다. POT-VLA는 같은 기록을 행동 생성과 기하학적 술어 검증에 함께 사용해 폐루프 실행을 구성한다. 기본 스키마는 8개 슬롯과 슬롯당 33개 특징으로 이뤄지며, 물체가 가려지거나 신뢰도가 낮을 때도 역할 슬롯과 불확실성 정보를 남겨 재관측을 요청할 수 있게 했다.
실험은 Unitree G1과 Dex3-1 손, 머리 장착 RGB-D 카메라를 사용한 사무실 환경에서 진행됐다. 운반, 물체 배치, 양손 조작, 적층, 분류, 관절형 물체 상호작용, 변형 물체 운반, 근거리 전달 등 8개 실제 작업군에서 POT-VLA는 80회 중 71회 성공했다. 같은 embodiment와 행동 전문가, 런타임을 공유한 직접 GR00T-N1.7 기준선은 39회 성공했다.
Being-0 정렬 서비스 작업에서는 논문에 보고된 외부 참고값 37/50과 비교해 44/50을 기록했다. 이는 Being-0을 직접 재현한 결과가 아니라 논문 간 참고 비교다. 4개 대표 작업 40회 절제 실험에서는 직접 기준선 15회, 검증기만 사용 22회, POT 토큰만 사용 31회, 둘을 함께 쓴 POT-VLA 34회 성공으로 나타났다.
결과는 지속적인 객체 중심 상태가 여러 행동 구간에 걸친 3D 관계 유지에 유용할 가능성을 보여준다. 다만 객체 기록의 품질은 SAM3과 RGB-D의 신뢰성, 카메라 보정, 행동 전문가의 로봇 형태 지원 범위에 좌우되며, 연구는 동료평가 전 프리프린트다. 원문은 arXiv 논문 페이지에서 확인할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
