물리 세계를 다루는 에이전트는 장면을 읽는 것만으로는 부족하다. 다음 행동을 고르고, 그 행동이 환경을 어떻게 바꾸는지 예측하고, 예상과 다르면 다시 고쳐야 한다. 텐센트 Robotics X와 Hy Vision Team, Futian Laboratory가 공동 작성한 이 arXiv v1 프리프린트는 이런 요구를 기준으로 Hy-Embodied-VLM-1.0을 소개한다. 보고서는 행동 관련 상태 이해, 행동-전이 추론, 순차·적응 추론의 3단계 능력 분류를 먼저 세우고, 그 분류에 맞춰 데이터와 학습, 평가를 다시 엮는다.
핵심은 구조보다 범위 설정에 가깝다. 1단계는 객체·부분·속성·깊이·3차원 관계·로봇 관점의 단서를 통해 “지금 무엇이 있고 무엇이 행동 가능한가”를 잡는 구간이다. 2단계는 상호작용, 다음 행동 선택, 대상 물체나 궤적의 grounding, 물리적 실행 가능성과 즉시적 변화까지 본다. 3단계는 장기 계획, 언어 지시를 따른 내비게이션, 실패 감지와 복구를 묶어 시간에 걸친 적응을 다룬다. 이 분류는 고정된 추론 절차가 아니라 데이터 구성과 벤치마크 묶음을 정하는 틀로 쓰였다.
모델은 Hy3-A3B 언어 백본과 Hy-ViT2 비전 인코더 위에 효율적인 Mixture-of-Experts 구조를 얹었다. 목적은 물리 세계 이해와 상호작용 능력을 확보하면서도 지연 시간에 민감한 배포를 견디는 것이다. 사전학습 데이터 혼합은 Hy-Embodied-0.5에서 그대로 이어받았고, 후속 단계에서만 능력별로 세분화한 추가 데이터를 더했다. 감독 미세조정에는 깊이 추론, 작업 조건부 grounding, 사회적 상호작용, 궤적 추론, 물리-인과 추론, 실패 인식, 비전-언어 내비게이션 자료가 들어갔다. 강화학습 단계는 자동 파싱과 평가가 가능한 검증형 과제에 맞췄다.
평가 범위는 38개 벤치마크다. 이 가운데 19개에서 같은 규모의 모델들 중 최고 성능을 보였고, Qwen3.6-A3B와 Cosmos 3, Embodied-R1.5 같은 경쟁 모델을 넓은 범위에서 앞섰다고 보고한다. 평균 성능은 이전 세대 Hy-Embodied-0.5 MoT-2B보다 8.4% 높았고, 32B 활성 파라미터를 쓰던 이전 세대 모델과도 근접한 수준을 달성했다고 적었다. 같은 문맥에서 Qwen3.6-A3B 대비 평균 4.4% 우위를 제시한다. 모델은 3B 활성 파라미터만 사용한다는 점도 함께 강조된다.
| 항목 | 원문 수치/범위 | 원문 위치 |
|---|---|---|
| 평가 벤치마크 수 | 38 benchmarks | Introduction / Fig. 1, Evaluation section |
| 동급 규모 모델 대비 1위 성적 | 38개 중 19개 벤치마크 | Introduction |
| 이전 세대 대비 평균 성능 향상 | 8.4% | Abstract / Introduction |
| Qwen3.6-A3B 대비 평균 성능 우위 | 4.4% | Introduction |
| 활성 파라미터 | 3B activated parameters | Abstract / Introduction |
자료: STORIUM 정리
세부 결과는 물리 세계 이해와 실제 상호작용을 분리해 보여준다. R2R-CE에서는 RGB-only 설정에서 방법들 가운데 최고 성능을 기록했다고 밝혔고, Matterport3D Object Goal Navigation에서는 zero-shot 성능을 보였다고 설명한다. 부록의 예시는 청소, 주방 작업, 로봇 팔 조작, 잘못된 경로 복구처럼 멀티턴 상호작용과 장기 추론이 필요한 상황을 다룬다. 이 논문은 아직 동료검토 전 단계의 보고서로, 정적 벤치마크와 상호작용형 작업을 함께 묶어 물리 세계용 에이전트의 설계와 평가를 제안한 셈이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
