휴머노이드 로봇의 비정형 지형 주행은 여전히 어려운 과제로 남아 있다. arXiv 프리프린트인 이 연구는 기존 강화학습이 현실 상호작용의 복잡성을 다루기 어렵고, 인간 선호를 활용하는 방법도 맥락 인식이 부족하다는 문제의식에서 출발한다. 이에 맞춰 연구진은 Egocentric Human-Terrain Reconstruction, 즉 EgoHTR 데이터셋과 재구성 파이프라인을 제안했다.
핵심은 엑소센트릭 방식에만 기대지 않고, 아리아 글래스 같은 egocentric 웨어러블과 휴대형 3D 스캐너를 함께 쓰는 다중 센서 구성이었다. 이 파이프라인으로 7개의 비정형 장면, 8명의 피험자, 55개의 장면 정렬 4D 인간 동작 시퀀스를 수집했고, 전체 규모는 15만 프레임 이상이며 평균 시퀀스 길이는 90초라고 밝혔다. 논문은 이 데이터가 거친 지형 이동을 중심으로 한 in-the-wild 4D 인간-장면 시연이라고 설명한다.
검증은 모션캡처 ground truth와의 정량 비교로 진행됐다. 로컬 자세 추정에서 EgoHTR는 MPJPE 73.2 mm, PA-MPJPE 54.3 mm를 보고했고, 인간만을 다룬 데이터셋들보다 환경 상호작용이 더 복잡해 오차는 크지만 4D 인간-장면 재구성에서는 새로운 최고 성능을 제시했다고 적었다. 표 2에서는 인간-장면 재구성 데이터셋들과 비교해 EgoHTR의 프레임 수가 72.6천, W-MPJPE 73.2, WA-MPJPE 54.3으로 제시된다.
이 데이터는 응용도 함께 보여준다. 연구진은 EgoHTR로 perceptive locomotion 정책을 학습했고, 재구성된 reference motion에 대해 Unitree G1 하드웨어 배치를 수행했다고 밝혔다. 또한 표 3에는 발 접촉 보상 유무에 따른 원자적 동작 영향 분석이 들어가며, 세계 좌표 추적만 쓰는 π0과 발 접촉 보상을 더한 π1을 비교한다. 세부 수치는 카드에 충분히 드러나지 않아 본문에는 일반적 비교만 반영했다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 데이터 규모 | 7개 비정형 장면, 8명 피험자, 55개 시퀀스, 150k+ 프레임, 평균 시퀀스 길이 90 s | p.2 | source_excerpt |
| 로컬 자세 정확도 | MPJPE 73.2 mm, PA-MPJPE 54.3 mm | p.5 | source_excerpt |
| 비교 결과 | 인간만 데이터셋보다 오차는 더 크지만 4D human-scene reconstruction에서는 state-of-the-art | p.5 | source_excerpt |
| 글로벌 자세 지표 | Ours (global): W-MPJPE 151.3, WA-MPJPE 66.7, RTE 0.09 | p.6 | source_excerpt |
| 적용 | Unitree G1 하드웨어 배치, reconstructed reference motions | p.1 | abstract |
자료: STORIUM 정리
한계도 명시했다. 현재 데이터셋은 효과적인 벤치마크이자 파인튜닝용 자원으로는 유용하지만, 대규모 학습을 뒷받침할 만큼의 규모와 다양성은 아직 부족하다고 적었다. 그럼에도 논문은 이 파이프라인이 공동체 기반 확장을 가능하게 하고, 요철 지형을 안정적으로 통과하는 맥락 인식 로봇을 만들기 위한 기초 자원으로 기능할 수 있다고 정리한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
