로봇 조작처럼 손의 미세한 움직임을 예측해야 하는 과제에서는 1인칭 영상만으로 전체 행동 맥락을 읽기 어렵다. arXiv 프리프린트가 제안한 Exo2EgoPose는 언어 지시와 현재 손 자세에 외부 시점 시연을 보조 신호로 더해 앞으로의 3D 손 자세를 예측한다. DERM 모듈은 외부 시점 표현을 영상 수준과 분할 프레임 수준에서 복원해 공간·시간 맥락을 만들고, GLMM 모듈은 이 계층형 표현을 어텐션과 적응형 변조로 다듬어 1인칭 예측에 전달한다.
평가는 AssemblyHands, Ego-Exo4D와 새로 구성한 EgoMe-pose에서 진행됐다. EgoMe-pose는 EgoMe 자료에서 잘못된 모방 사례를 걸러내고 손 검출·유효 프레임 조건을 적용한 벤치마크다. 지표는 평균 관절 위치 오차(MPJPE)와 평균 관절 속도 오차(MPJVE)이며 단위는 밀리미터다. 비교군에는 GCBC, MCIL, HULC, GR-1, AR-VRM과 3D 손 궤적 예측 방법 USST가 포함됐다.
논문의 전체 비교에서는 제안법이 경쟁력 있는 결과를 보였지만, 모든 조건에서 한 비교군을 일관되게 앞선 것은 아니다. 표 1의 다섯 예측 구간 가운데 Exo2EgoPose 오차가 MCIL보다 큰 경우도 있어, 우위는 벤치마크와 예측 구간별로 구분해야 한다. 추가 모듈의 계산량은 GMM 0.254 GFLOPs·206만9천 매개변수, LMM 0.354 GFLOPs·177만4천 매개변수로 제시됐다.
| 구분 | 논문 설정 | 해석 범위 |
|---|---|---|
| 평가 지표 | MPJPE·MPJVE, 단위 mm | 손 자세·속도 오차 |
| 비교 방법 | GCBC·MCIL·HULC·GR-1·AR-VRM·USST | 조작·손 궤적 예측 계열 |
| 새 벤치마크 | EgoMe-pose | EgoMe 기반·오류 사례 제외 |
| 추가 복잡도 | GMM 0.254 GFLOPs·2.069M, LMM 0.354 GFLOPs·1.774M | 제안 모듈별 증가량 |
자료: 논문 표를 바탕으로 STORIUM 정리
이 연구는 외부 시점 시연을 1인칭 손 자세 예측의 안내 신호로 활용하는 방법을 보여준다. 다만 결과는 동료검토 전 프리프린트와 제시된 벤치마크에 한정된다. 특히 비교 우위가 모든 예측 구간에서 동일하지 않으므로, 실제 로봇 조작 전반의 성능으로 확대해 해석해서는 안 된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
