다시점 영상에서 사람의 움직임, 주변 환경, 카메라 포즈를 하나의 전역 좌표계 안에 통합해 복원하는 새로운 과제와 이를 해결하는 프레임워크 TROPHIES(Temporal Reconstruction of Places, Humans, and Cameras from Multi-view Videos)가 arXiv를 통해 공개됐다. 기존 연구들은 단일 시점 입력을 가정하거나 사람·장면·카메라를 분리해 처리해, 일관된 기하 구조, 안정적인 움직임, 물리적으로 정렬된 궤적을 함께 복원하기 어렵다는 한계가 있었다.
TROPHIES는 이 과제를 위해 특화 설계된 통합 프레임워크로, 두 개의 핵심 브랜치로 구성된다. 인간 브랜치는 시간적·공간적 추론을 통해 동적 인물을 모델링하고, 장면 브랜치는 인간 인식 어텐션(human-aware attention)으로 정적 기하 구조를 복원한다. 두 브랜치는 전역 정렬 및 최적화 모듈로 결합되며, 이 모듈은 스케일 일관성, 접촉 사전 정보(contact priors), 다시점 시간 일관성을 함께 적용한다.
EgoHuman 및 EgoExo4D 데이터셋을 대상으로 한 실험에서 TROPHIES는 전역 충실도와 인간-장면 일관성 모두에서 기존 패러다임을 일관되게 상회하는 결과를 냈다. 전역적으로 정렬되고 물리적으로 타당한 4D 재구성을 달성했다는 것이 연구팀의 설명이다.
사람과 환경을 4D 공간에서 일관되게 인식하는 기술은 자율로봇, 스포츠 동작 분석, 확장현실(XR) 콘텐츠 제작, 의료 재활 모니터링 등 다양한 분야에서 핵심 기반 기술로 활용될 수 있다. 단일 좌표계에서 동적 인물과 정적 장면을 함께 다루는 이번 통합 접근법은 개별 복원 모듈을 파이프라인으로 연결하는 기존 방식의 한계를 넘어서려는 시도로 평가된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
