움직이는 장면을 실시간으로 재구성하는 3D 가우시안 스플래팅(3DGS) 기술에서, 물체의 움직임 정도를 명시적으로 추적해 화질을 높이는 새 방법이 제시됐다. 연구진은 이 기법을 MVFusion-GS로 명명하고, 기존 방식이 놓치던 장기적인 움직임 강도와 단기적인 시간적 일관성을 함께 포착하도록 설계했다고 밝혔다.
3DGS는 정적인 장면을 빠르게 새로운 시점에서 합성하는 데 강점을 지닌 기술로, 최근에는 변형 필드(deformation field)를 적용해 동적 장면까지 확장하려는 연구가 활발하다. 하지만 연구진은 기존의 변형 네트워크가 움직임 자체를 명시적으로 인식하지 못해, 전경의 움직임이 부정확하게 표현되거나 배경에 가짜 정적 잔상이 남는 문제가 있었다고 지적했다.
이를 해결하기 위해 연구진은 두 가지 보완 장치를 도입했다. 첫째는 ‘움직임-변화량 기반 정제(Motion-Variance Guided Refinement)’로, 각 가우시안 요소의 변형 통계를 시간에 따라 누적해 움직임의 강도를 추정하고, 이를 바탕으로 변형을 예측할 때 동적 요소와 정적 요소를 구분하는 데 활용한다. 둘째는 ‘모션포머 시간적 어텐션(MotionFormer Temporal Attention)’ 모듈로, 인접한 시간 구간에 트랜스포머의 셀프 어텐션을 적용해 국소적인 움직임 의존성을 모델링하고 시간적 일관성을 개선한다.
연구진은 동적 장면 재구성과 방해 요소가 없는(distractor-free) 재구성 벤치마크 양쪽에서 실험을 진행했으며, 두 벤치마크 모두에서 최고 수준의 성능을 확인했다고 밝혔다. 명시적인 움직임 인식을 도입한 결과 전경의 동작 모델링뿐 아니라 정적인 배경의 재구성 품질도 동시에 개선됐다는 설명이다.
이번 연구는 로봇 시뮬레이션, 가상현실 콘텐츠 제작, 자율주행 시뮬레이터 등 동적 환경을 실시간으로 재현해야 하는 다양한 응용 분야에 참고가 될 것으로 보인다. 연구진은 추가 실험을 통해 다양한 동작 패턴과 카메라 조건에서의 견고성을 검증할 계획이라고 전했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
