프린스턴대 연구진이 촬영 중 초점거리가 바뀌는 동영상에서 카메라의 내부 파라미터(intrinsics)를 프레임 단위로 추정할 수 있도록 대규모 데이터셋 ‘InFlux++’를 공개했다. 에리히 리앙(Erich Liang), 지아 덩(Jia Deng) 등이 참여한 이번 연구는 유럽컴퓨터비전학회(ECCV) 2026에 채택됐다. 2차원 영상에서 3차원 구조를 복원하는 대부분의 알고리즘은 영상 전체에서 카메라 내부 파라미터가 고정돼 있다고 가정하지만, 실제 촬영 환경에서는 줌이나 초점 조정으로 이 값이 계속 바뀌는 경우가 많다는 게 연구의 출발점이다.
연구팀은 앞서 발표한 ‘InFlux’가 프레임별 실측값(ground truth)을 갖춘 최초의 실세계 벤치마크로 이 연구 방향을 개척했지만, 학습 데이터의 다양성 부족과 기존 벤치마크의 장면·카메라 움직임 범위가 제한적이라는 한계가 있었다고 설명했다. 이를 보완하기 위해 InFlux++는 두 축으로 구성됐다. 첫째는 절차적으로 생성한 대규모 합성 영상 데이터셋 ‘InFlux++ Synth’로, 1841개의 고해상도 영상에서 추출한 44만여 개의 주석 프레임에 정확한 프레임별 내부 파라미터를 담았으며 일부는 포즈·깊이·노멀 정보까지 포함한다. 카메라 줌과 초점 변화, 동적 객체, 렌즈 왜곡, 디포커스 블러 등 실제 촬영 환경의 효과도 사실적으로 재현했다.
둘째는 기존 InFlux를 확장한 실세계 벤치마크 ‘InFlux++ Real’로, 334개의 고해상도 영상에서 새로 촬영한 51만여 개의 프레임을 추가해 더 넓은 장면과 카메라 움직임을 다룰 수 있도록 했다. 연구팀은 InFlux++ Synth로 파인튜닝한 기존 방법들이 InFlux++ Real과 기존 InFlux 벤치마크 모두에서 초점거리 추정 성능이 일관되게 향상됐다고 밝혔다. 이는 합성 데이터를 활용한 지도학습이 RGB 영상만으로 카메라 내부 파라미터를 예측하는 연구에 유망한 접근이 될 수 있음을 시사한다는 설명이다.
연구팀은 데이터셋과 벤치마크, 코드, 실시간 리더보드를 모두 공개해 후속 연구를 지원한다고 밝혔다. 이번 연구는 정확한 3차원 복원이 필수적인 로보틱스, 증강현실, 영상 편집 등 다양한 응용 분야에서 카메라 보정 연구의 기반 자료로 활용될 전망이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
