단일 RGB 이미지에서 장면의 실제 거리척도를 복원하는 일은 오래된 난제다. 홍콩대와 Voyager Research 연구진이 아카이브에 올린 arXiv 프리프린트는, 상대 깊이 예측을 출발점으로 삼아 이를 미터 단위 기하로 옮기는 2단계 프레임워크 FoundationGeo를 제안한다. 핵심은 전역 하나의 스케일로는 부족하다는 관찰에 있다. 대신 픽셀마다 달라지는 스케일 장과 광선 방향 보정 장을 학습해, 점맵 수준에서 일관된 3차원 복원을 유도한다.
1단계에서는 DINOv3로 초기화한 ViT-Large 인코더와 경량 업샘플링 CNN 디코더를 묶어, affine-invariant 점맵과 신뢰 마스크를 학습한다. 여기에 전역 정렬 손실, 다중 해상도 로컬 패치 손실, 표면 법선 일관성 손실, 가장자리를 위한 추가 손실이 더해진다. 학습 데이터는 실내·실외·주행·합성·in-the-wild를 아우르는 19개 데이터셋, 총 1,020만 프레임으로 구성됐다. 논문은 모션 블러나 과노출, 탑다운 시점, 비현실적 깊이 범위를 걸러내는 데이터 필터링도 함께 적용했다고 적는다.
2단계는 metric 보정에 초점을 맞춘다. 기존처럼 하나의 전역 스케일만 쓰지 않고, 픽셀별 scale field와 ray-direction correction field를 동시에 예측한다. 전자는 공간적으로 달라지는 스케일 드리프트를 잡고, 후자는 점맵에서 생기는 방향 편향을 줄인다. 식에서는 예측 3D 점과 정답 3D 점의 L1 손실, 광선 각도 오차에 대한 Huber 손실, 스케일 필드에 대한 로그-도메인 손실을 결합한다. 이런 구성으로 상대 기하와 미터 보정을 분리하면서도 함께 최적화한다.
연구진은 데이터 쪽 병목도 따로 분석했다. 7개 평가 벤치마크에서 성능 저하는 특히 훈련 분포 밖의 초점거리에서 두드러졌고, NYUv2·KITTI·iBims-1처럼 분포가 가까운 데이터셋은 상대적으로 강했다. 반면 DDAD·ETH3D·HAMMER·DIODE는 훈련 초점거리 분포와 어긋나 성능이 떨어졌다. 이를 보완하려고 Blender 기반 엔진으로 7개 장면에서 초점거리를 다양하게 바꾼 23,700장의 합성 이미지를 추가했다. 이 데이터는 1024×768 해상도로 렌더링됐고, 실제 훈련셋의 부족한 초점거리 구간을 메우도록 설계됐다.
실험은 7개 벤치마크에 대한 제로샷 평가로 진행됐다. metric depth 기준 평균 AbsRel은 14.8%, 평균 δ1은 80.8%로, 비교 대상인 MoGe-2의 15.7%와 76.8%보다 각각 나아졌다. 평균 Rank도 2.32로 가장 낮았다. 개별 데이터셋을 보면 KITTI에서는 AbsRel 7.86%, δ1 94.9%를 기록했고, NYUv2에서는 10.2%와 93.0%였다. ETH3D에서는 17.8%와 74.0%로 상대적으로 낮았지만, 여러 도메인에서 급격한 성능 붕괴를 피했다는 점이 강조된다. 한편 1단계 기반모델은 relative depth와 boundary F1에서도 강한 결과를 보였다.
| 항목 | 값 | 근거 단서 |
|---|---|---|
| 학습 규모 | 10.2M samples / 19 datasets | Table 1, Datasets / Sec. 3.1 |
| 추가 합성 데이터 | 23,700 images | Appendix C; Sec. 3.3 |
| metric depth 평균 성능 | AbsRel 14.8%, δ1 80.8% | Table 2, metric depth estimation average |
| 비교 기준 대비 개선 | AbsRel 15.7→14.8, δ1 76.8→80.8 | Introduction / Table 2 summary |
| 평가 범위 | 7 benchmarks | Abstract; Sec. 4 |
자료: STORIUM 정리
이 결과는 단안 metric geometry가 단순히 더 큰 모델이나 더 많은 데이터만으로 해결되지 않으며, 카메라 내참수 분포와 픽셀 단위 보정의 결합이 중요하다는 해석으로 이어진다. 다만 논문은 초점거리 이외의 principal point, aspect ratio, sensor size, distortion까지 포괄하는 범용 카메라 다양성은 아직 충분히 다루지 못했다고 적는다. 현재 성과는 학습 분포와 평가 분포가 어긋나는 상황에서, 상대 기하를 미터 기하로 안정적으로 옮기는 방법의 가능성을 보여주는 수준이다.
원문은 arXiv:2607.11588에서 확인할 수 있다. 기사의 수치와 조건은 공개된 프리프린트 원문 기준이며, 동료검토와 독립 재현 전 결과라는 점을 함께 봐야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
