여러 시점의 이미지를 하나의 3차원 좌표계로 통합하는 능력을 진단하는 ‘MultiView-Bench’가 공개됐다. 연구진은 시각언어모델이 단일 이미지의 2차원 관계에는 강하지만, 카메라 시점과 무관한 세계 중심 좌표에서 물체 관계를 추론하는 능력은 충분히 평가되지 않았다고 지적했다.
벤치마크는 Blender 기반 합성 장면에 고정된 X·Y·Z 축을 표시하고, 한 장면을 기본 6개 시점에서 렌더링한다. 물체 배치를 1·2·3 자유도로 조절해 축 판별, 다중 시점 통합, 완전한 3차원 이동 관계 중 어디에서 오류가 발생하는지 나눠 볼 수 있게 했다. 정답은 Blender 내부 좌표에서 자동 계산한다.
연구진은 주 벤치마크에 5개 작업 변형을 두고 변형마다 100개 문항을 구성했으며, 편향과 실패 양상을 진단하려고 20개 변형을 각각 100개 문항으로 추가했다. 단순 도형뿐 아니라 3DCoMPaT++의 실제 사물형 자산도 사용했으며, 색상·질감과 축 방향을 바꿔 모델의 편향을 점검했다. 최전선 모델들은 한 시점의 평면 관계보다 3차원 관계와 여러 시점의 증거 결합에서 일관되게 더 큰 어려움을 보였다고 논문은 설명한다.
후속 실험에서는 정보가 많은 관점을 선택하고 관찰 결과를 합치는 다중 에이전트 ‘ViewNavigator’를 제안했다. 같은 추론 예산을 맞춘 비교에서도 여러 기본 모델의 성능이 개선됐고, 전체 에이전트 구성에서는 기준 모델보다 3~5배 높은 성능을 냈다고 연구진은 보고했다. 이 배수는 MultiView-Bench의 특정 점수 비교다.
통제된 합성 환경은 오류 원인을 분리하기 좋지만 실제 로봇이나 조립 현장의 가림, 조명, 센서 잡음과는 차이가 크다. 축과 격자가 화면에 보이는 설정도 현실 작업보다 단순하다. 따라서 이 결과는 시각언어모델의 일반적인 3차원 이해 능력이나 물리 작업 안전성을 직접 입증하지 않는다.
| 평가 구성 | 문항 수 | 용도 |
|---|---|---|
| 기본 작업 변형 | 5종×100개 | 주 벤치마크 |
| 추가 작업 변형 | 20종×100개 | 편향·실패 모드 진단 |
| ViewNavigator 전체 구성 | 기준 대비 3~5배 | MultiView-Bench 특정 점수 |
논문은 2026년 7월 9일 제출된 동료 검토 전 arXiv v1 프리프린트다. 핵심 기여는 세계 중심 다중 시점 추론을 통제된 조건으로 분해해 측정한 벤치마크와 생성 파이프라인이며, ViewNavigator의 현장 성능은 별도 실증이 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
