1인칭 시점의 시각질문응답은 단순히 물체를 알아맞히는 수준을 넘어서, 복잡한 장면 속 위치와 관계를 읽어내야 한다. arXiv 프리프린트로 공개된 이번 연구는 멀티모달 대형언어모델이 그런 공간 추론에서 약하다는 점에 주목하고, Ego Scene Augmentation(ESA)라는 틀을 제안했다. 핵심은 시각 기초모델이 잡아낸 1인칭 공간 특징을 Ego-element Graph로 묶어 중간 표현으로 활용하는 방식이다.
논문은 ESA가 기존 MLLM에 “플러그 앤 플레이”로 붙을 수 있다고 설명하며, Emu3, LLaVA-NeXT, InternVL2, Qwen2-VL, Qwen2.5-VL 같은 모델에 적용 가능하다고 적었다. 그래프는 Depth-Anything을 이용해 구성되며, 장면의 핵심 영역과 공간 관계를 더 잘 식별하도록 돕는다고 했다. 연구진이 든 예시에서는 baseline이 “Unanswerable”로 끝내는 경우에도 ESA가 대상의 위치를 더 구체적으로 짚어낸다.
검증은 EgoTextVQA 벤치마크에서 이뤄졌다. 이 데이터는 1.5K가 넘는 1인칭 비디오 클립과 7K개의 질의응답 쌍으로 이루어졌다고 소개된다. 비교 기준으로는 Qwen2.5-VL을 SOTA로 놓고 점수 변화는 0으로 정규화했다. 그 결과 ESA는 실내 설정에서 정확도 8.14%p, 점수 4.27%p, 실외 설정에서 정확도 8.72%p, 점수 4.5%p 향상을 보였다고 보고했다.
표 2의 세부 수치를 보면 실내 평균 정확도는 Qwen2.5-VL 31.20에서 ESA 33.74로, 평균 점수는 2.24에서 2.34로 올랐다. 같은 표의 하위 범주에서는 쇼핑이 포함된 구간의 평균 정확도가 26.87에서 28.96으로 바뀌어 가장 눈에 띄는 개선을 보였다. 표 1과 표 2는 실내·실외 모두에서 비교군 대비 일관된 상승을 보여 주며, 특히 공간 위치와 텍스트 단서가 함께 필요한 장면에서 강점이 드러난다고 설명한다.
구성 요소 분석도 실려 있다. 표 3에 따르면 원본(v0)에서 Region을 더한 v1은 평균 정확도 31.38, Depth를 더한 v2는 33.41, Text를 더한 v3는 33.54, 정보 정리를 그래프에 넣은 v4는 33.74였다. 같은 표에서 평균 점수는 v0 2.24, v1 2.25, v2 2.32, v3 2.33, v4 2.34로 나타났다. 연구진은 또 그래프의 최대 노드 수를 2, 4, 6, 8, 10으로 바꾸는 절제실험을 수행했다고 밝혔으나, 카드에 실린 범위에서는 각 조건별 수치는 확인되지 않는다.
| 구분 | 주요 수치 | source_locator |
|---|---|---|
| EgoTextVQA-Indoor에서 Qwen2.5-VL 대비 ESA | 평균 정확도 31.20 → 33.74, 평균 점수 2.24 → 2.34 | p.4 | Table 2 |
| EgoTextVQA-Outdoor에서 Qwen2.5-VL 대비 ESA | 정확도 8.72%p 향상, 점수 4.5%p 향상 | p.5 | Quantitative Results |
| EgoTextVQA 데이터 규모 | 1.5K 이상 egocentric video clips, 7K question-answer pairs | p.5 | Benchmark and Experiment Setup |
| 구성 요소 절제실험 v0→v4 | 평균 정확도 31.20, 31.38, 33.41, 33.54, 33.74; 평균 점수 2.24, 2.25, 2.32, 2.33, 2.34 | p.7 | Ablation on Components of the Pipeline on EgoTextVQA-Indoor |
자료: STORIUM 정리
이 논문은 공간 지각을 강화한 중간 표현이 1인칭 VQA의 병목을 줄일 수 있음을 보여 주는 사례로 정리할 수 있다. 한편 검증은 EgoTextVQA라는 하나의 벤치마크와 표준 설정 안에서 이뤄졌고, 실제 배포 환경이나 추가 데이터셋에 대한 결과는 제공되지 않았다. 코드 공개는 언급됐지만, 성능 일반화의 범위는 카드에 제시된 실험 범위 안에서만 판단해야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
