세일즈포스와 브라운대 연구진이 영상 질문 답변을 답 한 줄이 아니라 검증 가능한 증거 묶음으로 바꿨다. E-VQA는 모델이 의미 답변, 근거 시간 구간, 근거 물체를 프레임마다 추적한 분할 마스크렛을 함께 출력하게 한다. 가림·비강체 변형·물체 교차처럼 박스 몇 개로 확인하기 어려운 움직임을 픽셀 수준에서 감사하려는 설계다. 벤치마크와 학습 결과는 아직 동료검토를 거치지 않은 arXiv:2607.11862에 실렸다.
ST-Evidence 벤치마크는 NeXT-QA·Perception Test·STAR·CLEVRER·Ego4D와 ViCaS에서 표본을 고른 뒤 사람이 시간 구간과 초당 6프레임의 마스크를 표시하고 박사급 검토자가 재검증했다. 생성형은 답·구간·마스크를 직접 만들며, 객관식형은 답과 시간 후보, 실제 마스크 하나와 그럴듯한 오답 마스크 3개를 고른다.
Qwen3-VL·o3·Gemini-2.5-Pro 같은 범용 모델을 시험하자 답 정답률과 공간 근거 선택 능력이 분리됐다. 여러 공개 모델의 공간 증거 선택은 무작위 추정에 가까웠고, 규모를 키우는 것만으로 해결되지 않았다. 평가는 답 정확도, 시간 tIoU·IoP, 공간 영역과 윤곽을 함께 보는 J&F를 분리해 측정했다.
학습용 ST-Evidence-Instruct는 기존 QA 2만 쌍과 ViCaS 마스크 영상 2만 개를 양방향 자동 파이프라인으로 확장해 약 16만 삼중항을 만들었다. 7B UniPixel을 이 자료로 미세조정하자 같은 크기 기준선보다 시간 평균 지표가 27.2점, J&F가 13.8점 상승했다. 이는 답과 근거를 함께 학습할 데이터가 병목임을 보여준다.
| 학습 결과 | 같은 크기 기준선 대비 향상 |
|---|---|
| 시간 평균 지표 | +27.2점 |
| 공간 J&F | +13.8점 |
대규모 학습 자료는 자동 생성·필터링 결과라 사람 검증 벤치마크와 품질 수준이 같지 않으며, 초당 6프레임 표시는 매우 빠른 사건을 놓칠 수 있다. 높은 근거 점수도 인과적 추론 자체를 보증하지 않는다.
저작권자 © STORIUM 무단전재 및 재배포 금지
