긴 영상 이해에서 프레임을 일정 간격으로 고르는 방식은 계산량과 정보 손실 사이의 충돌을 키운다. arXiv에 공개된 이번 연구는 이 문제를 프레임 하나하나의 독립 평가가 아니라, 영상 안의 사건 구조로 다시 바라본다. 핵심 제안인 GMM-EVA는 텍스트 질의와 각 프레임의 관련도 점수를 먼저 구한 뒤, 이를 가우시안 혼합모형으로 적합해 잠재 사건의 연속적 분포로 바꾼다. 그다음 각 사건마다 가장 중요한 프레임 1장을 고해상도 주 키프레임으로 두고, 나머지는 저해상도 보조 키프레임으로 배치해 토큰 예산을 줄인다. 별도 학습 없이 끼워 넣는 방식이다.
실험은 LongVideoBench, LVBench, VideoMME의 3개 장문 영상 벤치마크에서 이뤄졌다. 기본 설정에서는 1 FPS로 프레임을 뽑고, CLIP을 관련도 추정 모델로 썼다. downstream LVLM은 Qwen2.5-VL-7B가 기본이며, 토큰 예산은 주 키프레임 256 토큰, 보조 키프레임 64 토큰으로 뒀다.
주요 결과에서 GMM-EVA는 CLIP 백본 기준으로 LongVideoBench, LVBench, VideoMME에서 각각 전체 예산의 44.9%, 52.7%, 44.8%만 사용했다. 그럼에도 Uniform 샘플링보다 세 벤치마크 모두에서 크게 앞섰고, Top-K 기준과는 비슷한 정확도를 보였다. 표 1에 따르면 LongVideoBench 전체 정확도는 61.2로 Uniform 57.4보다 높았고, VideoMME 평균은 57.9로 Uniform 53.4를 넘어섰다.
사건 구조를 더 잘 드러내는 구간에서는 차이가 더 뚜렷했다. LongVideoBench의 multi split에서는 57.0으로, 비교군들 가운데 가장 높은 값을 기록했다. Qwen3-VL-Embedding-8B를 쓰면 LongVideoBench에서 62.7까지 올라 VideoITG 59.8, MSJoE 60.4보다 높아졌고, 평균 토큰 비율은 44.2%였다. 보조 프레임 예산을 64 토큰으로 둘 때 VideoMME에서 61.1을 얻어 가장 좋은 결과를 냈다.
논문은 또 이 방법이 특정 백본이나 LVLM에 묶이지 않는다고 설명한다. SigLIP, LanguageBind-Video, Qwen3-VL-Embedding-8B로 바꿔도 LongVideoBench에서 Uniform 대비 각각 3.6, 3.2, 5.3포인트 개선이 관찰됐다. 저해상도 보조 프레임을 아예 제거하면 VideoMME가 61.3에서 59.4로 떨어져, 시간적 맥락을 남겨두는 설계가 의미 있음을 보여준다.
| 비교 항목 | 주요 수치 | 근거 위치 |
|---|---|---|
| GMM-EVA w/CLIP의 토큰 사용 비율 | LongVideoBench/LVBench/VideoMME에서 44.9%/52.7%/44.8% | Table 1 |
| GMM-EVA w/CLIP의 성능 | LongVideoBench 61.2, multi 57.0, LVBench 49.6, VideoMME overall 61.1, long 50.9, average 57.9 | Table 1 |
| Qwen3-VL-Embedding-8B 백본에서의 LongVideoBench 결과 | Top-K 100% 62.3 대비 GMM-EVA 44.2%에서 62.7 | Table 2 |
| 보조 키프레임 토큰 예산 Bs의 영향 | Bs=64에서 VideoMME 61.1, Bs=0에서 59.4, Top-K 0에서 57.6 | Table 5 |
| 주 키프레임 배분 전략 비교 | Event-Aware가 LongVideoBench 61.2, LVBench 49.6, VideoMME 61.1, Average 57.9 | Table 4 |
자료: STORIUM 정리
이 결과는 아직 동료심사 전 arXiv 프리프린트에 해당한다. 그럼에도 영상 내 사건을 추정한 뒤 토큰을 차등 배분하는 접근이, 긴 영상에서 균등 샘플링의 비효율을 줄이는 실용적 대안으로 제시되고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
