비디오 이해, 특히 분류 문제는 공간 정보와 시간 정보가 함께 얽혀 있어 계산량을 줄이면서 정확도를 지키는 설계가 중요하다. arXiv 사전검토 이전 원고에서 UC Irvine과 Qualcomm AI Research 소속 연구진은 이런 문제에 대해 분할 공간-시간 주의 모델 VideoSEMA를 제시했다. 핵심은 공간축에는 Mamba 유사 구조의 SEMA 블록을, 시간축에는 softmax 주의를 두는 방식이다.
이 모델은 각 프레임 안에서 국소 창 주의와 전역 평균화를 병렬로 적용하고, 시간 방향에서는 별도의 softmax 주의로 정보를 묶는다. 원고는 특정 rank 조건에서 이 계산이 더 저렴한 분할 공간-시간 주의가 전체 공간-시간 주의와 동등하다고 이론적으로 보였다고 밝힌다. 즉, 단순히 구조를 나눈 것이 아니라, 어떤 조건에서는 전체 주의와 같은 출력을 낼 수 있음을 수식으로 다룬 셈이다.
검증은 Kinetic-400(K400)과 Something-Something v2(SSv2) 벤치마크에서 이뤄졌다. K400 표에서는 VideoSEMA가 VideoMamba-S의 8프레임 설정 79.3%보다 높은 81.3%, 16프레임 설정 80.8%보다 높은 82.4%, 32프레임 설정 81.5%보다 높은 82.6%의 top-1 정확도를 보였다. FLOPs는 8프레임 46G, 16프레임 87G, 32프레임 172G이고, 매개변수는 모두 31M으로 제시됐다.
SSv2에서도 같은 흐름이 확인됐다. 표 2에서 VideoSEMA는 8프레임, 31M, 46G 조건에서 top-1 정확도 67.2%를 기록했고, 16프레임에서는 67.3%였다. 비교군으로 제시된 VideoMamba-S는 8프레임 65.2%, 16프레임 66.0%였다. 원고는 특히 유사한 매개변수 규모의 모델들 가운데 top-1 정확도에서 앞선다고 요약한다.
해상도 변화에 대한 강건성도 따로 봤다. K400에서 사전학습된 16×224² 모델을 미세조정 없이 16×512², 16×1024²로 올렸을 때 VideoSEMA는 82.4%에서 75.3%, 54.6%로 내려갔다. 같은 조건의 VideoMamba는 80.8%에서 74.4%, 40.8%로 떨어져, 고해상도에서 VideoSEMA의 정확도 저하가 더 완만하다는 해석을 뒷받침했다.
| 대상 | 수치 | 비교·조건 | 근거 위치 |
|---|---|---|---|
| K400 성능 | VideoSEMA 81.3% / 82.4% / 82.6% top-1 | VideoMamba-S 79.3% / 80.8% / 81.5%; 각각 8/16/32프레임, 31M | p.10 Table 1 |
| SSv2 성능 | VideoSEMA 67.2% / 67.3% top-1 | VideoMamba-S 65.2% / 66.0%; 각각 8/16프레임, 31M | p.10 Table 2 |
| 고해상도 강건성 | VideoSEMA 82.4→75.3→54.6 | VideoMamba 80.8→74.4→40.8; 16×224², 16×512², 16×1024², 미세조정 없음 | p.12 Table 4 |
| 표현 범위 | 분할 공간-시간 주의와 전체 공간-시간 주의의 동등성 | 특정 rank 조건 하 이론 증명 | p.8 Eq. (24)-(30) |
자료: STORIUM 정리
결국 이 원고가 보여주는 바는, 영상 분류에서 Mamba 계열의 효율성과 주의 메커니즘의 표현력을 한 모델 안에 조합할 수 있는지다. 한편 지금 단계의 근거는 두 벤치마크 실험과 이론 조건에 한정된다. 긴 영상으로의 확장 가능성은 dilated/sparse temporal attention을 제안하는 수준으로만 언급됐고, 실제 장기 영상 실험은 제시되지 않았다.
저작권자 © STORIUM 무단전재 및 재배포 금지
