비전-언어 모델은 많은 시각 토큰을 처리하는 만큼 추론 지연과 메모리 부담이 커진다. 이 논문은 이런 병목을 줄이기 위해, 사전학습된 VLM 자체를 압축기처럼 다시 쓰는 VisCo를 제안한다. 핵심은 외부 압축 모듈을 덧대는 대신, 작은 수의 학습 가능한 memory token이 원본 시각 정보를 받아들이고, 인코더와 디코더 사이에 계층적 정보를 전달하도록 설계한 점이다. 동료검토 전 arXiv 프리프린트 기준의 실험에서, 이 방식은 모든 평가 압축률에서 기존 기법을 앞섰고, 압축이 더 강할수록 격차가 커졌다.
구조는 자가인코더에 가깝다. 인코딩 단계에서는 ViT와 projector가 만든 시각 토큰 뒤에 memory token을 붙여, causal masking 아래에서 이 토큰들이 앞선 시각 토큰 전체를 보게 한다. 이후 각 층의 memory token에 해당하는 key/value만 모아 memory bank를 만들고, 디코딩 단계에서는 이 계층적 KV를 그대로 복원용 프리픽스처럼 사용한다. 별도의 추가 사전학습 목표를 두지 않고, teacher forcing으로 미세조정했다는 점도 함께 제시된다.
평가는 LLaVA-1.5-7B와 Qwen2-VL-2B/7B, 총 3개 백본에서 6개 벤치마크(GQA, MMB, MMB-CN, MME, POPE, MMVet)로 수행됐다. LLaVA-1.5-7B에서 원래 576개 시각 토큰을 32개로 줄였을 때 VisCo는 원성능 대비 평균 91.8%를 유지했다. 같은 조건의 FastV는 57.6%, SparseVLM은 72.6%, PruMerge+는 77.5%, DivPrune은 87.2%, VisPruner는 87.8%였다. 1개 토큰만 남겼을 때도 VisCo는 85.3%를 유지해, PruMerge+보다 49.9포인트, VisPruner보다 36.5포인트 높았다.
Qwen2-VL에서도 경향은 비슷했다. Qwen2-VL-2B에서 144개 토큰을 기준으로 36개 토큰만 남기면 VisCo의 평균 유지율은 95.2%였고, VisionZip‡의 91.0%를 넘었다. 18개 토큰으로 더 줄여도 VisCo는 91.4%를 유지해, 76.1%에 그친 VisionZip‡보다 견고했다. Qwen2-VL-7B에서는 36개 토큰에서 94.6%, 18개 토큰에서 90.4%를 기록해, 해당 설정의 직접 비교군들보다 높은 값을 보였다.
논문은 왜 이 방식이 잘 작동하는지도 함께 점검한다. 계층적 KV 전달을 쓰는 변형과 단순 value-passing 변형을 비교했을 때, Qwen2-VL-2B에서 계층적 방식이 GQA, MMB, POPE 모두에서 더 높았다. 예를 들어 36토큰 조건에서 value-passing은 GQA 51.8, MMB 59.5, POPE 79.6이었지만, 계층적 KV-passing은 각각 61.1, 64.0, 82.9였다. 또 memory token의 앞부분 18개를 지우면 성능이 크게 떨어지고, 뒷부분 18개를 지우면 하락 폭이 더 작았다. 분석에서는 마지막으로, 원본 시각 토큰과 memory token을 함께 쓰면 원모델보다 좋아질 수 있다는 점도 보여 주며, memory token이 단순 요약이 아니라 보완적 표현일 가능성을 제시한다.
| 설정 | 비교 결과 | 원문 위치 |
|---|---|---|
| LLaVA-1.5-7B, 576→32 토큰 | VisCo 평균 유지율 91.8%; FastV 57.6%; SparseVLM 72.6%; PruMerge+ 77.5%; DivPrune 87.2%; VisPruner 87.8% | Table 1 |
| LLaVA-1.5-7B, 576→1 토큰 | VisCo 평균 유지율 85.3%; PruMerge+ 35.4%; VisPruner 48.8% | Table 1 |
| Qwen2-VL-2B, 144→36 토큰 | VisCo 평균 유지율 95.2%; FastV 84.2%; PruMerge+ 80.6%; VisionZip‡ 91.0% | Table 2 |
| Qwen2-VL-2B, 144→18 토큰 | VisCo 평균 유지율 91.4%; FastV 70.0%; PruMerge+ 65.1%; VisionZip‡ 76.1% | Table 2 |
자료: STORIUM 정리
효율성 수치도 제시됐다. LLaVA-1.5-7B에서 576개 토큰 입력의 추론 시간은 288.0초, KV 캐시는 128MB였고, 32개 토큰으로 줄인 VisCo는 18.0MB의 KV 캐시와 72.0초의 추론 시간을 보였다. 같은 32토큰 조건에서 FastV는 26.4MB, 72.0초였고, VisionZip‡도 18.0MB, 72.0초였다. 평가 범위에서는 이 부분은 구현과 백본 호환성에 따라 비교군 구성이 달라질 수 있다고 적혀 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
