왕자후이(Jiahui Wang) 등 연구팀이 VLM(Vision-Language Model, 비전-언어 모델)의 추론 과정에서 발생하는 과도한 연산 부담을 완화하기 위해 STS(Structure-to-Semantics, 구조에서 의미로)라는 2단계 시각 토큰 프루닝(pruning, 가지치기) 프레임워크를 제안했다. 이 연구는 2026년 6월 arXiv에 공개됐으며, 기존 방법의 구조적 결함을 지적하고 대안적 접근을 제시한다는 점에서 멀티모달 AI 효율화 연구에서 주목받고 있다.
연구팀이 지적한 핵심 문제는 기존 시각 토큰 프루닝 방법들이 초기 어텐션(attention, 주의 집중) 점수 하나에만 의존한다는 점이다. 어텐션 점수가 높은 토큰을 우선 보존하는 단일 지표 방식은 의미적으로 유사한 영역에 어텐션이 집중되는 현상, 즉 ‘어텐션 붕괴’를 초래한다. 그 결과 보존되는 시각 토큰들이 서로 중복된 정보를 담게 되고, 모델이 과제 수행에 필요한 세밀한 맥락 정보를 잃게 된다. VLM이 이미지를 처리할 때 중요한 공간적 구조나 세부 시각 단서를 함께 반영해야 하는데, 어텐션 중심 선택만으로는 이 다양성을 보장하기 어렵다는 것이 연구팀의 주장이다.
STS는 이 문제를 두 단계로 분리해 해결한다. 1단계에서는 반발 기반 샘플링(repulsion-based sampling) 메커니즘을 적용해 공간적·구조적 다양성을 최대한 확보한다. 가까운 위치나 유사한 특성을 가진 토큰끼리 서로 밀어내는 방식으로 보존 토큰 집합이 이미지 전체를 고르게 대표하도록 유도한다. 2단계에서는 지시 인식 교차 어텐션(instruction-aware cross-attention)을 활용해 입력 프롬프트와 관련성이 낮은 토큰을 추가로 걸러낸다. 1단계가 기하학적 커버리지를 보장하고 2단계가 의미적 관련성을 정제하는 방식으로, 두 단계가 상호 보완적으로 작동하는 구조다.
이 연구는 멀티모달 AI 모델의 실용적 배포에서 반복적으로 제기되는 문제를 겨냥한다. VLM은 이미지와 텍스트를 함께 처리하기 위해 대량의 시각 토큰을 다뤄야 하는데, 토큰 수가 많을수록 연산량과 메모리 요구가 비례해 증가한다. 효과적인 프루닝 방법이 없으면 고성능 VLM을 자원이 제한된 환경에 적용하기 어렵다. 연구팀은 STS가 어텐션 기반 선택에서 비롯되는 중복성을 완화하고, 보존된 시각 토큰의 구조적 다양성과 세밀 과제 정렬 모두를 개선한다고 밝혔다. 향후 VLM 경량화 연구와 온디바이스(on-device) 멀티모달 모델 개발에 활용될 수 있을 전망이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
