거대 비전언어모델(LVLM)은 멀티모달 이해 분야에서 뚜렷한 성과를 보여 왔지만, 방대한 파라미터 규모와 교차 모달 연산으로 인해 메모리와 지연시간 부담이 커 자원이 제한된 기기에 실제로 배포하기가 쉽지 않다. 이진화(binarization) 기법은 저장 공간과 연산 비용을 큰 폭으로 줄일 수 있어 이런 문제를 해결할 대안으로 주목받아 왔다.
그러나 연구진은 기존 이진화 방법들이 서로 다른 층과 모달리티에 걸쳐 가중치의 중요도가 다르다는 점을 간과해 왔다고 지적한다. 이 때문에 다운스트림 작업과 무관한 파라미터가 불필요하게 유지되는 반면, 모달리티에 결정적인 가중치는 충분히 최적화되지 못해 성능 저하로 이어진다는 것이다. 이를 해결하기 위해 연구진은 ‘중요도 인식 이진화(SAB-LVLM)’ 기법을 새롭게 제안했다. 텍스트와 시각 입력 각각에 대한 헤시안(Hessian) 행렬을 구성한 뒤, 단일 모달리티에서만 활성화되는 완전정밀도 가중치와 여러 모달리티에 걸쳐 활성화되는 가중치를 구분하는 공간적 중요도 맵을 제안했다.
이어 연구진은 층과 모달리티 전반에 걸친 가중치 중요도를 측정하는 중요도 인식 이진화 맵을 얻기 위한 모달리티 유도 통합 전략을 고안했다. 이 이진화 맵은 오차 재가중 항으로 이진화 목표 함수에 반영되며, 교대 방식의 중요도 가중 갱신 기법을 통해 이진화 적합화가 이뤄진다. 연구진의 실험 결과 SAB-LVLM은 약 1비트 압축 제약 조건 아래에서 기존의 이진 사후 학습 양자화(PTQ) 방법들보다 우수한 성능을 보였다. 연구진은 관련 코드를 깃허브에 공개했다.
이번 연구는 거대 비전언어모델을 스마트폰이나 엣지 디바이스처럼 자원이 제한된 환경에서도 구동할 수 있게 하는 극단적 경량화 기술의 진전을 보여준다. 모달리티별 중요도 차이를 반영한 이진화 방식이 향후 온디바이스 멀티모달 AI 확산의 실마리가 될 수 있을지 주목된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
