언어모델의 불필요한 가중치를 제거하는 비정형 가지치기는 정확도를 보존하기 쉬워도 일반 하드웨어에서 실제 속도 향상으로 이어지지 않을 수 있다. 반면 채널이나 블록처럼 구조화된 단위를 제거하면 계산 그래프를 줄이기 쉽지만, 세밀한 중요도 정보를 잃어 성능이 흔들릴 수 있다. 이 연구는 비정형 기법인 Adaptive Feature Retention을 구조적 가지치기로 옮길 때 생기는 세 가지 문제를 분석하고 이를 한 번에 보정하는 방법을 제안한다.
첫 문제는 서로 성격이 다른 가지치기 점수의 분포가 맞지 않는다는 점이다. 그대로 합치면 특정 점수의 크기가 판단을 지배할 수 있다. 두 번째는 점수의 부호가 최적화 방향의 일관성을 나타내는데 단순 집계 과정에서 사라질 수 있다는 점이다. 세 번째는 극단값이 구조 단위 전체의 중요도를 왜곡할 수 있다는 문제다. 연구진은 비선형 분포 정렬을 위한 거듭제곱 변환, 부호를 보존하는 점수 집계, 백분위수 기반 이상치 제거를 결합했다.
평가는 Llama-3-8B, Vicuna-v1.5-13B, LLaVA-v1.5-13B에서 이뤄졌다. 논문은 제안 방식이 비정형 가지치기와 견줄 만한 정확도를 유지하면서 구조적 제거를 통한 실용적인 추론 속도 향상을 달성했다고 보고한다. 초록에는 가지치기 비율이나 구체적인 처리량 수치가 없어 어느 하드웨어와 과제에서 이득이 가장 큰지는 본문 확인이 필요하다. 그래도 텍스트 전용 모델과 멀티모달 모델을 함께 시험해 적용 범위를 살폈다.
실제 배포에서는 정확도 평균만 아니라 지연 시간, 메모리, 처리량, 긴 문맥과 희귀 과제의 회귀를 함께 측정해야 한다. 구조적 단위를 제거하면 특정 능력이 집중된 구성 요소를 통째로 잃을 수 있기 때문이다. 점수의 부호와 분포를 보존한다는 설계는 압축 결정을 단순 크기 순위보다 풍부하게 만들지만 모든 모델 구조에 자동으로 최적이라는 뜻은 아니다. 이 연구는 압축 알고리즘의 점수 계산과 실제 하드웨어 효율 사이를 연결하려는 실용적 접근이다. 배포 대상 장치에서 구조 단위가 실제 커널과 맞물리는지 확인해야 논문상의 제거 비율이 체감 속도 향상으로 이어진다.
원문: arXiv 2607.08027
저작권자 © STORIUM 무단전재 및 재배포 금지
