대규모 언어 모델(LLM)의 크기를 줄이는 가지치기(pruning) 기법인 Wanda나 SparseGPT는 한 번의 연산으로 불필요한 가중치를 잘라내지만, 트랜스포머의 모든 층에 똑같은 희소성 비율을 적용한다. 층마다 중요도가 다르다는 사실이 이미 알려져 있는데도 이를 반영하지 않는 것이다. 야즈단 잠시디(Yazdan Jamshidi)와 알렉세이 슈베츠(Alexey Shvets)가 arXiv에 공개한 연구는 이 지점을 파고들었다. 이 논문은 동료 심사를 거치기 전의 arXiv 공개본이다.
연구진이 제안한 PALS(Percentile-Aware Layerwise Sparsity)는 각 층의 활성값 크기 가운데 99번째 백분위를 기준으로 층별 희소도를 조정한다. 다만 목표 비율에서 상하 5% 범위 안으로 조정 폭을 제한해, 특정 층이 과도하게 잘려나가는 것을 막았다.
LLaMA-2-7B 모델을 50% 희소성으로 가지치기했을 때, PALS는 WikiText-2 기준 혼란도(perplexity) 10.96을 기록했다. 모든 층에 동일 비율을 적용한 Wanda의 12.92보다 낮은 수치로, 9회 실행 평균 기준이며 통계적 유의성(p < 0.001)도 확보했다. 혼란도는 낮을수록 언어 예측 성능이 좋음을 뜻한다.
다만 이 효과는 모델 구조에 따라 달랐다. LLaMA-3-8B에서는 개선 폭이 미미했고, Mistral-7B에서는 아무런 이득이 없었다. 즉 PALS의 효용은 대상 모델의 특성에 좌우된다는 것이 연구진의 관찰이다.
흥미롭게도 연구진은 더 원리적으로 보이는 기울기(gradient) 기반 배분 방식이 오히려 무작위보다 나쁜 결과를 냈다고 밝혔다. 이는 기울기 크기가 개별 가중치를 이산적으로 제거했을 때의 영향을 제대로 예측하지 못한다는 점을 시사한다. PALS는 가지치기 과정에 추가되는 비용이 무시할 수준이며 별도의 미세조정도 필요 없다고 연구진은 설명했다. 원문 초록 보기
