[태그:] 모델 가지치기

모든 층에 같은 희소성을 적용하던 LLM 가지치기 대신, 층마다 활성값 백분위로 희소도를 조정하는 PALS 기법이 arXiv에 공개됐다. LLaMA-2-7B에서 성능 개선을 ...