LLM 가지치기, 층마다 다르게…활성값 백분위 활용 ‘PALS’ 공개
모든 층에 같은 희소성을 적용하던 LLM 가지치기 대신, 층마다 활성값 백분위로 희소도를 조정하는 PALS 기법이 arXiv에 공개됐다. LLaMA-2-7B에서 성능 개선을 ...
[태그:] 모델 경량화
단일 훈련 사이클로 97% 희소 신경망 구현, 반복 가지치기 대체
연구팀이 여러 번의 완전한 훈련 사이클이 필요한 복권 가설 방식을 대체하는 단일 사이클 점진적 크기 기반 가지치기 기법을 제안해 97% ...
