사전학습 LLM을 층별 희소 구조로 바꾸는 AdaDSF, GPT-NeoX·Qwen2.5에서 FLOPs 절감과 정확도 유지 검증
사전학습 LLM을 추가 재학습 없이 층별 희소 모델로 바꾸는 AdaDSF가 GPT-NeoX와 Qwen2.5에서 FLOPs를 줄이며 성능 저하를 억제했는지 확인한 프리프린트다.
[태그:] 토큰 라우팅
사전학습 LLM을 추가 재학습 없이 층별 희소 모델로 바꾸는 AdaDSF가 GPT-NeoX와 Qwen2.5에서 FLOPs를 줄이며 성능 저하를 억제했는지 확인한 프리프린트다.
