LLM(대규모 언어 모델)의 포스트 트레이닝 가지치기(PTP, Post-Training Pruning) 성능을 높이는 새로운 기법 CRePE와 초고속 하이퍼파라미터 탐색 방법 PHO가 제안됐다. LLM 배포에는 막대한 메모리와 연산 비용이 수반되며, PTP는 추가 학습 없이 가중치를 제거해 이 비용을 줄이는 효과적인 접근법이다. 기존 최고 수준 기법인 RIA는 행과 열의 합으로 정규화한 상대 중요도 점수를 활용해 우수한 성능을 보여 왔지만, 1차원 십자형(행/열) 방향 정보만 사용하고 행과 열 기여도에 동일한 가중치를 부여한다는 한계가 있었다.
CRePE는 이 한계를 2D 로컬 이웃 맥락과 적응형 계수를 상대 중요도 채점에 통합하는 방식으로 극복했다. 다양한 모델과 희소도 설정에서 기존 PTP 기법들을 일관되게 능가하는 성과를 보였다. 그러나 퍼플렉서티(perplexity) 기반 힐 클라이밍으로 최적 적응형 계수를 찾으려면 수많은 퍼플렉서티 평가가 필요해 탐색에 약 11시간이 소요된다는 실용적 문제가 뒤따랐다. 이를 해결하기 위해 연구진은 PHO(프록시 기반 하이퍼파라미터 최적화)를 별도로 제안했다. PHO는 반복적인 퍼플렉서티 측정 자체를 없애 탐색 시간을 약 20분으로 단축한다. 더불어 PHO가 특정 모델에서 찾아낸 최적 하이퍼파라미터 설정이 다른 모델에도 잘 전이되는 강한 일반화 능력도 확인됐다.
CRePE는 채널 순열, 비균등 희소도 할당, 재가지치기 등 기존 기법과 직교적으로 결합 가능하다는 점도 검증됐다. 이는 기존 PTP 파이프라인에 CRePE를 모듈처럼 추가할 수 있음을 의미하며, 실제 배포 환경에서의 활용 가능성을 높인다.
엣지 디바이스나 추론 비용에 민감한 서비스 환경에서 대형 모델을 경량화하는 수요는 꾸준히 증가하고 있다. 추가 학습 없이 단 20분의 탐색으로 최적 가지치기 설정을 찾아내는 CRePE와 PHO의 조합은 효율적인 LLM 배포를 위한 실용적 도구로 자리잡을 가능성이 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
