대규모 언어 모델(LLM)을 계속 새로운 데이터로 학습시키는 지속적 사후학습(continual post-training) 과정에서, 최근 각광받는 온-폴리시 자기증류(on-policy self-distillation) 기법이 실제로는 기존 능력을 더 심하게 망각시킬 수 있다는 연구 결과가 나왔다. 논문 “Denser ≠ Better: Limits of On-Policy Self-Distillation for Continual Post-Training”은 이 기법에 대한 낙관적인 통념을 다시 검토했다.
연구진은 자기증류를 활용하는 ‘자기증류 정책 최적화(SDPO)’라는 방법으로 실험을 진행했다. 자기증류는 모델 스스로 만든 출력을 다시 학습 신호로 활용하는 방식인데, 연구진은 이 방법이 특정 조건에서는 효과적이지만 한계도 뚜렷하다는 사실을 확인했다. 교사 신호가 안정적이고 잘 정렬돼 있는 상황에서는 도메인에 특화된 학습을 빠르게 가속하지만, 학습 데이터의 분포를 벗어난(OOD) 상황으로 일반화하는 데는 어려움을 겪었다.
더 큰 문제는 지속적 사후학습 과정에서 SDPO가 기존의 표준 강화학습 기법인 GRPO보다 더 심한 망각 현상을 보였다는 점이다. 심할 경우 모델 성능이 붕괴하는 사례까지 관찰됐다. 반면 GRPO는 상대적으로 보수적으로 적응하며 기존에 학습한 능력을 더 잘 보존하는 것으로 나타났다. 연구진은 밀도 높은(dense) 자기증류가 모델 파라미터 공간과 응답 공간 모두에서 더 큰 변화를 유발하며, 교사-학생 순환 구조의 자기강화 효과 탓에 고빈도로 나타나는 형식적 이상 패턴까지 증폭시킬 수 있다고 설명했다.
연구진은 이런 결과를 근거로 온-폴리시 데이터만으로는 지속적 학습을 안정적으로 유지하기에 충분하지 않다고 결론지었다. 밀도 높은 자기증류가 교사 신호의 신뢰도가 높고 토큰 단위 지도가 확실할 때는 특화 학습을 가속할 수 있지만, 지속적 사후학습의 기본 안정화 장치로 무조건 채택해서는 안 된다는 것이다. 연구진은 관련 코드를 SDPO-CL이라는 이름으로 깃허브에 공개했다고 밝혔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
