실제 상호작용 피드백이나 사람이 직접 붙인 라벨 없이 대규모 언어 모델(LLM)을 사후학습(post-training)하는 일은 여전히 어려운 과제로 남아 있다. 특히 전문가의 주석 작업 비용이 큰 특수 도메인에서는 이 문제가 더 두드러진다. 최근에는 모델 스스로 생성한 출력을 지도 신호로 활용하는 이른바 ‘라벨 없는 자기진화(annotation-free self-evolution)’ 방법들이 대안으로 제시돼 왔다. 이 방식은 별도의 맥락 정보를 더해 교사 역할을 만들고, 여러 차례의 추론 결과를 다수결로 종합해 가짜 라벨(pseudo-label)을 생성하는 방식으로 작동한다.
그러나 기존 방법에는 뚜렷한 한계가 있다. 지도학습 미세조정(SFT)이나 GRPO 기반 변형 기법은 학습 대상 밖 영역에서 성능이 떨어지는 문제를 겪고, 보상 기반의 온폴리시(on-policy) 강화학습 방식은 모델이 자신의 예측 확신도를 과도하게 부풀리는 보정 오류(calibration error)를 키운다는 지적이 있었다. 이런 문제를 해결하기 위해 연구진은 ‘뉴런 온폴리시 자기증류(Neuron On-Policy Self-Distillation, 뉴런-OPSD)’라는 새로운 프레임워크를 제안했다. 이 방법은 모델 내부의 뉴런 활성화 패턴을 활용해 훈련에 사용할 데이터를 선별하고, 교사 역할을 구성하는 맥락 정보까지 함께 만들어낸다는 점이 특징이다.
뉴런-OPSD는 이렇게 구성한 교사 모델의 확률 분포로부터 온폴리시 방식으로 증류 학습을 진행하며, 학습의 어느 단계에서도 정답 라벨을 필요로 하지 않는다. 연구진은 특수 도메인 벤치마크 전반에 걸쳐 이 방법을 검증한 결과, 기존의 라벨 없는 학습 방법들과 비교해 도메인 내 과제 성능이 향상되면서도 다른 도메인으로의 일반화 능력은 그대로 유지되고, 확신도 보정이 무너지는 문제도 함께 완화되는 결과를 확인했다고 밝혔다.
이 연구는 온라인 상호작용이나 외부 지도 신호를 확보하는 비용이 크거나 아예 불가능한 환경에 특히 유용하다는 점에서 의미가 있다. 연구진은 뉴런-OPSD가 기록된 보상 라벨이 붙은 궤적 데이터에 의존하는 오프라인 강화학습 접근법과는 개념적으로 구분된다는 점도 강조했다. 전문가 라벨링 비용이 병목으로 작용하는 법률·의료·금융 등 특수 도메인에서 LLM을 실용적으로 고도화하려는 산업계 수요를 감안하면, 라벨 없이도 모델 내부 신호만으로 안정적인 성능 개선을 끌어낼 수 있다는 이번 접근법은 향후 사후학습 연구의 한 방향을 제시하는 사례로 평가된다.
