대규모 언어 모델(LLM)의 추론 능력 향상에 널리 활용되는 검증 가능 보상 기반 강화학습(RLVR), 특히 그룹 상대 정책 최적화(GRPO)의 핵심 한계를 해결하려는 새 기법이 arXiv 논문(2606.00172)으로 발표됐다. 논문명은 CAST로, 비특권 클리핑 비대칭 자기 교수(Non-Privileged Clipped Asymmetric Self-Teaching)의 약어다.
기존 GRPO는 결과 수준의 보상만 제공해 감독 신호가 희박하다는 문제가 있으며, 한 프롬프트에서 샘플링된 경로 전부가 정답이거나 전부 오답이면 그룹 상대 어드밴티지 자체가 사라져 기울기가 소실된다. 이를 보완하려는 선행 연구인 온폴리시 자기증류(OPSD)는 밀도 높은 토큰 수준 지도를 제공하지만, 토큰 선호도가 경로 정확도와 항상 일치하지 않는다는 한계가 진단됐다. CAST는 이 관찰에서 출발해, 정답(reference solution) 없이 그래디언트를 차단한 자기 교사(stop-gradient self-teacher)를 활용해 경로 정확도에 따른 토큰 수준 어드밴티지를 형성한다.
CAST의 핵심 설계 원리는 방향적 로컬 어드밴티지 부호 반전을 양방향으로 적용한다는 점이다. 정답 경로 내에서 교사가 부정적으로 평가한 토큰은 음의 토큰 어드밴티지를 받을 수 있고, 오답 경로에서 교사가 긍정적으로 평가한 토큰은 제한된 양의 로컬 어드밴티지를 받을 수 있다. 또한 전부 정답이거나 전부 오답인 그룹(제로 분산 그룹)에 대해서는 부호가 제약된 기저 어드밴티지를 부여함으로써 기울기가 완전히 사라지는 상황을 방지한다. 수학적 추론 실험에서 CAST는 검증기 기반 경로 수준 목표를 경량으로 유지하면서 RLVR 훈련 성능을 개선했다. LLM 추론 능력 강화를 위한 훈련 기법 연구에서 자기 교사 방식의 가능성을 보여주는 작업으로 평가된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
