강화학습 기반 추론 모델은 정답 여부를 보상으로 쓰는 방식만으로는 학습 신호가 거칠다는 지적을 받아왔다. 특히 토큰마다 기여가 다른데도 이를 한 덩어리로 다루면, 어떤 단계가 맞고 틀렸는지 세밀하게 가리기 어렵다. 이 논문은 그런 상황에서 엔트로피가 ‘불확실성’과 ‘혼란’을 구분하지 못한다는 점에 주목해, 참조답안이 있는 생성과 일반 생성의 토큰 수준 불일치를 보정 신호로 쓰는 Contrastive Policy Optimization(CPO)을 제안한다. 발표 전 arXiv 프리프린트 상태다.
CPO의 핵심은 참조 유도 분포와 일반 생성 분포 사이의 대비적 불일치를 바탕으로 advantage를 다시 구성하는 데 있다. 초록과 본문에 따르면 이 불일치는 토큰 단위 정답성과 신뢰성 있게 대응하며, on-policy distillation도 이 틀의 특수한 경우로 해석된다. 또한 기존 RLVR에서 자주 나타나는 zero-advantage 문제를 줄이는 데에도 초점을 맞춘다. 즉, 정답 여부만 보는 이진 보상 대신, 어느 토큰이 잘못된 경로로 기울었는지를 더 촘촘히 반영하려는 설계다.
실증은 수학 추론과 범용 일반화로 나뉜다. 학습은 MATH 데이터셋 7.5k 문제로 진행했고, 외부 평가는 GPQA, MMLU-Pro, Knowlogic을 사용했다. 추론 시 온도 0.6, top-p 0.95를 두고 Pass@16을 주요 지표로 삼았다. 비교 대상은 GRPO와 DAPO 같은 표준 RLVR, 그리고 Entropy-Tokens, Entropy-Adv, EM-RL-token, RL-ZVP, IB-reg 같은 엔트로피 개입형 방법들이다.
본문의 표와 그림은 CPO가 엔트로피 기반 방법보다 일관되게 강한 성능을 보인다고 정리한다. 예를 들어 Table 3의 ablation에서 CPO는 MATH-500 91.6, AIME2024 53.3, AIME2025 53.3, AMC2023 92.5, GPQA 78.3, MMLU-PRO 82.6, KnowLogic 77.0을 기록했다. 같은 표에서 GRPO는 91.0, 53.3, 40.0, 92.5, 56.7, 60.7, 68.5였고, DAPO는 87.2, 43.3, 36.6, 92.5, 75.6, 79.0, 71.6이었다. 또 Figure 2에서는 음의 불일치 토큰을 더 많이 고를수록 Accuracy@16이 경계의 57%에서 exp(δ)=0.1일 때 약 48%로 내려가, 불일치 신호가 토큰 정답성과 연결됨을 보인다.
학습 동역학 분석도 함께 제시된다. Figure 5는 Qwen2.5-Math-7B에서 CPO와 GRPO의 학습 중 AIME2025, MMLU-PRO 정확도와 Pass@K, 엔트로피, 응답 길이를 비교한다. 본문은 greedy decoding 정확도 차이는 크지 않아 보여도, K=1~16의 Pass@K에서는 더 큰 격차가 난다고 설명한다. Appendix F.1에서는 CPO, GRPO, 강한 기준선 DAPO에 대해 3회 독립 실행의 평균±표준편차를 보고했다고 적었고, CPO가 둘을 넘어서는 개선을 보였다고 서술한다.
| 구분 | 원문 수치 | 비교/조건 |
|---|---|---|
| CPO ablation 성능 | MATH-500 91.6; AIME2024 53.3; AIME2025 53.3; AMC2023 92.5; GPQA 78.3; MMLU-PRO 82.6; KnowLogic 77.0 | Table 3, CPO |
| GRPO ablation 성능 | MATH-500 91.0; AIME2024 53.3; AIME2025 40.0; AMC2023 92.5; GPQA 56.7; MMLU-PRO 60.7; KnowLogic 68.5 | Table 3, GRPO 비교행 |
| zero-advantage 프롬프트 보조 실험 | CPO가 RL-ZVP보다 평균 +3.2% | Appendix F.2, zero-advantage prompts |
자료: STORIUM 정리
이 결과가 말하는 바는 단순한 엔트로피 증감이 아니라, 정답과 오답이 각각 탐색과 활용을 다르게 지지한다는 해석이다. 연구진은 올바른 응답과 잘못된 응답이 서로 보완적으로 작용하며, 둘의 균형이 최선의 성능으로 이어진다고 정리한다. 한편 본문 수치는 논문 내부 실험 범위에 한정되며, 세부 비교는 제시된 데이터셋과 표, 그림에 근거해 읽어야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
