언어모델을 강화학습으로 훈련할 때 가장 배우고 싶은 어려운 문제일수록 오히려 학습이 멈추는 역설을 겨냥한 연구가 나왔다. 블라디슬라프 벨랴예프 연구자는 정답의 앞부분을 얼마나 보여줄지 훈련 도중 자동으로 조절해 이 난제에서 학습 신호를 끌어내는 기법 ‘AdaPrefix-GRPO’를 제안하는 논문을 arXiv에 사전 공개했다. 아직 동료심사를 거치지 않은 원고다.
문제의 출발점은 그룹 상대 정책 최적화(GRPO, Group Relative Policy Optimization)의 구조적 약점이다. GRPO는 같은 문제에 대해 여러 번 풀이를 생성한 뒤 그룹 안에서의 상대적 우열로 학습 신호를 만든다. 그런데 모델에게 가장 어려운 문제에서는 그룹 내 어떤 시도도 성공하지 못하는 일이 생기고, 이 경우 상대적 이점이 모두 0이 되어 그 문제는 기울기(gradient)에 아무 기여도 하지 못한다. 정작 가장 배울 것이 많은 최전선의 예제가 버려지는 셈이다.
연구진의 착안은 참조 풀이의 정답 접두사(prefix)를 일부 미리 붙여 주면 성공률이 올라간다는 점, 그리고 그 접두사의 길이가 문제 난이도를 연속적으로 조절하는 손잡이가 된다는 점이다. 앞선 연구들이 이 손잡이를 한 번 고정해 두는 데 그쳤다면, AdaPrefix-GRPO는 이를 피드백 제어기로 바꾼다. 훈련 내내 문제마다 정답을 얼마나 보여줄지 조정해 성공률을 GRPO의 기울기 신호가 가장 큰 50% 부근에 유지하다가, 마지막에는 도움을 완전히 거둬들여 배포되는 모델이 힌트 없이 스스로 문제를 풀도록 만든다.
구현은 데이터 준비 단계와 접두사 토큰에 대한 손실 마스크(loss mask)를 더하는 것으로 끝나며, 학습기 자체는 손대지 않은 표준 그대로다. 어려운 수학 문제에서 동일한 훈련 연산량(FLOPs)을 맞췄을 때, 0.6B 규모 모델은 훈련 분포에서 뽑은 미공개 문제 정확도를 GRPO 대비 두 배 넘게(2.1배) 끌어올렸고, Qwen3-1.7B에서 1.6배, AIME에서 1.7배의 향상을 보이면서 풀이 길이는 대략 절반으로 줄였다. 모델이 작을수록 이득이 컸다는 점도 특징이다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
