현재의 추론 모델을 이끄는 GRPO 같은 강화학습(RL) 기법은 최종 답만 채점한다. 그런데 어려운 문제에서는 이 방식이 모델을 실제로 더 잘 생각하게 만들기보다 단지 더 길게 쓰도록 몰아가는 경향이 있다. 좋은 추론 그 자체에 대한 정답 표지가 없기 때문이다. 연구진이 arXiv에 공개한 기법 Agon은 이 문제를 두 모델의 경쟁으로 풀었다.
Agon에서는 두 모델이 서로의 채점자가 된다. 두 모델이 같은 문제를 풀되 역할을 번갈아 맡는다. 한 모델이 풀이 초안을 작성하면 다른 모델은 그것을 검토한 뒤 독립적으로 문제를 풀고, 각자는 상대를 앞섰을 때 보상을 받는다. 상대가 초안 작성 모델의 풀이를 볼 수 있기 때문에, 초안을 쓴 모델은 그것이 노출된 상태에서도 이길 만큼 잘 추론해야 한다. 그 결과 추론 품질이 학습 과정에서 간접적으로 평가되며, 별도의 추론 정답 데이터나 보상 모델 없이도 학습이 가능하다.
이 방식의 핵심 이점은 두 모델이 동시에 성장한다는 데 있다. 서로가 계속 더 강한 상대를 마주하게 되므로, 단일 모델 강화학습으로는 재현하기 어려운 상승 구도를 만든다. 연구진은 두 모델이 비슷한 수준이면서 행동 방식이 서로 다르기만 하면 된다고 설명했다. 배포 시에는 한 모델이 초안을 만들고 두 번째 모델이 이를 검토해 답을 확정하는 2단계 연쇄(cascade) 형태로 작동한다.
성능 면에서 연구진은 Qwen3를 사용해 DeepMath 벤치마크의 더 어려운 구간에서 GRPO의 pass@1을 두 배로 높였다고 밝혔다. 같은 기반 모델에서 훈련하지 않은 Mixture-of-Agents 기준선이 낸 개선의 약 8배에 해당한다는 설명이다. 연구진은 이런 성능 양상이 경쟁 프로그래밍 코드 과제에서도, 그리고 Qwen3.5·Gemma 4 등 서로 다른 모델 계열에서도 재현됐다고 전했다. 다만 현재 시스템은 모델 간에 텍스트로 소통하는 방식에 의존하며, 앞으로는 잠재 공간(latent space)에서 추론이 오가도록 하는 것을 후속 과제로 삼았다. 해당 논문은 동료 심사를 거치기 전 단계로 arXiv에 사전 공개됐다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
