큰 언어모델이 작은 모델을 가르칠 때 흔한 방식은 여러 교사의 답을 모아 지도 미세조정 자료로 쓰는 것이다. 그러나 어떤 교사가 실제로 잘 가르치는지 판별하지 않은 채 출력을 합치거나, 자기 답을 선호할 수 있는 언어모델 심판에 평가를 맡기면 학습 품질을 보장하기 어렵다. 이 연구는 Claude, Codex-GPT, Grok, Gemini를 먼저 경쟁시키고 이후 협력하게 하는 틀을 제안했다. 평가는 또 다른 모델의 취향이 아니라 단위 테스트와 표준입출력 검사 같은 실행 결과로 수행했다.
교사들은 자기 수정 뒤 표준 문제에서 거의 포화된 성능을 보여 쉬운 과제만으로는 차이가 잘 드러나지 않았다. 더 어려운 경쟁 문제에서는 모델별 차이가 나타났지만, 학생 측의 핵심 결과는 교사 순위에 의존하지 않았다. 검증된 정답을 그대로 모방하는 지도 미세조정은 이미 역량이 있는 Qwen2.5-Coder 학생을 개선하지 못했고 일부 조건에서는 성능을 낮췄다. 반면 같은 공동 교육과정을 검증 가능한 보상을 주는 강화학습 환경으로 사용하자 학생은 문제를 직접 풀고 실행 피드백을 받으며 개선됐다.
결론은 여러 강한 모델의 가치를 답안 수집량에서 찾지 않는다는 데 있다. 교사들은 서로의 답을 평균내는 대신 문제, 테스트, 피드백으로 구성된 검증 가능한 환경을 함께 만드는 역할을 맡는다. 학생은 완성 답을 흉내 내기보다 그 환경에서 시행착오를 거쳐 학습한다. 코딩은 실행 검증이 명확해 이 접근에 유리하지만, 정답 검사가 어려운 영역으로 확장하려면 신뢰할 수 있는 보상 설계가 필요하다. 연구진이 온프레미스 재현 파이프라인도 공개한 만큼 다중 교사 증류와 검증 보상 학습을 비교하는 후속 연구의 기반이 될 수 있다.
원문: arXiv 2607.08255
저작권자 © STORIUM 무단전재 및 재배포 금지
