대형언어모델의 후학습은 보통 정책 모델 자체가 답을 생성하고 보상을 받으며 탐색한다. 상하이AI랩·푸단대·저장대 연구진은 이 비싼 탐색과 실제 모델 정렬을 분리한 PUST(Proxy-guided Update Signal Transfer)를 제안했다. 작은 프록시 모델을 시험대로 쓰고, 그 모델이 보상 최적화 전후에 보인 변화만 추출해 더 큰 주 모델로 옮기는 방식이다.
PUST는 세 단계로 작동한다. 먼저 프록시를 PPO·GRPO 같은 보상 최적화로 훈련한다. 이어 각 상태와 토큰에서 최적화된 프록시와 초기 프록시의 로그확률 차이를 상대적 업데이트 방향으로 계산한다. 양수면 보상이 해당 토큰을 장려했고 음수면 억제했다는 뜻이다. 절대 분포를 모사하지 않기 때문에 이 신호는 프록시의 능력 수준과 분리돼 저장·재사용할 수 있다.
전송 단계에서는 주 모델이 이미 받아들인 변화량을 고정 앵커 정책과의 로그비로 측정한다. 프록시 신호에서 이 변화량에 보정계수 λ를 곱한 값을 빼 과도한 업데이트를 막고, 프록시·최적화 프록시·앵커는 고정한 채 주 정책만 학습한다. 연구진은 수학에서 Qwen3-1.7B와 4B를 DeepMath-103K로 500단계 GRPO 훈련했고, 코드에서는 4B 프록시를 Eurus-RL-Code로 300단계 훈련해 Qwen3-8B로 신호를 옮겼다.
수학 네 벤치마크 Mean@16 평균에서 Qwen3-8B 기본 모델은 17.3점이었다. 1.7B 신호를 옮기면 37.2점, 4B 신호를 옮기면 47.5점으로 각각 19.9점과 30.2점 올랐다. 코드 세 벤치마크 평균은 55.9점에서 60.5점으로 4.6점 상승했고, LiveCodeBench는 16.71점에서 25.0점으로 8.3점 높아졌다. 동일한 4B 수학 신호를 1.7B·4B·8B에 적용할 때 전송 학습은 각 50단계였고 세 모델 모두 개선됐다.
신호를 4B에서 1.7B를 거쳐 8B로 연쇄 전송해도 수학 평균은 43.9점으로 기본 모델보다 26.6점 높았다. 다만 직접 4B에서 8B로 보낸 47.4점보다는 낮아 전송 중 드리프트가 나타났다. 보정 민감도 실험의 적합 최적값은 4B 프록시에서 λ=1.08, 1.7B에서 λ=1.57이었으며, 저자들은 상태별 분포 차이를 반영하는 적응형 보정이 후속 과제라고 설명한다.
| 항목 | 결과·조건 | 원문 근거 locator |
|---|---|---|
| 수학 평균(Qwen3-8B) | 17.3 → 47.5, +30.2 | Table 1, p.6 |
| 코드 평균(Qwen3-8B) | 55.9 → 60.5, +4.6 | Table 2, p.6 |
| 신호 재사용 학습 | 프록시 탐색 500단계, 각 전송 50단계 | Table 3, p.7 |
| 연쇄 전송 평균 | 17.3 → 43.9, +26.6 | Table 4, p.7 |
| 보정계수 적합 최적값 | 4B: 1.08, 1.7B: 1.57 | Figure 4, p.7 |
자료: STORIUM 정리
이 결과는 한 번 탐색한 후학습 방향을 여러 모델에 재사용할 가능성을 보여준다. 그러나 검증은 Qwen3 계열과 수학·코드 도메인에 한정됐고, 프록시 신호는 같은 데이터에서 8B가 직접 탐색한 신호보다 다소 약했다. 데이터 분포와 탐색 전략이 신호 품질의 상한을 정한다는 점도 남는다. 논문은 2026년 7월 공개된 arXiv v1 프리프린트로, 계산비 절감과 타 모델군 전이에 대한 독립 재현이 필요하다.
1차 출처: https://arxiv.org/abs/2607.11505
저작권자 © STORIUM 무단전재 및 재배포 금지
