강화학습(RL) 기반 대규모 언어 모델(LLM) 훈련 파이프라인에서 롤아웃 단계의 병목을 해소하는 새로운 방법론이 제안됐다. 연구팀은 다중 토큰 예측(MTP, Multi-Token Prediction)을 추론 가속에 활용할 때 RL 훈련 과정에서 수용률이 크게 떨어지는 현상을 체계적으로 분석하고, 이를 개선하는 Bebop 기법을 발표했다.
연구팀은 MTP 수용률이 RL 단계에서의 모델 엔트로피 변동에 의해 근본적으로 제한된다는 사실을 규명했다. 엔트로피가 높아질수록 수용률이 명확한 음의 선형 관계로 하락한다는 점에 착안해, 탐욕적 초안 샘플링 대신 확률적 거부 샘플링을 도입했다. 기존 교차 엔트로피·KL 기반 MTP 훈련 목표가 이 환경에서 최적이 아님을 파악하고, 다단계 거부 샘플링 수용률을 직접 최적화하는 엔드투엔드 TV 손실(TV loss)을 새롭게 제안했다.
실험 결과 TV 손실 기법은 수용률을 약 10% 향상시키고, 최대 95%의 수용률과 최대 25%의 추가 추론 처리량 개선을 수학적 추론, 코드 생성, 에이전트 태스크에서 달성했다. RL 훈련 이전에 TV 손실과 거부 샘플링으로 MTP를 사전 훈련하면 전체 RL 과정에서 안정적인 수용률과 가속 효과를 유지할 수 있어 온라인 MTP 업데이트 비용이 불필요해진다. Qwen3.5, Qwen3.6, Qwen3.7 모델에 대한 비동기 RL 훈련에서 최대 1.8배의 종단간 가속이 확인됐다.
최근 대규모 언어 모델의 후속 학습에서 강화학습은 추론 능력을 끌어올리는 핵심 단계로 자리 잡았지만, 모델이 직접 답변을 생성하며 학습하는 롤아웃 과정이 전체 훈련 시간을 크게 잡아먹는 병목으로 지목돼 왔다. 추론 단계에서 여러 토큰을 미리 예측해 속도를 높이는 기법은 잘 알려져 있으나, 학습 중 모델이 계속 바뀌는 강화학습 환경에서는 그 효과가 떨어진다는 한계가 있었다. 이번 연구는 그 원인을 모델 엔트로피라는 측정 가능한 지표로 설명하고 학습 목표 자체를 다시 설계했다는 점에서, 학습과 추론 가속을 함께 고려하려는 흐름에 시사점을 준다. 다만 해당 결과는 특정 모델 계열에서 측정된 것으로, 다양한 환경에서의 재현성은 후속 검증이 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
