강화학습(RL) 후처리가 기본 모델에 이미 잠재해 있던 단순 기술을 단지 증폭할 뿐인지, 아니면 그 단순 기술들을 엮어 더 높은 수준의 새로운 전략으로 조립해낼 수 있는지를 따진 연구가 arXiv에 공개됐다(동료심사 전 공개본). 최근 인공지능 학계에서 강화학습이 대규모 언어 모델의 추론 능력을 실제로 키우는지, 아니면 원래 있던 능력을 끌어내는 데 그치는지가 논쟁거리였는데, 이 논문은 통제된 실험 환경으로 그 답을 파고들었다.
저자들은 사전학습 분포가 알려져 있고 생성된 모든 재작성 과정을 검사할 수 있는, 완전히 관측 가능한 ‘재작성 문법(rewrite-grammar)’ 환경을 만들었다. 트랜스포머를 기호 재작성 사슬이라는 단순 기술로 사전학습시킨 뒤, 최종 정답 여부만 이진 보상으로 주는 추론 과제로 후처리했다. 그 결과 강화학습은 사전학습 모델이 훨씬 큰 표본 예산을 써도 좀처럼 풀지 못하던 미공개 문제들을 풀어냈다. 반면 정답만 골라 다시 학습시키는 거절 기반 미세조정(rejection fine-tuning)은 초반에는 나아지다가 이내 정체됐다.
과정을 분석하니 강화학습은 단계적인 조립 메커니즘을 통해 단순 능력을 재조직했다. 먼저 기초적인 축약 과정을 강화한 다음, 유효한 조립 절차를 발견하는 순서였다. 여기에는 순서가 정해진 축약 사슬을 한 번에 접어버리는 순차 조립과, 독립적인 축약을 한 단계에서 합치는 병렬 조립이 포함됐다. 이렇게 만들어진 절차는 일회성 표본에 그치지 않고 재사용되며 안정적인 목록으로 굳어졌다.
강화학습과 거절 기반 미세조정을 비교한 대목은 핵심 차이가 탐색의 양이 아니라 선택성에 있다는 점을 보여준다. 거절 기반 미세조정은 지름길 같은 재작성을 다량 만들어내지만 상당수가 유효하지 않은 반면, 강화학습은 탐색을 유효하고 재사용 가능한 구조로 모은다. 사전학습 조건을 바꿔가며 실험한 결과, 조립적 전략의 출현은 단순 기술에 얼마나 노출됐는지가 아니라 사전학습이 그 능력을 강화학습이 나중에 압축할 수 있는 축약 절차로 조직해 두었는지에 달려 있었다. 기본 모델은 약한 절차적 재료를 제공하고, 강화학습이 이를 신뢰할 만한 상위 전략으로 쌓아 올린다는 것이다. 이 연구는 ICML 2026 조립적 학습 워크숍에 채택됐으며, 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
