구글의 강화학습 라이브러리 ‘튜닉스(Tunix)’와 JAX를 활용해 오픈소스 모델 젬마3(Gemma-3)에 구조화된 수학 추론 능력을 훈련시키는 실습형 튜토리얼이 AI 기술매체 마크테크포스트를 통해 공개됐다. 이번 튜토리얼은 GSM8K 수학 문제 데이터셋과 GRPO(그룹 상대적 정책 최적화) 강화학습 기법, LoRA(로라, 저순위 적응) 어댑터를 결합해 단일 가속기 환경에서도 실행 가능한 경량 훈련 파이프라인을 구성하는 전 과정을 다룬다.
이 파이프라인은 젬마3 모델을 불러온 뒤 GSM8K의 각 수학 문제를 추론 과정과 최종 숫자 답변을 함께 요구하는 프롬프트 형식으로 변환하는 것에서 시작한다. 이어 모델이 정해진 형식을 얼마나 정확히 따르는지, 최종 답이 정답과 일치하는지를 각각 평가하는 보상 함수를 설계해 GRPO 학습의 신호로 활용한다. 정답과 정확히 일치하면 높은 점수를, 근사치일 경우 부분 점수를, 형식을 어기면 감점을 주는 방식으로 여러 보상 함수를 조합해 모델이 다양한 각도에서 피드백을 받도록 설계했다.
모델 전체를 재훈련하는 대신 어텐션과 다층퍼셉트론(MLP) 프로젝션 모듈에 LoRA 어댑터를 부착해 일부 가중치만 학습시키는 경량화 방식을 택한 점이 특징이다. 훈련에 앞서 베이스라인 성능을 먼저 측정한 뒤, 튜닉스의 강화학습 클러스터 구성을 통해 액터·레퍼런스·롤아웃 역할을 정의하고 GRPO 학습을 실행해 정답률과 형식 준수율의 변화를 비교하는 구조다. 학습률 스케줄링과 그래디언트 클리핑을 포함한 옵티마이저 설정, 체크포인트 저장 옵션도 함께 제공된다.
훈련이 끝나면 LoRA로 학습된 정책과 베이스 모델의 성능을 다시 비교 평가하고, 필요할 경우 LoRA 가중치를 병합한 완성형 모델을 세이프텐서(safetensors) 형식으로 내보내 허깅페이스 생태계에서 재사용할 수 있도록 한다. 이번 튜토리얼은 GSM8K 원시 데이터부터 훈련이 끝난 추론형 젬마3 체크포인트까지 이어지는 전체 경로를 하나의 재사용 가능한 강화학습 파이프라인으로 제시했다는 점에서, 오픈소스 모델에 특정 도메인 추론 능력을 이식하려는 개발자들에게 실무적인 참고 자료가 될 것으로 보인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
