구글 GKE Labs가 LLM(대규모 언어 모델)의 사후 훈련(post-training)과 파인튜닝을 위한 오픈소스 프로젝트 OpenRL을 공개했다. OpenRL은 표준 Kubernetes 클러스터에서 강화학습(RL) 기반 후처리 워크플로우를 자체 인프라로 확장할 수 있게 해주는 셀프호스티드 API다. 구글 엔지니어들은 에이전트 강화학습 작업에서 “시스템 복잡성에 빠져들기 매우 쉽다”며, 데이터 준비, 환경 선택, 훈련 루프 디버깅, 보상 설계, 하드웨어 프로비저닝 등 수많은 요소를 동시에 다뤄야 한다는 어려움을 개발 배경으로 설명했다.
OpenRL의 핵심 설계 원칙은 인프라와 AI 연구를 분리하는 것이다. 연구자는 RL 루프 개발에, 엔지니어는 워크플로우 실행과 확장에 각각 집중할 수 있도록 역할을 명확히 나눈다. 이를 통해 전통적인 RL 루프에서 CPU나 네트워크 대기 시간 동안 GPU가 유휴 상태로 낭비되는 문제를 해결한다. GPU 활용률을 높이기 위해 여러 RL 작업을 병렬로 실행할 수 있으며, macOS와 Nvidia GPU, GKE에서 사용 가능하다. 연구·개발 단계에서는 Kubernetes 클러스터나 가상 머신에서 실행 중인 훈련 API를 로컬 맥에서 지시하는 방식으로 작동해, GPU가 있는 기계에서 직접 RL 루프를 실행할 필요가 없다.
OpenRL 저장소에는 Gemma 모델을 활용한 텍스트-투-SQL 워크플로우에서 파라미터 스윕과 보상 신호 개선을 위한 병렬 실험을 실행하는 방법을 보여주는 ‘autoresearch’ 예제 레시피가 포함돼 있다. 또한 Tinker-Cookbook과의 통합을 통해 Tinker 호환 엔드포인트를 제공한다. 유사한 접근법으로 FeynRL이 파인튜닝 레시피와 시스템 로직을 분리해 DeepSpeed, Ray, vLLM 같은 도구와 연동하는 방식이 있다. 두 프로젝트 모두 사후 훈련 워크플로우의 복잡성을 줄이고 AI 연구자와 인프라 엔지니어 간 협업을 개선하려는 같은 방향을 지향한다.
OpenRL 공개는 구글이 AI 연구 커뮤니티에 LLM 사후 훈련 인프라를 개방하는 시도라는 점에서 주목받는다. 자체 클러스터에서 LLM 파인튜닝을 확장하려는 기업이나 연구기관이 외부 API에 의존하지 않고 직접 워크플로우를 구성할 수 있는 도구를 제공한다는 의미다. 강화학습을 통한 모델 후처리는 GPT-4나 Gemini 같은 최신 모델 성능을 결정하는 핵심 단계로, 이 영역의 민주화는 대형 AI 연구기관 외에도 더 많은 주체가 경쟁력 있는 모델을 개발할 수 있는 기반을 마련한다는 전망이다.
