아마존웹서비스(AWS)가 다단계 업무를 수행하는 AI 에이전트를 훈련하기 위한 멀티턴(multi-turn) 강화학습(RL) 인프라를 아마존 세이지메이커 하이퍼팟(SageMaker HyperPod) 위에 구축하는 방법을 공식 블로그를 통해 공개했다. 데이터베이스를 조회하고 API를 호출하며 중간에 오류가 나면 복구하는 식의 여러 단계로 이어지는 작업은, 한 번의 응답만 최적화하는 기존 인간 피드백 기반 강화학습(RLHF) 방식으로는 제대로 학습시키기 어렵다는 문제의식에서 출발했다. 멀티턴 RL은 개별 응답이 아니라 전체 대화·작업 흐름을 하나의 단위로 최적화해, 에이전트가 도구 사용 순서나 오류 복구, 다단계 추론 능력을 시행착오를 통해 익히도록 한다.
AWS는 이미 완전관리형 서버리스 방식으로 멀티턴 RL을 세이지메이커 학습 작업에 통합해 제공하고 있지만, 이번에 소개한 방식은 학습 스택 전체를 직접 제어하고 싶은 경우를 위한 것이다. 아마존 노바(Amazon Nova) 모델에 노바 포지(Nova Forge)라는 확장 기능을 결합해 별도 에이전트 환경과 오케스트레이션, 인스턴스 구성을 자유롭게 설정할 수 있도록 했다. 데이터를 아마존 S3에 업로드하면 학습이 자동으로 시작되는 이벤트 기반 파이프라인 구조로, AWS는 참고 사례로 워들(Wordle) 게임을 학습시키는 과정을 시연했다.
이 인프라는 세 개 층으로 구성된다. 세이지메이커 하이퍼팟 클러스터가 P5 인스턴스에서 응답을 생성하고 GRPO(Group Relative Policy Optimization) 방식으로 가중치를 갱신하며, AWS 파게이트(Fargate) 위의 ECS가 보상 채점 환경을 맡고, 노바 포지 SDK가 모델과 보상 환경 사이 메시지를 라우팅하며 대화 상태를 추적한다. 전체 흐름은 AWS 스텝 함수(Step Functions)가 조율하고, 데이터가 S3에 도착하면 이벤트브리지(EventBridge)가 파이프라인을 자동으로 트리거한다. 인프라는 한 번만 배포하는 장기 자원(VPC, EKS·하이퍼팟, ECS, S3, IAM 등)과 학습을 실행할 때마다 새로 생성되는 임시 자원으로 나뉘어, GPU 자원이 유휴 상태로 낭비되지 않으면서도 매번 전체를 재배포할 필요가 없도록 설계됐다.
AWS는 이 구성의 운영 비용도 함께 공개했다. 최소 구성인 P5.48xlarge 인스턴스 10대를 가동할 경우 시간당 약 786달러, 여유를 둔 12대 구성은 시간당 약 1,180달러가 든다고 안내했다. 학습을 진행하지 않을 때는 반드시 스택을 삭제해 비용을 줄이라고 권고했으며, 유휴 시 인스턴스를 0대로 자동 축소하거나 저비용 인스턴스로 전환하는 방식도 비용 절감 전략으로 제시했다. 학습이 정상적으로 진행되면 워들 환경 기준 50~100스텝 안에 보상 점수가 0에 가까운 수준에서 0.6~0.8 수준까지 오르는 것을 확인할 수 있다고 설명했다.
AWS는 이 인프라를 예시 삼아 기업이 자체적인 API 호출형 에이전트나 업무 워크플로에 맞게 워들 환경을 교체해 활용할 수 있다고 밝혔다. 스텝 함수 콘솔에서 각 단계의 진행 상황과 입출력, 재시도 이력을 확인할 수 있고, 대기열 적체나 하이퍼팟 파드의 상태를 통해 장애 지점을 빠르게 특정할 수 있도록 관측 기능도 함께 제공한다고 덧붙였다. 관련 코드는 AWS의 예제 저장소로 공개돼 있다.
