아마존웹서비스(AWS)가 아마존 세이지메이커 AI(Amazon SageMaker AI)에서 다단계(멀티턴) 에이전트를 강화학습(RL)으로 훈련시킬 때 필요한 모범 사례를 공개했다. 고객 문의를 처리하거나 콘텐츠를 검수하는 멀티턴 에이전트는 하나의 응답이 아니라 여러 단계에 걸친 연속된 의사결정을 수행해야 하는데, 이 과정에서 지침을 읽고 도구를 호출하고 결과를 확인해 다음 행동을 정하는 유연성이 오히려 훈련을 어렵게 만든다는 게 AWS의 설명이다. 행동의 경우의 수가 많아질수록 에이전트가 실제 과제를 해결하지 않고도 보상만 챙기는 경로를 찾아낼 위험이 커지고, 훈련 환경 자체가 학습 신호를 은연중에 왜곡할 수 있기 때문이다.
AWS는 세이지메이커 AI 멀티턴 RL(SageMaker AI MTRL) 서비스가 아마존 베드록 에이전트코어(Bedrock AgentCore), 아마존 EKS, EC2, 파게이트(Fargate) 등 다양한 인프라에서 실행되는 에이전트를 위한 훈련 루프를 제공한다고 소개했다. 이 서비스는 모듈형 에이전트-환경 인터페이스, 서버리스 실행 환경, 비동기 롤아웃과 궤적 수집, PPO·CISPO·중요도 샘플링 등을 아우르는 알고리즘 라이브러리, MLflow 기반 궤적·보상 관측 기능 등을 제공한다. AWS는 아마존 사이언스의 SOP-벤치(SOP-Bench) 데이터셋을 사례로 들었는데, 이는 12개 업무 영역에 걸친 복잡한 표준운영절차(SOP)를 에이전트가 얼마나 잘 수행하는지 평가하는 벤치마크다.
AWS는 훈련 전 신뢰할 수 있는 환경을 구축하는 것이 가장 중요하다고 강조했다. 실제 운영 환경에 훈련 트래픽을 흘려보내면 환불 처리나 데이터 삭제 같은 의도치 않은 부작용이 발생할 수 있고, 실시간 데이터가 계속 변하기 때문에 동일한 궤적도 실행 시점에 따라 다른 점수를 받게 된다는 것이다. 이 때문에 읽기 전용 도구는 기록된 응답을 재생하고, 상태를 저장하는 도구는 에피소드 단위로 격리된 샌드박스를 활용하며, 코드나 SQL처럼 검증 가능한 결과물은 격리된 환경에서 실제로 실행해보는 방식을 권장했다. 또한 훈련 보상과는 별도로, 배포 목표를 독립적으로 측정하는 외부 평가 체계를 반드시 별도로 구축해야 한다고 덧붙였다. 훈련 보상만으로 성과를 판단하면 에이전트가 과제 해결이 아니라 보상 조건 자체를 공략하는 이른바 ‘보상 해킹’ 현상을 포착하기 어렵기 때문이다.
보상 설계와 관련해서는 SOP-벤치를 예로 들어, 모든 필드가 정답과 일치해야 만점을 주는 이진 채점 방식보다 필드별로 부분 점수를 매기는 밀도 있는 보상 함수가 학습 신호를 더 안정적으로 제공한다고 설명했다. 실제 AWS 연구팀은 한 실험에서 보상 채점기가 벤치마크보다 느슨한 출력 형식을 허용해, 모델이 정작 벤치마크가 요구하는 태그를 빠뜨리고도 보상만 높아지는 사례를 발견해 이를 수정한 경험을 공유했다. 이후 항공기 점검 과제에서 미세조정한 GPT-OSS 20B 모델의 과제 성공률이 13%, 필드별 정확도가 약 16% 향상된 결과를 확인했다고 밝혔다. AWS는 환경 구축과 평가 체계를 먼저 고정한 뒤 보상을 설계하고, 이후 훈련 지표를 지속적으로 관찰하며 반복 개선하는 것이 안정적인 멀티턴 에이전트 훈련의 핵심이라고 결론지었다.
