아마존웹서비스(AWS)가 AI 에이전트의 툴 호출 정확도를 높이기 위한 파인튜닝 방법론을 공개했다. 지도 미세조정(SFT, Supervised Fine-Tuning)과 직접 선호 최적화(DPO, Direct Preference Optimization)를 순차적으로 결합하는 방식으로, 아마존 세이지메이커(Amazon SageMaker) AI 학습 잡에서 Qwen3-1.7B 모델을 대상으로 실험한 결과 툴 호출 정확도가 기본 모델 대비 약 30% 향상됐다.
이번 실험에는 엔비디아(NVIDIA)가 공개한 When2Call 데이터셋이 활용됐다. SFT 학습에는 1만 5000개 샘플이, DPO 선호 정렬에는 9000개 샘플이 각각 투입됐다. SFT는 전문가 주석 예시를 통해 모델이 툴별 명령어와 파라미터 형식을 학습하게 하고, DPO는 “이렇게 해라, 저렇게는 하지 마라” 형태의 선호 쌍으로 모델 출력을 보정하는 역할을 한다. DPO는 강화학습(RL)과 달리 별도의 보상 모델 없이 학습이 가능해 연산 비용을 낮출 수 있다는 장점이 있다. AWS는 HuggingFace TRL 라이브러리의 SFTTrainer와 DPOTrainer를 사용했으며, 멀티 GPU 분산 학습에는 Hugging Face Accelerate와 DeepSpeed ZeRO-3를 적용했다.
실험 결과에서 주목할 만한 사실은 파라미터 수가 많다고 성능이 높지 않다는 점이다. 기본 모델 상태에서 Qwen3-1.7B의 정확도는 41.57%로 Qwen3-0.6B(47.64%)나 Llama-3.2-3B-Instruct(46.50%)보다 낮았다. 그러나 SFT 적용 후 60.43%로 상승했고 DPO까지 거친 뒤에는 71.06%까지 올라 세 모델 가운데 가장 높은 수치를 기록했다. Llama-3.2-3B는 SFT+DPO 이후 62.67%에 그쳤다. 파라미터가 약 두 배인 Llama 3B보다 Qwen3-1.7B의 최종 정확도가 약 9% 높게 나온 셈으로, 적은 파라미터로 더 높은 성능을 달성해 추론 비용과 처리 속도 측면에서 유리한 구조를 확인했다.
AWS가 이 방법론을 공개한 배경에는 에이전트 AI의 실제 배포 확대가 있다. 에이전트가 잘못된 툴을 선택하거나 파라미터 형식을 틀리면 작업 완료 시간이 늘어나고 오류율이 상승해 운영 비용과 사용자 경험 모두에 악영향을 미친다. 세이지메이커의 완전 관리형 학습 인프라를 활용하면 온디맨드 고성능 클러스터를 즉시 구성하고 학습 완료 후 자동 종료할 수 있어 인프라 관리 부담 없이 모델 커스터마이징에 집중할 수 있다. AWS는 관련 코드와 노트북을 GitHub 리포지터리에 오픈소스로 공개해 외부 개발자도 동일한 방법을 재현할 수 있도록 했다.
