오픈AI가 인포Q(InfoQ) 발표를 통해 에이전트 전용 강화학습 미세조정(Agent Reinforcement Fine-Tuning, 에이전트 RFT) 기술과 실제 적용 사례를 공개했다. 오픈AI의 파인튜닝팀 소속 윌 행(Will Hang)과 웬지 지(Wenjie Zi)는 발표에서 프롬프트 최적화나 도구 조정만으로는 한계에 부딪힌 기업들이 모델 가중치 자체를 조정하는 미세조정 단계로 넘어가고 있다고 설명했다. 특히 기존 지도학습 기반 미세조정은 요약·분류처럼 패턴이 뚜렷한 작업에는 효과적이지만, 여러 도구를 순차적으로 호출하며 판단해야 하는 에이전트 작업에는 한계가 있다는 점을 짚었다.
에이전트 RFT는 모델이 훈련 과정에서 실제로 도구를 호출해보고, 그 결과에 따라 보상(리워드) 신호를 받아 스스로 개선하도록 하는 방식이다. 오픈AI는 지난 5월 오포-미니(o4-mini) 모델을 대상으로 한 기본 RFT 플랫폼을 먼저 선보인 데 이어, 도구 호출까지 학습 대상에 포함하는 에이전트 RFT를 확장 제공하고 있다. 발표팀은 대표 사례로 금융 보고서에서 숫자를 추론하는 벤치마크 핀큐에이(FinQA)를 들어, 약 50회의 훈련 스텝만으로 검증 보상 점수가 0.53에서 0.65로, 약 23% 개선됐다고 소개했다. 같은 과정에서 모델이 정답을 찾는 데 사용하는 추론 토큰과 도구 호출 횟수도 함께 줄어드는 효율화 현상이 관찰됐다고 설명했다.
실제 고객 사례도 다수 소개됐다. AI 코딩 에이전트 데빈(Devin)을 만든 코그니션(Cognition)은 훈련 데이터를 100건에서 1000건으로 늘리자 성능 개선폭이 약 5%포인트에서 10%포인트로 커졌으며, 도구 호출을 순차적으로 8~10회 반복하던 방식에서 병렬 호출로 전환해 상호작용 횟수를 4회 수준으로 줄였다고 밝혔다. 엔터프라이즈 코딩 에이전트를 만드는 코사인(Cosine)은 30종 이상의 도구를 다루는 환경에서 정답이 틀리면 보상을 아예 주지 않는 엄격한 채점 방식을 도입해 SWE-벤치 등 주요 코딩 벤치마크에서 기존 최고 성능 모델을 앞질렀다고 설명했다. GPU 커널 작성 에이전트를 개발하는 마코(Mako)는 약 100개의 파이토치(PyTorch) 프롬프트만으로 GPT-5를 훈련해 기존 최고 성능 대비 약 72% 향상을 달성했다고 발표팀은 전했다.
의료 코드 매핑 기업 앰비언스(Ambience)는 에이전트 RFT 적용 후 F1 점수가 5점 개선되고 응답 시간이 18% 줄었으며, 프레젠테이션 생성 기업 젠스파크(Genspark)는 극단적으로 품질이 낮았던 사례가 88% 개선됐다고 소개됐다. 금융 분석 에이전트를 만드는 로고(Rogo)는 근거 기반 답변의 정확도가 21% 개선되고 환각 발생률도 눈에 띄게 낮아졌다고 밝혔다. 발표팀은 에이전트 RFT를 도입하려면 명확하게 정의된 과제와 실제 운영 환경과 유사한 평가 데이터셋을 먼저 갖추는 것이 중요하며, 채점 기준에 허점이 있으면 모델이 이를 악용하는 이른바 ‘보상 해킹’ 사례가 자주 발생하는 만큼 채점 로직을 정교하게 설계해야 한다고 조언했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
