IBM 리서치 연구진이 7월 15일 에이전트용 모델 라우팅을 단순한 난이도 분류로 보면 안 된다는 실험 결과를 공개했다. 쉬운 요청은 싼 모델, 어려운 요청은 강한 모델로 보내는 방식은 직관적이지만, 실제 에이전트 시스템에서는 캐시·도구 호출·실행 단계·인프라 상태가 비용과 지연을 바꾼다는 지적이다. 연구진은 라우팅을 모델 선택 문제가 아니라 시스템 최적화 문제로 다시 정의했다.
AppWorld Test Challenge 417개 과제에 같은 CodeAct 에이전트를 적용했을 때 Claude Sonnet 4.6의 총비용은 79달러, 과제당 0.19달러였다. GPT-4.1은 총 155달러, 과제당 0.37달러로 거의 두 배였다. 가격표만 보면 GPT-4.1이 더 저렴하지만, 반복 단계에서 큰 문맥을 재사용하는 에이전트 작업은 캐시 읽기 가격과 적중률의 영향을 크게 받았다. Sonnet은 추론 단계가 약 세 배 많았음에도 캐시 효과로 총비용이 낮아졌다.
난이도도 라우팅 시점에 완전히 드러나지 않는다. 계약서 요약처럼 단순해 보이는 요청이 검색·규정 점검·도구 사용·반복 수정을 동반할 수 있고, 기술적인 요청도 소형 전문모델이 빠르게 처리할 수 있다. 기업 환경에서는 품질과 가격 외에 데이터 소재지, 개인정보, 승인 모델 목록과 규정 준수까지 제약으로 들어온다. 모델 속도 역시 엔드포인트 혼잡도와 캐시 온도, 라우팅 횟수에 따라 체감 지연과 달라진다.
IBM의 경량 라우터는 비용·정확도·지연을 동시에 최적화해 여러 운영점을 만든다. 지연 우선 구성 1은 정확도 84%, 총비용 약 93달러, 지연 83초를 기록했다. Claude Opus 4.7만 사용한 기준보다 비용은 21%, 지연은 9% 낮고 정확도는 4%포인트 낮았다. 라우팅 계산 자체는 과제당 약 6밀리초와 2킬로바이트 메모리를 사용했다고 연구진은 밝혔다.
| 구성·모델 | 정확도 | 총비용 | 지연 |
|---|---|---|---|
| Sonnet 4.6 단독 | 78% | $79 | 공개 지연 수치 없음 |
| GPT-4.1 단독 | 공개 수치 없음 | $155 | 공개 수치 없음 |
| 라우터 구성 1 | 84% | $92.78 | 83초 |
| Opus 4.7 단독 | 약 88% | $117.63 | 92초 |
자료: STORIUM 정리
결과는 라우터 하나가 언제나 최선이라는 결론보다 선택 가능한 파레토 경계을 보여준다. 난이도 기반 라우터도 비슷한 정확도 구간에 도달했지만 비용이 더 높았고, 최적화 기반 방식은 비용·지연·정확도 우선순위에 따라 다른 구성을 제공했다. 다만 수치는 AppWorld와 CodeAct라는 한 시험 조건의 결과다. 실제 배포에서는 각 조직의 모델 계약, 캐시 정책, 규정과 워크로드로 다시 측정해야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
