가트너(Gartner) 수석 부사장 애널리스트 아룬 찬드라세카란(Arun Chandrasekaran)은 기업이 생성형 AI(Generative AI)와 에이전트형 AI를 확장 배포할 때 비용 급증을 막기 위한 10가지 실천 방안을 제시했다. AI 에이전트의 도입이 늘수록 아키텍처 부실·거버넌스 미흡 등으로 비용이 예상을 초과하는 사례가 늘고 있어, 체계적인 비용 관리 전략이 필요하다는 것이 핵심 배경이다.
첫째, 모델 정확도·성능·비용의 균형을 객관적으로 따져야 한다. API 제공업체마다 입력·출력 토큰 혹은 문자 수 기준으로 과금 방식이 달라 단순 비교가 어려우므로, 실제 사용 사례 기준으로 총소유비용(TCO) 가정을 충분히 검증하는 파일럿을 먼저 실행해야 한다. 둘째, 안전한 실험을 위해 AI 모델 샌드박스를 만들고 모델별 비용 정보를 사용자에게 투명하게 공개해야 한다. 셋째, 모델 증강과 커스터마이징을 단계적으로 접근해야 한다. 프롬프트 엔지니어링, RAG(검색 증강 생성), 파인튜닝 순으로 복잡도가 올라가므로 이전 단계로 요구 품질이 달성되면 다음 단계로 가지 않는 것이 원칙이다. 넷째, 온프레미스 자체 호스팅의 숨겨진 비용을 과소평가하지 말아야 한다. 전문 인력 확보와 지속적인 유지보수 비용이 가장 자주 간과된다. 다섯째, SaaS 벤더들이 AI 기능을 번들·업그레이드 형태로 패키징하는 방식을 주의 깊게 검토하고, 실제 생산성 향상이 확인된 기능에만 비용을 지출해야 한다.
여섯째, 에이전트형 AI 가격 모델이 아직 정착되지 않은 만큼 벤더에게 유연하고 예측 가능한 요금 체계를 요구해야 한다. 일곱째, AI 게이트웨이(AI gateway) 도구를 활용해 모델 자동 선택·캐싱·라우팅을 구현하면 비용을 크게 줄일 수 있다. 여덟째, 팀마다 중복으로 RAG 파이프라인을 구축하지 않도록 공유 RAG 플랫폼과 통합 벡터 스토어를 운영해야 한다. 아홉째, 사용자들이 LLM(대규모 언어 모델)과 AI 에이전트를 효율적으로 활용할 수 있도록 비용 관리 관점의 교육을 정기적으로 진행해야 한다. 열째, 데이터·인재·통합 비용 등 보이지 않는 숨겨진 비용까지 포함해 TCO를 지속적으로 분석하고 핵심 비용 동인을 관리해야 한다.
기업들이 AI 파일럿에서 실제 운영 단계로 전환할수록 비용 구조는 급격히 복잡해진다. 특히 국내 기업들도 AI 도입 초기 단계에서 발생하는 토큰 과금·SaaS 번들 비용·자체 호스팅 인력 비용 등을 체계적으로 관리하지 않으면 당초 예상보다 훨씬 높은 운영 비용을 마주할 수 있다는 점에서 이번 제언은 시사점이 크다.
