AI 서비스 도입이 빠르게 확산되는 가운데, 기업 대부분이 자사의 AI 지출 규모를 정확히 파악하지 못하고 있다는 조사 결과가 나왔다. 회계·컨설팅 법인 KPMG의 미공개 설문에 따르면 전체 AI 비용을 투명하게 관리하는 기업 비율은 26%에 그쳤다. 절반의 기업은 제한적인 감시만 가능하고, 나머지 22%는 청구서를 받은 후에야 사용량을 인지하는 수준이었다.
이 같은 문제의 배경에는 토큰(token) 기반 청구 방식의 급격한 확산이 있다. 토큰은 AI 언어 모델이 텍스트를 처리하는 기본 단위로, 사용량이 기하급수적으로 늘어나면 청구 금액도 가파르게 상승한다. KPMG의 글로벌 AI 총괄 스티브 체이스(Steve Chase)는 “지금까지 존재하지 않던 새로운 자원이 기하급수적으로 증가하고 있다”고 설명했다. 실제로 KPMG가 함께 일하는 여러 기업이 연간 토큰·클라우드 예산을 불과 몇 달 만에 소진했으며, 한 고객사는 토큰 사용량이 6배까지 급증한 사례도 있었다. 기술주 리서치 기관 D.A. 데이비슨(D.A. Davidson)의 길 루리아(Gil Luria) 연구 총괄은 “이번 분기에 앤트로픽(Anthropic) 청구서를 보고 놀라는 CFO들이 속출할 것”이라고 내다봤다.
업계 관계자들은 이 현상을 팬데믹 시기 클라우드 투자 붐과 비교한다. 당시 많은 기업이 클라우드 인프라에 막대한 자금을 쏟아부었다가 수요가 꺾이자 급격히 지출을 줄였던 패턴을 AI 비용도 반복할 수 있다는 우려다. 실제로 에이전틱 AI(agentic AI·자율적으로 작업을 수행하는 AI) 워크플로우가 늘어날수록 단일 작업이 수천 개의 토큰을 소비하게 돼, 기존 SaaS(서비스형 소프트웨어) 정액 구독 모델과는 근본적으로 다른 비용 관리 체계가 요구된다.
전문가들은 AI 비용 통제를 사후가 아닌 사전에 설계해야 한다고 조언한다. 실행 전 예산 한도와 에스컬레이션 규칙, 작업 중단 조건을 명확히 설정하고, 저비용 모델로 먼저 시작한 뒤 필요한 경우에만 고성능 모델로 라우팅하는 방식이 효과적이라는 설명이다. AI 지출의 불투명성을 방치할 경우 투자 대비 효과(ROI)를 입증하기 어려워 AI 도입 자체에 제동이 걸릴 수 있다는 점에서, 비용 가시성 확보는 기업 AI 전략의 핵심 과제로 부상하고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
