미국 소프트웨어 기업 워카토가 주력으로 쓰던 AI 모델 클로드의 요금 체계가 사용량 기반 종량제로 바뀐 첫날, 지출이 7배나 급증하며 재정적 충격을 겪은 것으로 전해졌다. 전 직원에게 AI 에이전트를 도입해 AI 전환(AX) 성공 사례로 꼽혀온 이 회사의 사례는, 무분별한 AI 도입이 예상 밖의 비용 부담으로 이어질 수 있음을 보여주는 상징적 사건으로 거론되고 있다.
이런 사례가 늘면서 기업들의 AI 전략은 사용량을 무조건 늘리는 방식에서 비용 대비 성과(ROI)를 극대화하는 방향으로 옮겨가고 있다. 업계에서는 이를 두고 연초까지 유행했던 ‘토큰 맥싱’과 대비해 ‘토큰 다이어트’라는 표현이 쓰이고 있다. AI 기술 발전으로 토큰 단가는 2020년 대비 99.7% 낮아졌지만, 스스로 검색·추론·수정을 반복하고 외부 도구까지 호출하는 AI 에이전트가 대중화되면서 작업 1건당 소비되는 토큰량이 기존 챗봇 대비 최소 50배에서 최대 500배까지 늘어난 것으로 파악됐다. 골드만삭스는 전 세계 토큰 소비량이 올해 월 5000조 개에서 2030년에는 월 12경 개로, 24배가량 증가할 것으로 내다봤다.
이에 따라 우버·월마트·아마존·메타 등 글로벌 기업과 국내 기업들도 사내 AI 사용량 통제에 나선 것으로 전해졌다. 우버는 AI 예산을 넉 달 만에 소진한 뒤 직원 1인당 월 1500달러의 한도를 도입했고, 메타도 직원별 토큰 사용 한도 도입을 검토 중인 것으로 알려졌다. 국내에서는 안랩이 깃허브 코파일럿 사용량을 월 3000크레디트로 제한했으며, 넷마블과 NHN, 크래프톤 등도 비슷한 한도 도입을 검토하고 있는 것으로 전해졌다. 단순 번역이나 요약 같은 가벼운 작업에는 미국 프런티어 모델보다 훨씬 저렴한 중국산 모델이나 소형언어모델(SLM)을 투입하고, 고난도 업무에만 고성능 모델을 쓰는 ‘모델 다변화’ 전략도 확산하고 있다.
기업들이 지출을 조이기 시작하자 AI 공급 기업들도 새로운 과금 모델로 대응에 나섰다. 세일즈포스는 고객 서비스용 AI 에이전트에 사용량이 아닌 문제 해결 성과를 기준으로 요금을 매기는 방식을 도입했으며, 클라우드제로·밴티지·파이나웃 등 글로벌 업체들은 오픈AI·앤트로픽 등 여러 공급사의 이용료와 클라우드 비용을 통합 추적하는 ‘AI 핀옵스’ 솔루션을 선보이고 있다. 클라우드 비용 최적화 방법론에서 출발한 핀옵스가 GPU 사용량과 대규모언어모델(LLM) 호출료, 토큰 사용량까지 아우르는 영역으로 확장되고 있는 셈이다.
