기업이 AI를 본격 도입하면 토큰 비용이 눈덩이처럼 불어날 수 있어 투자 대비 수익(ROI) 관점의 실행 전략이 중요하다는 진단이 나왔다. 이진형 KT AX사업본부장은 7일 서울 여의도 FKI타워에서 열린 ‘2026 한경 AX 서밋’에서 ‘AX 전략의 초점 변화: 도입에서 실행 경제성으로’를 주제로 발표하며 이같이 밝혔다. 이 서밋은 한경미디어그룹이 주최하고 한경닷컴과 한국소프트웨어산업협회(KOSA)가 주관했으며, 과학기술정보통신부와 정보통신산업진흥원(NIPA)이 후원했다.
이 본부장은 모델 단가가 낮아지더라도 더 많은 업무가 AI로 이전되면서 전체 사용량 자체가 늘어나는 구조라고 설명했다. 특히 기업용 에이전트 업무는 파일 시스템 확인, 도구 호출, 테스트와 재검증 등을 반복하기 때문에 개인 활용보다 토큰 소모가 훨씬 크다고 지적했다. 실제 사례로 워크플로우 디자이너가 한 달에 70만~80만원 수준의 AI 사용 비용을 쓰는 경우를 소개했고, 우버가 클로드 코드를 도입한 뒤 연간 AI 예산을 4개월 만에 소진했다는 사례도 언급했다. 이처럼 통제되지 않은 토큰 사용이 기업 AI 도입의 새 변수로 떠오르는 흐름은 STORIUM이 앞서 다룬 토큰 비용 폭증 문제와도 맞닿아 있다.
그는 AI ROI의 공식이 모델 성능에서 실행 역량으로 바뀌고 있다고 강조했다. 업무 난도와 목적에 따라 오픈소스·자체 모델을 섞어 쓰는 라우팅 전략을 제안하며, 항상 가장 비싼 모델이 정답은 아니라고 설명했다. 국산 AI 반도체를 활용해 추론 비용과 전력 사용량을 낮추는 방안도 중요하다고 덧붙였다. 아울러 AI 도입에 앞서 데이터 정비가 선행돼야 한다며, 기업이 막상 AI를 도입하려 들여다보면 데이터가 준비돼 있지 않은 경우가 많다고 지적했다.
이 본부장은 현업 부서와 IT 부서 간 워크플로우 설계 협업, 변동비와 운영비 최적화가 함께 이뤄져야 한다고 조언했다. 보안이 중요한 기업에는 외부 유출 없이 현장에서 처리하는 전용 대규모 언어 모델(LLM)과 GPU 인프라를 구축한 태국 기업 사례를 소개하기도 했다. 그는 인프라와 클라우드, 추론, 에이전트 운영비가 함께 최적화돼야 경영진에게 ROI를 설명할 수 있다고 결론지었다. AI 도입이 성과보다 비용 부담으로 돌아올 수 있다는 우려가 커지는 가운데, 이번 발표는 기술 도입 이후의 운영 경제성이 관건임을 짚었다.
저작권자 © STORIUM 무단전재 및 재배포 금지
