인공지능(AI) 서비스 수요가 폭증하면서 산업의 핵심 수익원이 ‘모델 개발’에서 ‘추론(inference) 인프라’로 빠르게 이동하고 있다. 이 흐름을 타고 기존 대형 클라우드 사업자에 이어 새로운 AI 추론 인프라 스타트업들의 몸값도 치솟고 있다. 미국의 추론 솔루션 스타트업 베이스텐은 최근 10억 달러(약 1조 5000억 원) 규모의 신규 투자를 논의 중인 것으로 알려졌다.
베이스텐의 기업 가치는 110억 달러(약 16조 5100억 원)로 평가되는데, 이는 수개월 전 평가받은 50억 달러의 두 배를 넘는 수치다. 이 회사는 기업이 오픈소스 AI 모델을 서비스 환경에 배포·운영하도록 돕는 플랫폼을 운영한다. 개발자들은 메타의 ‘라마’나 ‘딥시크’ 같은 모델을 베이스텐 인프라에서 실행하고 응용프로그래밍인터페이스(API) 형태로 서비스할 수 있다. 매출도 폭발적으로 늘어, 연간 반복 매출(ARR)이 1분기 초 2억 달러에서 분기 말 6억 달러로 세 배 증가했다.
경쟁사 모달 랩스도 시리즈C 라운드에서 3억 5500만 달러를 확보하며 기업 가치 46억 5000만 달러로 평가받았다. 지난해 9월의 11억 달러에서 네 배로 불어난 결과다. 모달 랩스 CEO는 ‘지난 6개월 동안 바이브 코딩이 모든 것을 이끌어왔다’며 고객사에 바이오테크 기업과 헤지펀드 등이 포함된다고 밝혔다. 또 다른 업체 투게더 AI도 ARR 10억 달러를 넘긴 뒤 75억 달러 기업 가치로 투자를 유치했다.
전문가들은 AI 시장의 중심축이 모델 학습에서 추론으로 옮겨가고 있다고 분석한다. 초기에는 대규모 언어모델 개발 자체에 컴퓨팅 인프라가 집중됐지만, 이제는 사용자 증가로 모델을 서비스에 연결하고 대규모 트래픽을 처리하는 능력이 중요해졌다는 것이다. 특히 기업들이 비용 절감과 데이터 통제를 이유로 오픈소스 모델 활용을 확대하면서 추론 인프라 기업의 중요성이 커지고 있다.
리스크도 지적된다. 그래픽처리장치(GPU) 가격 급등과 공급 부족이 겹치면 수익성이 떨어질 수 있고, 폐쇄형 모델 선호가 심해지면 사용량이 줄 수 있다. 다만 기업들은 고성능 폐쇄형 모델과 저렴한 오픈소스 모델을 목적에 따라 병행하는 전략을 넓히는 추세다. 국내 AI 서비스 기업으로서도 추론 인프라의 선택과 비용 구조는 사업성을 좌우하는 핵심 변수로 떠오르고 있다.
