미국 AI 인프라 기업 투게더AI(Together AI)가 오픈 웨이트 모델을 위한 전용 추론 용량 상품 ‘프로비저닝 처리량(Provisioned Throughput)’을 공개했다. 미니맥스(MiniMax) M3와 GLM-5.2를 시작 모델로 지원하며, 이후 지원 모델을 확대할 계획이다. 기존에 서버리스 추론과 전용 GPU 임대 사이에서 선택해야 했던 기업들에게 예측 가능한 성능을 보장하는 중간 선택지를 제공하는 것이 핵심이다.
투게더AI는 기존 서버리스 방식이 개발 단계에는 적합하지만 프로덕션 환경에서는 처리량이 들쭉날쭉하다는 한계를 지적했다. 반대로 전용 GPU 임대는 통제권은 확보되지만 용량 계획과 서빙 스택을 직접 운영해야 하는 부담이 있다. 프로비저닝 처리량은 폐쇄형 모델 사업자가 제공하던 토큰 기반 용량 계약의 안정성을 오픈 모델에 적용하려는 시도로, 처리량 용량을 독점적으로 확보하는 단위인 ‘PTU(Provisioned Throughput Unit)’를 도입했다.
가격은 PTU 1개당 분당 0.05달러다. 입력 토큰, 캐시된 입력 토큰, 출력 토큰이 각각 다른 속도로 용량을 소모하는 구조다. 미니맥스 M3 기준으로 PTU 1개는 분당 입력 토큰 13만8840개, 캐시된 입력 토큰 69만4200개, 또는 출력 토큰 2만3140개를 처리한다. 완전 가동 시 비용은 100만 토큰당 입력 약 0.36달러, 출력 약 2.16달러 수준으로, 투게더AI는 이를 클로드 오퍼스 4.8(Claude Opus 4.8)의 정가 대비 최대 90% 낮은 비용이라고 설명했다. 트래픽 형태에 따라 용량 소모 속도는 달라지지만 보장 수준은 변하지 않는다는 것이 회사 측 설명이다.
서비스는 북미와 유럽·중동·아프리카(EMEA) 등에서 즉시 이용할 수 있으며, 99% 가동률 서비스수준협약(SLA)이 보장 용량을 뒷받침한다. 최소 계약 기간은 1개월이며 약정 규모가 클수록 할인이 적용된다. 미니맥스의 린다 셍(Linda Sheng) 글로벌 사업 총괄은 투게더AI의 프로비저닝 처리량이 안정성을 요구하는 워크로드를 실행할 방법을 제공한다고 밝혔다. 오픈 모델을 실서비스에 투입하려는 기업이 늘면서, 성능 예측 가능성을 상품화하려는 인프라 경쟁이 본격화하는 모습이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
