Together AI가 자체 개발한 음성 인식(STT) 추론 스택의 설계 방법론을 공개했다. NVIDIA Parakeet-TDT 0.6B v3 모델을 기반으로 구축한 이 시스템은 독립 벤치마크 기관 아티피셜 애널리시스(Artificial Analysis)의 배치 처리 평가에서 최저 지연 모델 중 하나로 선정됐으며, 실시간 대비 850배 속도로 약 20시간 분량의 음성을 10초 이내에 전사한다. 해리 포터 영화 시리즈 전체 상영 시간에 해당하는 오디오를 10초 안에 처리하는 수준이다.
Together AI가 이 수치를 달성한 핵심은 GPU 최적화와 CPU 전처리 경로를 동시에 공략한 풀패스(full-path) 시스템 접근법에 있다. NVIDIA TensorRT 멀티프로필 엔진으로 인코더를 컴파일해 200밀리초부터 30초까지 다양한 입력 길이에 대응하고, 조건부 CUDA 그래프(Conditional CUDA Graphs)를 디코더 제어 흐름에 적용해 디코더 처리 속도를 2~3배 끌어올렸다. 전체 모델 가중치의 약 95%를 차지하는 인코더를 최대한 GPU에 고정하고, 디코더 루프도 GPU로 이전해 CPU-GPU 간 동기화 왕복에서 발생하는 지연을 제거했다. CPU 측에서는 유닉스 도메인 소켓과 공유 메모리 제로카피(zero-copy) 경로로 프로세스 간 데이터 전달 오버헤드를 최소화하고, 파이썬 가비지 컬렉션을 고정해 미리 할당된 상태의 95번째 백분위수 지연 스파이크를 제거했다.
Parakeet-TDT 0.6B v3는 NVIDIA가 170만 시간의 오디오 데이터로 학습시킨 모델로 25개 유럽 언어 자동 감지를 지원하며, 인코더-디코더 구조에서 인코더에 대부분의 연산이 집중된 비대칭 설계를 특징으로 한다. Together AI는 이 모델 외에 OpenAI 위스퍼(Whisper) Large v3도 함께 서빙하고 있다. 한국어 지원 여부는 공식 발표에서 확인되지 않았으며 현재 지원 언어는 유럽 언어 중심이다.
이번 기술 공개는 STT 인프라 비용과 처리 지연을 결정짓는 스택 설계 방법론을 상세히 담고 있어 음성 AI 서비스 도입을 검토하는 엔지니어에게 직접적인 참고 자료가 된다. GPU 인퍼런스 최적화와 시스템 수준 CPU 전처리를 통합해 단일 구성 요소가 아닌 전체 경로를 최적화한 사례로, 배치 음성 처리 파이프라인 설계의 실증 사례를 공개 블로그로 제시했다는 점에서 의미가 있다. 실시간 스트리밍보다 대용량 배치 처리에 특화된 구조이므로, 대규모 음성 데이터 전사·콜센터 로그 분석 등의 활용 시나리오와 적합성이 높다.
