미소 랩스(Miso Labs)가 80억 개(8B) 매개변수 규모의 텍스트 음성 변환(TTS·Text-to-Speech) 모델 ‘MisoTTS’를 수정 MIT 라이선스로 공개했다. 이 모델은 텍스트뿐 아니라 음성 맥락 정보를 동시에 입력받아 화자의 어조와 감정에 반응하는 표현력 있는 음성을 생성한다는 점에서 기존 TTS 시스템과 차별화된다.
MisoTTS의 핵심 기술은 잔차 벡터 양자화(RVQ·Residual Vector Quantization)다. 기존 트랜스포머 기반 TTS는 고정 크기의 단일 어휘 공간에서 토큰을 생성하기 때문에 음고·리듬·감정·억양 등 인간 음성의 다양성을 표현하는 데 한계가 있었다. RVQ는 하나의 오디오 토큰을 32개 코드북의 인덱스 벡터로 표현해 어휘 공간을 폭발적으로 확장한다. 미소 랩스에 따르면 이 방식으로 약 2048의 32승에 해당하는 주소 가능 토큰을 확보하면서도 모델 매개변수 수는 늘리지 않는다. 아키텍처는 시간 축을 처리하는 77억 매개변수 규모의 백본 트랜스포머와, 각 프레임의 나머지 코드북 인덱스를 예측하는 3억 매개변수 규모의 디코더로 나뉜다. 텍스트 어휘는 12만 8256개 토큰이며, 최대 시퀀스 길이는 2048로 설정돼 있다.
미소 랩스는 MisoTTS의 추론 지연을 110ms라고 주장하며, 엘레벤랩스(ElevenLabs) 700ms, 세사미(Sesame) 300ms와 비교했다. 다만 이 수치는 자사 측정값으로, 제3자 독립 검증은 아직 이뤄지지 않았다. 현재 모델은 반이중(half-duplex) 방식으로 동작해 대화 중 차례 전환 기능은 지원하지 않으며, API 접근은 공지만 된 상태로 실제 제공은 아직 시작되지 않았다. 모델 가중치는 허깅페이스(HuggingFace)를 통해 내려받을 수 있으며, 로컬 배포가 가능해 민감한 음성 데이터를 외부로 보내지 않아도 된다는 점도 장점으로 꼽힌다.
감정 표현이 가능한 음성 합성 기술은 AI 비서·고객 서비스·콘텐츠 제작 등 다양한 분야에서 수요가 높아지고 있다. MisoTTS가 오픈웨이트로 공개된 만큼, 연구자와 개발자들이 다양한 방식으로 모델을 활용하고 검증할 기회가 열릴 것으로 보인다. 지연 시간이나 음질에 대한 독립적인 평가 결과가 쌓일수록 실제 상용화 가능성에 대한 윤곽도 뚜렷해질 전망이다.
