허깅페이스와 AI 반도체 스타트업 세레브라스가 실시간 음성 대화가 가능한 오픈소스 음성 AI 데모를 공동 공개했다. 두 회사는 개방형·모듈형 음성 AI 아키텍처에 세레브라스의 고속 추론 기술을 결합해, 사용자가 AI의 응답을 기다리지 않고 사람과 대화하듯 자연스럽게 주고받을 수 있는 경험을 구현했다고 밝혔다. 음성 AI에서는 지연시간이 사용자 경험을 좌우하는 핵심 요소로 꼽혀 왔는데, 그동안 모델 품질은 크게 개선됐지만 응답 속도가 여전히 발목을 잡아온 문제였다.
이번 데모의 파이프라인은 엔비디아의 음성 인식 모델 패러키트(Parakeet)로 음성을 입력받아, 구글 딥마인드의 언어모델 젬마(Gemma) 4 31B를 세레브라스 인프라에서 추론시킨 뒤, 알리바바의 큐원3TTS(Qwen3TTS)로 음성을 합성해 답하는 완전 개방형 구조로 이뤄져 있다. 각 구성 요소가 모듈식으로 설계돼 개발자가 자신의 어시스턴트나 로봇, 제품, 연구 프로젝트에 맞게 스택을 자유롭게 교체할 수 있다는 점이 특징이다. 허깅페이스와 세레브라스는 이를 두고 오픈소스 AI 생태계의 강점인 세레브라스의 빠른 추론, 구글 딥마인드의 언어모델, 알리바바 큐원의 음성합성을 하나로 엮은 사례라고 설명했다.
두 회사는 현재 상용 음성 AI 시스템들이 평균 응답 속도는 준수하더라도 상위 5% 구간에서는 수 초에 달하는 지연이 발생해 사용자 경험을 해친다는 점을 지적했다. 특히 도구 호출이나 멀티모달 처리가 여러 단계에 걸쳐 필요한 경우 이런 지연은 더욱 두드러진다. 세레브라스는 언어모델의 응답 속도를 획기적으로 끌어올리고 안정성을 높임으로써 허깅페이스 파이프라인 전체의 병목을 해소하는 역할을 한다고 회사 측은 설명했다. 허깅페이스가 앞서 대규모 강화학습 파이프라인의 학습 전송 비용을 줄인 사례를 선보인 것처럼, 이번에도 오픈소스 인프라 최적화에 힘을 쏟는 행보로 풀이된다.
허깅페이스는 이번과 동일한 음성-대-음성 파이프라인이 이미 소형 로봇 리치 미니(Reachy Mini)에 탑재돼 현재 9000대 이상 실제 사용되고 있다고 밝혔다. 로봇이나 음성 비서, 체화 AI 분야에서는 응답 속도가 단순한 부가 기능이 아니라 상호작용이 살아있게 느껴지는지를 좌우하는 요소라는 것이다. 회사 측은 세레브라스 도입의 목적이 단순한 비용 절감이 아니라 낮은 지연시간과 예측 가능한 성능, 대규모로 자연스러운 실시간 경험을 만드는 데 있다고 강조했다. 허깅페이스는 이번 데모와 관련 코드, 저장소를 공개하며 개발자들이 실시간 음성 AI의 다음 단계를 함께 만들어가길 기대한다고 밝혔다.
