Interfaze AI 연구진은 음성을 토큰 하나씩 내보내는 자기회귀 방식 대신, 전체 전사문을 여러 차례 동시에 다듬는 이산 확산 언어모델을 시험했다. 260억 매개변수 혼합전문가 모델 DiffusionGemma의 본체와 Whisper 음성 인코더는 고정하고, 음성 특징을 임베딩으로 옮기는 투영기와 저랭크 어댑터 등 약 4,200만 개 매개변수만 학습했다. 이는 본체의 0.16%다.
학습 자료는 LibriSpeech 100시간 clean 부분집합, 6개 언어 FLEURS, VoxPopuli를 합쳐 약 219시간이다. 영어 모델에서 시작해 다국어 모델을 이어 학습했으며, 논문이 공개한 최적화 설정의 실행에는 H100 한 장을 사용했다. 음성 특징은 188개 토큰으로 줄여 인코더 입력에 넣고, 추론 때는 무작위 토큰 캔버스를 8단계 병렬 잡음제거로 전사문으로 바꿨다.
일반 학습 목표만으로는 모델이 음성을 무시하는 접지 실패가 나타났다. 연구진은 고정 출력 헤드를 통과하는 CTC 손실을 추가해 이 교착을 풀었다고 보고했다. LibriSpeech test-clean 100개 발화에서 단어오류율은 6.6%였고, FLEURS 영어 150개에서는 8단계 기준 15.7%와 실시간의 14.9배 처리속도를 기록했다. Hindi와 Mandarin 평가는 각각 300개 발화의 문자오류율 15.8%, 29.6%다.
결과는 확산 디코더가 음성을 병렬 처리할 수 있음을 보이지만 자기회귀 Whisper를 넘어섰다는 뜻은 아니다. 논문은 시험한 모든 벤치마크에서 Whisper보다 뒤졌고, 논문의 Whisper 비교값은 공개된 성능 범위이고, 다른 확산 음성인식 모델 수치는 각 논문 저자가 보고한 값으로 동일 조건의 통제 재실행이 아니다. 30초 입력창 때문에 실제 스트리밍은 불가능하며, 짧은 발화에서 생기는 반복 산출물은 현재 후처리 단계에서 제거한다고 설명했다.
| 검증 항목 | 확인 내용 |
|---|---|
| 학습 규모 | 약 219시간, H100 1장 |
| 학습 매개변수 | 약 4,200만 개, 본체의 0.16% |
| LibriSpeech test-clean | WER 6.6%, n=100 |
| FLEURS 영어 8단계 | WER 15.7%, 실시간의 14.9배, n=150 |
| 핵심 제한 | 30초 입력창·비통제 기준 비교·반복 후처리 |
이 연구의 핵심은 대규모 언어모델을 새로 훈련하지 않고도 음성 경로를 붙일 수 있다는 점과, 손실곡선 개선만으로 실제 음성 접지를 보장할 수 없다는 관찰이다. 공개일은 2026년 7월 14일이며 논문 식별자는 arXiv:2607.13013이다. 동료검토 전 프리프린트다. 원문: https://arxiv.org/abs/2607.13013
저작권자 © STORIUM 무단전재 및 재배포 금지
