와이콤비네이터(YC) 출신 스타트업 인터페이즈(Interfaze)가 확산모델(diffusion model) 방식을 적용한 오픈소스 음성인식(ASR) 모델 ‘디퓨전-젬마-ASR-스몰(diffusion-gemma-asr-small)’을 공개했다. 회사 측은 이 모델이 하나의 어댑터로 6개 언어를 동시에 전사할 수 있는 최초의 다국어 오디오 확산 ASR 모델이라고 설명했다. 기존 음성인식 모델 대부분이 텍스트를 한 토큰씩 순차적으로 생성하는 자기회귀(autoregressive) 방식을 쓰는 것과 달리, 이 모델은 여러 토큰을 동시에 정제해나가는 확산 방식의 디코더를 사용한다는 점이 특징이다.
이 모델은 구글이 개발한 260억 파라미터 규모의 혼합전문가(MoE) 모델 ‘디퓨전젬마(DiffusionGemma)’의 확산 디코더를 기반으로 한다. 인터페이즈 연구팀은 프리즈된(고정된) 디퓨전젬마 백본 위에 약 4200만 개 파라미터 규모의 어댑터만 새로 학습시켰는데, 이는 전체 가중치의 약 0.16%에 불과하다. 오디오 입력 처리를 위해 프리즈된 위스퍼스몰(whisper-small) 인코더를 특징 추출기로 활용했으며, 여기서 나온 음성 특징을 작은 학습형 프로젝터가 압축해 디퓨전젬마의 프롬프트 슬롯에 삽입하는 구조다.
연구팀은 초기 학습 과정에서 프로젝터의 출력이 무작위 노이즈에 가까워 모델이 오디오 정보를 무시하고 학습이 정체되는 문제를 겪었다고 밝혔다. 이를 해결하기 위해 오디오 토큰을 디퓨전젬마의 고정된 출력층에 직접 통과시켜 CTC(Connectionist Temporal Classification) 손실 함수로 프로젝터를 별도로 지도학습하는 방식을 도입했고, 그 결과 학습이 정상적으로 진행됐다고 설명했다. 벤치마크 결과 리브리스피치(LibriSpeech) 테스트에서 단어 오류율(WER) 6.6%를 기록해, 기존 확산 기반 음성인식 모델인 위스퓨전(Whisfusion, WER 8.3%)보다 우수한 성능을 보였다고 밝혔다. 다만 자기회귀 방식인 오픈AI의 위스퍼(Whisper) 계열보다는 여전히 뒤처지는 것으로 나타났으며, 연구팀은 이 격차가 모델 구조보다는 학습 데이터 규모의 차이에서 비롯된 것으로 분석했다.
이 모델의 어댑터는 아파치(Apache)-2.0 라이선스로 공개돼 자유롭게 활용할 수 있으며, 기반이 되는 디퓨전젬마와 위스퍼스몰은 각각 별도 라이선스(구글 젬마 약관, MIT)를 따른다. 회사 측은 확산 방식의 특성상 전사 비용이 음성 길이가 아닌 디노이징 단계 수에 따라 결정된다는 점을 강조하며, 배치 전사 파이프라인이나 언어별 모델을 따로 두지 않아도 되는 다국어 서비스에 실질적인 이점이 있다고 설명했다.
