엔비디아(NVIDIA)가 오디오와 텍스트를 하나의 모델로 처리하는 통합 대규모 언어 모델 ‘오덱스(Audex, Nemotron-Labs-Audex-30B-A3B)’를 공개했다. 이 모델은 음성과 오디오를 이해하고 생성하면서도 기반 모델의 텍스트 처리 능력을 그대로 유지하는 것이 핵심이다. 엔비디아는 함께 소형 변형 모델인 오덱스-2B도 내놨다. 별도의 ‘사고-발화 분리’ 구조나 여러 모델을 잇는 캐스케이딩 없이, 오디오 토큰과 텍스트 토큰을 하나의 구조에서 균일하게 다루도록 설계된 점이 특징이다.
구조적으로 오덱스는 전문가 혼합(MoE) 방식의 트랜스포머 디코더로, 전체 300억 매개변수 가운데 토큰당 30억 개를 활성화하는 30B-A3B 구성이다. 기반 모델은 52개 층으로 이뤄진 하이브리드 맘바-트랜스포머 ‘네모트론-캐스케이드-2-30B-A3B’로, 128개의 라우팅 전문가 중 6개를 활성화한다. 최대 100만 토큰의 컨텍스트를 지원하고 인스트럭트·씽킹 두 모드를 제공하며, 학습에는 메가트론-LM, 추론에는 vLLM 같은 표준 도구와 호환된다. 오디오 인코더로는 오디오 플라밍고 3(Audio Flamingo 3) 계열의 AF-위스퍼를 쓰고, 이산 오디오 출력을 담기 위해 어휘 규모를 13만1072개에서 20만5312개로 확장했다.
텍스트 지능 유지는 다단계 학습 설계로 달성했다. 텍스트 지도학습(SFT), 오디오 워밍업, 오디오 생성, 오디오 이해 순으로 진행하는 커리큘럼을 적용했는데, 오디오 워밍업 단계에서 텍스트 토큰 임베딩을 고정한 것이 핵심이었다. 실험에서 이를 풀자 텍스트 품질이 저하됐고, 단일 단계 혼합 학습을 시도하자 장문 검색 성능이 무너졌다. 학습 데이터는 오디오 토큰 1574억 개와 텍스트 토큰 3205억 개를 섞었으며, 이후 텍스트 전용 강화학습과 다중 도메인 온폴리시 증류를 추가로 적용했다. 앞서 엔비디아가 선보인 네모트론-랩스 확산 언어 모델과 같은 계열의 연구 흐름 위에 놓인 결과물이다.
성능 면에서 오덱스는 텍스트에서 MMLU-리덕스 기준 86.4점으로 기반 모델(86.3)과 사실상 동등한 수준을 유지했고, 일부 추론 과제에서는 오히려 앞섰다. 음성 인식에서는 오픈ASR 평균 단어오류율 6.82를 기록해 경쟁 모델을 앞섰고, 오디오 이해 부문 MMAU에서 75.6점으로 선두에 올랐다. 다만 라이선스는 상업 이용을 제한하는 엔비디아 원웨이 비상업 라이선스로 공개돼, 연구·비상업 용도에 한정된다. 모델 가중치는 허깅페이스에서, 논문은 아카이브(arXiv)에서 확인할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
