Treble Technologies와 허깅페이스(HuggingFace)가 2026년 6월 24일 원거리 음성인식(ASR, Automatic Speech Recognition) 성능을 실제 음향 조건에 준해 평가하는 공개 리더보드 FFASR(Far-Field ASR)를 출시했다. 기존 ASR 평가는 가까운 거리의 깨끗한 음성 데이터를 기준으로 삼아, AI 음성 에이전트·회의실 전사·인간형 로봇·차량 내 어시스턴트 등 실제 배포 환경을 반영하지 못한다는 한계가 지적돼 왔다. FFASR는 반향·배경 소음·마이크 거리 변화가 복합적으로 작용하는 조건에서 각 모델의 정확도와 실시간 처리 성능을 함께 공개한다.
리더보드는 현재 네 가지 조건으로 순위를 매긴다. 무반향 챔버에서 수집한 근거리(Dry) 음성, 고SNR(14dB 이상) 원거리, 중간SNR(8~12dB) 원거리, 저SNR(6dB 미만) 원거리가 기본 평가 항목이다. 여기에 실측 환경과 시뮬레이션 환경의 결과를 비교하는 실험실 검증 트랙, 그리고 화자가 이동하는 동적 음향 조건을 다루는 이동 화자 트랙(베타)이 추가돼 있다. 음향 데이터는 Treble Technologies의 하이브리드 파동 기반 시뮬레이션 엔진으로 생성됐으며, 20~470m³ 규모의 가구가 배치된 14개 방 유형(욕실·거실·사무실·강의실·레스토랑 등)을 포함한다. 각 장면에는 화자 1명과 기침 같은 일시적 소음, HVAC 같은 지속 소음 등 최대 3개 소음원이 3단계 SNR로 구성돼 있다.
공개 직후 나타난 첫 결과에 따르면, 제출된 모든 모델에서 저SNR 원거리 단어 오류율(WER)이 근거리 WER보다 수배 높게 나타났다. 즉 기존 대표 벤치마크에서 우수한 성적을 보인 모델도 실제 원거리 음향 조건에서는 성능이 크게 떨어지는 현상이 공개 수치로 확인됐다. 리더보드는 WER과 함께 RTFx(오디오 1초를 처리하는 데 소요되는 추론 시간의 역수)도 NVIDIA L4 GPU 동일 하드웨어 기준으로 제공해, 정확도와 지연시간의 절충점을 파레토 프런트로 시각화한다. Whisper 계열, IBM Granite Speech, Cohere Transcribe, Wav2Vec2, HuBERT 등 허깅페이스 허브에 등록된 대부분의 ASR 아키텍처를 별도 설정 없이 바로 제출할 수 있으며, 복잡한 전처리 파이프라인에는 커스텀 평가자 옵션도 지원한다.
향후 FFASR 로드맵에는 다중 화자 시나리오, 마이크 어레이 빔포밍 평가, 에코 제거 조건 등이 포함될 예정이다. 허깅페이스는 리더보드를 커뮤니티 중심으로 운영하며, 실제 배포 환경에서 성능 격차가 큰 사용 사례가 있으면 의견을 제출해 달라고 밝혔다. 이번 리더보드 출시는 AI 음성 인터페이스가 스마트폰·헤드셋 중심에서 로봇·스마트 글래스·차량 등 음향적으로 복잡한 환경으로 확대되는 추세 속에, 표준화된 실세계 평가 기준이 마련됐다는 점에서 주목받고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
