오디오 인코더 뉴런만 증폭해 비언어 음성 인식을 높인 IAAN

비언어 음성 단서를 더 잘 읽게 하려고 모델 전체를 다시 학습하는 대신, IAAN은 오디오 인코더의 일부 뉴런만 골라 증폭한다. 추론 때 상위 뉴런의 활성만 희소하게 증폭해 언어모델이 전사 의미가 아니라 성별·나이·감정·억양 같은 소리 단서를 더 사용하게 한다. 학습 데이터나 파라미터 업데이트는 필요 없다.

VoxParadox의 비의미적 음성 속성 10가지를 Audio-Flamingo-3, Qwen2.5-Omni, Kimi-Audio에 평가했다.

오디오 인코더 뉴런만 증폭해 비언어 음성 인식을 높인 IAAN 논문의 Figure 1 방법·결과 도표 — Figure 1. Fig. 1: Overview of IAAN. The encoder first runs on the real audio x and on a noise reference r to score each feed-forward neuron by its acoustic score si (Eq. (1)); the top-K neurons are then amplified during the encoder pass on the real audio that produces the answer. 출처: arXiv:2607.11801

기본 공개 모델의 평균 정확도는 7.6~21.2% 범위였고, 음향 정보 대신 언어 사전지식에 기대는 정도도 함께 측정했다. 음향 지각에 맞춰진 AF3-PD 변형도 별도로 시험했다.

모델	IAAN 평균 정확도 상승폭
Audio-Flamingo-3	25.7%포인트
Qwen2.5-Omni	21.4%포인트
Kimi-Audio	9.7%포인트

자료: STORIUM 정리.

평균 정확도 상승폭은 Audio-Flamingo-3에서 25.7%포인트, Qwen2.5-Omni에서 21.4%포인트, Kimi-Audio에서 9.7%포인트였다. AF3-PD는 70.5%에서 75.0%로 올랐고 억양 항목은 15.5%에서 56.0%로 상승했다. 단순 은닉상태 조향보다 희소 뉴런 증폭의 정확도가 네 모델 모두 높았다.

음성 인터페이스가 말의 내용뿐 아니라 화자 특성과 운율을 이해해야 하는 접근성·대화 분석에 적용 가능하다. 모델별 인코더 내부에 접근할 수 있어야 하며, 뉴런 선택이 다른 음향 분포에서도 유지되는지 점검해야 한다. 민감한 화자 속성 추론에는 개인정보와 편향 위험도 따른다.

VoxParadox의 10개 속성과 선택한 모델에 한정된 arXiv:2607.11801의 동료검토 전 결과다. 증폭 강도가 의미 인식과 일반 오디오 과제에 미치는 영향, 다른 음향 분포에서 뉴런 선택이 유지되는지는 별도 평가가 필요하다.