신경망 기반 오디오 코덱은 음성을 효율적으로 압축할 수 있어 음성 합성 같은 작업에 유용하게 쓰여 왔다. 하지만 이 코덱이 만들어내는 이산(discrete) 표현은 화자 인증(speaker verification) 과제에서 전통적인 스펙트럼 특징에 견주어 꾸준히 성능이 떨어지는 문제가 있었다. 연구진이 arXiv에 공개한 논문은 이 격차를 좁히는 방법을 제안했다.
연구진은 먼저 화자와 관련된 정보가 이산 토큰 안에 실제로 담겨 있다는 점을 확인했다. 문제는 표준적인 학습 방식이 그 정보를 제대로 끌어내지 못한다는 데 있었다. 즉 정보가 없는 것이 아니라 활용되지 못하고 있었던 셈이다.
이를 해결하기 위해 연구진은 교차 특징 지식 증류(CFKD, Cross-Feature Knowledge Distillation)라는 방법을 도입했다. 코덱 기반 모델이 성능이 뛰어난 Fbank 기반 참조 모델의 임베딩 공간을 모방하도록 학습시키는 방식이다. 이 과정은 토큰 안에 든 화자 정보를 효과적으로 활용하도록 구조화된 지도(supervision)를 제공한다고 연구진은 설명했다.
연구진은 VoxCeleb 데이터셋으로 실험한 결과 CFKD가 코덱 기반 시스템의 성능을 크게 끌어올려, Fbank 기반 모델의 정확도에 근접하는 수준에 이르렀다고 밝혔다. 이는 이산 오디오 토큰이 다양한 음성 관련 응용에서 쓰일 가능성을 보여주는 결과라는 설명이다. 효율적인 코덱 표현이 전통적 특징에 뒤진다는 한계를 지식 증류로 상당 부분 메웠다는 점에서 의미가 있다. 해당 논문은 동료 심사를 거치기 전 단계로 arXiv에 사전 공개됐다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
