음성 재구성 모델에 의한 왜곡에도 워터마크가 살아남을 수 있도록 원본 음성의 특징 분포와 워터마크를 정렬하는 새로운 음성 워터마킹 기법이 발표됐다. 기존 오디오 워터마킹 방법들은 지각 품질을 보존하기 위해 높은 충실도와 낮은 에너지 설계를 채택해 왔다. 그러나 이 방식은 음성 재구성 모델이 워터마크를 제거하거나 억제할 때 강건성이 크게 떨어지는 문제가 있었다. 워터마크 에너지를 높이면 강건성이 향상되지만 지각 품질이 저하되는 내재적 트레이드오프가 이 문제의 핵심이었다.
연구팀이 제안한 특징 정렬 워터마킹 방법은 워터마크를 원본 음성의 특징 분포와 일치시킴으로써, 에너지를 높이더라도 워터마크가 음성처럼 들려 지각 품질이 유지되도록 한다. 구체적으로는 사전 학습된 음성 코덱을 사용해 가상 음성 워터마크를 생성하고, 이를 입력 오디오의 스펙트로그램에 융합한다. 음성 활성 감지(VAD) 손실과 지각 손실이 유성음 구간 내 임베딩을 안내한다.
실험에서 이 방법은 기존 접근법과 유사한 수준의 비감지성을 유지하면서, 학습 과정에서 본 것과 보지 못한 음성 재구성 모델 양쪽에서 강건성을 크게 향상시켰다. 음성 재구성 모델이 의도치 않게 워터마크를 지우는 문제는, 개별 음성 재구성 모델들이 고유한 방식으로 음성 신호를 처리하기 때문에 기존 방법으로는 대응이 어려웠다.
AI 음성 합성 기술의 발전으로 목소리 위조와 딥페이크 음성이 확산되는 가운데, 음성 콘텐츠의 출처를 추적하고 조작 여부를 판별하는 워터마킹 기술의 중요성이 높아지고 있다. 음성 재구성 모델을 통한 워터마크 제거 공격은 이 기술의 주요 취약점으로 꼽혀 왔다. 이번 연구는 특징 공간 정렬을 통해 강건성과 품질을 동시에 확보하는 새로운 방향을 제시한다는 점에서 음성 AI 보안 연구에서 의미 있는 진전으로 평가된다.
