여러 소리가 뒤섞인 복잡한 환경에서 사람은 특정한 소리 하나에만 선택적으로 주의를 기울여 그 방향을 가늠할 수 있지만, 기존 딥러닝 기반 시스템은 이런 선택적 위치추정을 구현하기 어려웠다는 점에 착안한 새로운 AI 모델이 공개됐다. 연구진은 이 모델을 ‘셀렉트TSL(SelectTSL)’로 명명했으며, 관련 내용은 arXiv에 논문으로 게재됐다.
기존의 음원 위치추정(Sound Source Localization) 기술은 딥러닝을 적용해 상당한 성과를 거뒀지만, 대부분 활성화된 모든 음원의 위치를 한꺼번에 찾아낼 뿐 특정 음원만 선별하는 기능은 갖추지 못했다. 반대로 목표 음원 추출(Target Sound Extraction) 기술은 텍스트나 음성 같은 멀티모달 프롬프트를 이용해 원하는 소리를 추출할 수는 있지만, 정확한 위치추정에 필요한 다채널 공간 정보를 제대로 보존하지 못하는 한계가 있었다. 연구진은 이 두 기술의 간극을 메우기 위해 프롬프트 기반의 선택적 목표 음원 위치추정이라는 새로운 과제를 정의하고, 다중 음원이 뒤섞인 음향 환경에서 사용자가 지정한 목표 음원만을 위치추정하는 종단간(end-to-end) 구조인 셀렉트TSL을 제안했다.
셀렉트TSL의 핵심은 ‘프롬프트 기반 선택적 주의 모듈(PGSA)’이라는 구성 요소다. 이 모듈은 사용자가 지정한 프롬프트 정보를 반영한 임베딩을 생성하고, 이 임베딩을 활용해 채널 간 위상차(IPD) 신호를 정제하는 향상기를 안내한다. 정제된 위상 신호는 목표 음원의 크기 정보와 결합해 도래각(DoA, Direction of Arrival)과 목표 음원의 개수를 동시에 추정하는 데 쓰인다. 연구진은 이 같은 결합 설계를 통해 사용자가 지정한 목표의 공간적 단서에 집중하면서도, 시간에 따라 목표 음원의 수가 변하는 상황까지 함께 처리할 수 있다고 설명했다.
연구진은 합성 데이터와 실제 환경에서 녹음한 데이터 모두를 대상으로 실험을 진행했으며, 셀렉트TSL이 기존 비교 모델들을 일관되게 앞서는 성능을 보였고 실제 음향 환경에서도 강건한 일반화 성능을 나타냈다고 밝혔다. 이번 연구는 스마트 스피커나 보청기, 로봇 청각 시스템 등 여러 소음원이 혼재하는 실제 환경에서 특정 화자나 소리만을 정확히 추적해야 하는 응용 분야에 실질적인 기술적 토대를 제공할 것으로 보인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
