디지털 비서, 스마트 스피커, 고객 응대 봇 등 음성 기반 AI가 일상에 깊이 들어오면서, 이들 모델이 숨겨진 오디오 공격에 취약하다는 연구 결과가 나왔다. 음성을 분석하고 생성하는 대규모 오디오-언어모델(LALM)은 이제 외부 서비스와 통신하고 다른 앱·도구를 조작하는 능력까지 갖춰, 공격의 파장이 더 크다.
연구진은 마이크로소프트와 미스트랄의 상용 음성 서비스를 포함한 주요 오픈 모델 13종을 시험했다. 그 결과 모델을 꾀어 민감한 웹 검색을 수행하게 하고, 공격자가 통제하는 출처에서 파일을 내려받게 하며, 사용자 데이터가 담긴 이메일을 보내게 만들 수 있었다. ‘오디오하이재크(AudioHijack)’로 명명된 이 기법은 신호를 학습시키는 데 30분이면 충분하고, 맥락과 무관해 사용자가 무슨 말을 하든 원할 때 공격에 쓸 수 있다.
이 기법은 오랜 ‘적대적 오디오’ 연구를 잇는다. 기존 연구가 음성 인식 같은 단방향 작업에서 모델이 잘못 예측하게 만드는 데 집중했다면, 이번 연구는 응답을 생성하고 행동까지 취하는 생성형 모델을 노린다는 점이 다르다. 모델이 오디오 형태로 명령을 받을 수 있다는 설계상의 허점을 파고든 것이다.
연구를 주도한 중국 저장대의 연구자는 한 번 학습시킨 공격 신호를 맥락과 무관하게 재사용할 수 있다는 점을 위험 요소로 꼽았다. 텍스트 입력은 어느 정도 검증 절차를 거치지만, 오디오는 사람이 듣지 못하는 영역에 명령을 숨길 수 있어 방어가 더 까다롭다. 음성으로 외부 도구까지 조작하는 모델이 늘수록 이런 허점의 파장은 커진다.
음성 AI가 단순 인식을 넘어 실제 행동을 수행하는 에이전트로 진화할수록, 이런 보안 취약점은 더 큰 위협이 된다. 국내에서도 음성 기반 AI 서비스가 결제·기기 제어로 확장되는 만큼, 오디오 입력 자체를 신뢰할 수 없는 통로로 보고 방어 설계를 갖추는 일이 중요한 과제로 떠오르고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
