토마스 테보(Thomas Thebaud), 로레아노 모로벨라스케스(Laureano Moro-Velazquez) 등이 참여한 연구팀이 실시간 음성 대화 인공지능(AI)이 얼마나 자연스럽게 답하는지를 평가하는 새로운 벤치마크 ‘SPEARBench’를 공개했다. 음성-음성 언어모델은 사용자의 말에 합성 음성으로 곧바로 답하는 방식으로 작동하는데, 기존 음성·텍스트 벤치마크는 실제 대화에서 중요한 요소인 응답 타이밍, 말차례(turn-taking), 억양, 대인관계상의 태도, 언어·방언 일관성 등을 함께 평가하지 못한다는 게 연구팀의 문제의식이다.
SPEARBench는 다중 화자 상호작용을 담은 ‘Seamless Interaction’ 말뭉치를 기반으로 통제된 대화 프롬프트를 구성하고, 여러 모델에 대해 추론을 수행한 뒤 다차원 평가 프로토콜로 답변을 채점하는 방식으로 설계됐다. 평가 항목에는 응답 지연시간, 대화 끼어들기(interruption), 음성 품질, 자동음성인식(ASR) 강건성, 언어·방언 일관성, 감정적 자연스러움, 대인관계상의 태도, 설명 가능한 분포 기반 기준선 등이 포함된다. 벤치마크에는 사람이 직접 답한 음성을 기준(reference) 조건으로 함께 담아 여러 현세대 모델의 결과와 비교할 수 있도록 했다.
연구팀은 평가 결과 현재의 음성 대화 모델들이 신호 수준의 품질은 높고 음성인식 오류율도 낮지만, 응답 지연시간과 발화 겹침, 방언 보존, 감정적 적응, 대인관계상의 태도 변화 등에서는 여전히 사람의 대화 방식과 차이를 보인다고 밝혔다. 이는 음성 AI가 단순히 정확한 답을 빠르게 생성하는 것을 넘어, 실제 대화 상대처럼 자연스러운 상호작용을 구현하기까지 아직 해결할 과제가 남아 있음을 보여준다.
SPEARBench는 실시간 음성 비서, 콜센터 자동화, 다국어 통역 등 음성-음성 AI가 실제 서비스로 확산되는 가운데 등장한 만큼, 관련 업계에서 모델의 대화 품질을 정량적으로 비교하는 표준 도구로 활용될 가능성이 있다. 연구팀은 벤치마크와 평가 프로토콜을 공개해 후속 연구를 지원한다고 밝혔다.
