텐센트 훈위안과 칭화대 연구팀이 AI 검색 에이전트가 여러 단계로 이어지는 조사 과제에서 실패하는 진짜 원인은 검색 능력 자체가 아니라, 질문이 모호할 때 사용자에게 되묻지 못하는 데 있다는 새 벤치마크 결과를 내놓았다. 연구팀에 따르면 반복적으로 검색만 계속하는 방식은 오히려 그냥 답을 추측하는 것보다 성능이 떨어지는 경우가 많았다.
연구팀이 만든 벤치마크 디스코벤치(DiscoBench)는 모델이 긴 검색 사슬 도중 스스로 모호함을 알아채고, 표적화된 후속 질문을 던지고, 조사 경로를 수정할 수 있는지 확인하는 프레임워크다. 기존의 GAIA나 브라우즈컴프(BrowseComp) 같은 벤치마크는 사용자 질의가 완전하고 명확하다고 가정했지만, 실제 질의는 모호하거나 불완전하거나 아예 잘못된 경우가 많다는 문제의식에서 출발했다. 디스코벤치는 비디오게임·스포츠·음악·영화·과학·정치 등 11개 지식 영역에 걸쳐 211개 과제, 463개의 모호성 지점을 담고 있으며, 각 과제는 여러 체크포인트로 나뉘어 에이전트가 매 지점에서 검색 계속·사용자에게 되묻기·답변 제시 중 하나를 선택하도록 설계됐다.
연구팀은 클로드 오퍼스 4.7, GPT-5.4, 제미나이 3.1 프로 프리뷰, 도우바오 시드2.0 프로, 딥시크 V4 프로, 키미 K2.6, GLM 5.1, 큐원3.6 맥스, 미니맥스 M2.7, 미모 v2.5 프로, 훈위안 3.0 프리뷰 등 최근 6개월 내 출시된 11개 모델을 테스트했다. 모호성에 대한 명시적 힌트가 없는 상태에서는 도우바오 시드2.0 프로가 43.1%로 가장 높은 전체 정확도를 기록했고 제미나이 3.1 프로가 40.8%, 클로드 오퍼스 4.7이 39.8%로 뒤를 이었다. 반면 미니맥스 M2.7과 큐원3.6 맥스는 각각 16.1%와 12.3%에 그쳤다. 오퍼스 4.7은 개별 체크포인트의 57%를 정확히 풀었음에도 전체 완주 정확도는 39.8%에 머물러, 하나의 미해결 모호성이 전체 사슬을 무너뜨릴 수 있음을 보여줬다.
시스템 프롬프트에 모호성을 주의하고 필요시 되물으라는 지침을 명시한 ‘가이드’ 모드에서는 10개 모델 평균 전체 정확도가 28.6%에서 33.7%로 올랐고, 모호성 탐지의 F1 점수는 45.3%에서 64.9%로 더 크게 뛰었다. 그러나 이 힌트는 대체로 모호성을 발견하는 데만 도움이 됐을 뿐 실제 완주 성공률 개선으로는 잘 이어지지 않았으며, 클로드 오퍼스 4.7의 경우 체크포인트 통과율이 올랐음에도 전체 정확도는 오히려 소폭 떨어졌다. 행동 패턴 분석에서는 검색 후 되묻는 방식이 93.4%의 성공률을 보인 반면, 되묻지 않고 바로 추측하는 방식은 56.5%, 반복 검색 후에도 결국 추측으로 끝내는 방식은 51.9%로 가장 낮았다.
연구팀은 검색 도구 접근이 없으면 모델 성능이 급락한다는 점도 확인했다. 도우바오 시드2.0 프로는 43.1%에서 2.4%로, 제미나이 3.1 프로는 40.8%에서 19.9%로 떨어져 디스코벤치가 모델이 이미 아는 지식만으로는 풀 수 없도록 설계됐음을 보여줬다. 연구팀은 향후 검색 에이전트가 검색 과정에서의 불확실성을 사용자와의 상호작용으로 전환하는 메커니즘을 갖춰야 한다고 결론지었으며, 앤트로픽이 최신 모델 클로드 오퍼스 4.8에서 불확실성을 더 자주 표시하도록 조정한 사례나 퍼플렉시티가 검색 워크플로를 파이썬 코드로 작성하게 하는 ‘서치 애즈 코드’ 접근도 같은 문제의식에서 나온 시도로 소개됐다.
