AI 에이전트가 사용자에게 명확한 선호가 이미 존재한다고 가정하는 기존 설계 방식에 근본적 결함이 있다는 연구 결과가 나왔다. 해당 논문은 대다수 AI 에이전트가 작업이 충분히 구체화되지 않았을 때 사용자에게 명료화 질문을 던지는 방식에 의존하지만, 이는 사용자가 이미 완결된 선호를 갖고 있다는 비현실적 전제에 기반한다고 지적한다. 실제로는 사용자가 특정 분야에 대한 도메인 지식이 부족해 스스로도 선호를 명확히 특정하지 못하는 경우가 많으며, 이 경우 에이전트가 예시나 설명을 통해 사용자가 관련 지식을 학습하도록 돕지 않으면 선호 자체를 형성하기 어렵다는 것이 연구진의 문제의식이다.
연구진은 이런 문제의식을 이론적으로 정식화하기 위해 정보경제학(Information Economics)의 ‘탐색재-경험재-신뢰재(Search-Experience-Credence)’ 프레임워크를 끌어와, 사용자가 에이전트와의 대화 행동을 통해 선호를 구성해가는 과정을 모델링한 ‘CoPref’를 제안했다. 이를 바탕으로 에이전트형 추천 시스템에서 이 개념을 구체적으로 검증하기 위한 대화형 벤치마크 ‘CoShop’도 함께 설계했다.
CoShop 벤치마크에서 에이전트는 CoPref 모델을 따르는 가상의 사용자와 대화를 나누며 상품 등을 추천하는 역할을 수행한다. 이 벤치마크에서 에이전트의 성능은 단순히 적절한 상품을 찾아내는 능력이 아니라, 사용자가 자신이 무엇을 원하는지 더 잘 알게 되도록 지식을 확장시켜주는 능력에 좌우되도록 설계됐다. 연구진이 최상위권 프론티어 모델 다섯 개를 대상으로 평가한 결과, 다섯 차례의 대화 턴을 거치고도 어떤 모델도 CoShop에서 56%를 넘는 정확도를 기록하지 못한 것으로 나타났다.
연구진은 이런 저조한 성능의 원인이 에이전트의 상품 탐색 능력 부족에 있는 것이 아니라, 대화 과정 자체가 사용자의 지식과 이해를 거의 확장시키지 못하는 데 있다고 분석했다. 즉 에이전트가 질문을 던지고 답을 얻는 데는 능숙하지만, 사용자가 스스로 원하는 바를 더 명확히 알아가도록 돕는 데는 취약하다는 뜻이다. 이번 연구는 향후 AI 에이전트 설계가 단순한 질의응답형 명료화를 넘어, 사용자와 함께 선호 자체를 구축해나가는 방향으로 전환될 필요가 있음을 시사한다.
