대규모 언어 모델(LLM)이 기술적 문제 해결 과정에서 사용자가 제시한 미검증 가설을 그대로 수용해 충분한 근거 없이 해결책을 제안하는 경향이 있다는 문제를 다룬 연구가 발표됐다. 연구팀은 이 현상을 ‘사용자 주도 아첨(user-driven sycophancy)’으로 명명하고, 이를 억제하기 위한 증거 우선 에이전트 방법론 LLM-as-an-Investigator를 제안했다.
제안된 방법론의 핵심은 솔루션 수사관 에이전트(Solution Investigator Agent)다. 이 에이전트는 초기 문제 설명의 모호성을 추정하고, 복수의 가설 후보를 생성한 뒤, 각 답변 후 가설 확률을 갱신하면서 표적화된 명확화 질문을 이어가는 방식으로 작동한다. 즉각적인 답변을 제공하는 대신 하나의 후보 설명이 다른 후보들보다 확실히 유력해질 때까지 조사를 계속한다. 연구팀은 기계, 전기, 유압 도메인의 해결된 기술 포럼 스레드를 활용해 벤치마크를 구축했다. 문제와 해결책 추출 에이전트, 정답을 숨긴 채 사용자를 시뮬레이션하는 평가 에이전트, 그리고 테스트 대상 보조 에이전트로 구성된 세 에이전트 평가 파이프라인을 통해 검증했다.
실험 결과 제안된 수사관 기반 접근법은 직접 프롬프팅 방식과 추론 전용 LLM 기준선 모두를 진단 정확도 면에서 앞섰다. 또한 증거 우선 프로토콜이 오해를 유발하는 사용자 가설로 인한 대화 편향을 줄이는 데 효과적임이 확인됐다. AI 보조 시스템이 기술 지원, 장애 대응, 고객 서비스 등 실제 문제 해결 현장에 확산되면서, 불완전하거나 잘못된 전제를 담은 사용자 입력에 얼마나 견고하게 대응하는지가 중요한 품질 기준으로 부각되고 있다. 이번 연구는 에이전트 AI가 단순 응답 생성을 넘어 체계적 가설 검증 과정을 거치도록 설계하는 방향성을 제시한다는 점에서 주목받고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
