복잡한 질문에 답하기 위해 여러 정보 소스를 탐색하고 종합하는 ‘딥 리서치(Deep Research)’ AI 에이전트의 성능을 강화학습(RL)으로 개선하는 방법론이 arXiv에 공개됐다. 이 연구는 플래너(planner) 모듈을 강화학습의 중심에 놓고, 연구 계획의 구조적 질을 반영하는 보상 함수를 설계하는 ‘플래너 중심 강화학습’을 제안한다. 딥 리서치 에이전트는 GPT나 클로드(Claude) 등의 AI가 웹 검색, 문서 분석, 다단계 추론을 거쳐 심층 분석 보고서를 생성하는 기능으로, 최근 주요 AI 기업들이 경쟁적으로 출시하고 있는 서비스다.
연구팀은 기존 딥 리서치 에이전트 훈련에서 최종 출력물의 정확성만을 기준으로 삼는 보상 설계가 비효율적임을 지적했다. 연구 계획의 질, 탐색 전략의 다양성, 중간 결과의 통합 방식 등 과정 측면의 구조를 무시하기 때문이다. 제안된 구조 인식 보상(Structure-Aware Reward)은 플래너가 세운 연구 계획이 얼마나 체계적이고 포괄적인지, 다양한 관점을 균형 있게 탐색하는지 등을 보상 신호에 반영한다. 이를 통해 에이전트가 단순히 정답에 도달하는 것을 넘어, 신뢰할 수 있는 연구 과정을 거쳐 결론에 이르도록 유도한다.
실험 결과 플래너 중심 강화학습으로 훈련된 에이전트는 복잡한 다단계 질문 답변 벤치마크에서 기존 감독 학습 기반 에이전트에 비해 답변 정확도와 정보 포괄성 모두에서 개선을 보였다. 특히 여러 출처의 정보를 통합해야 하는 경우에 격차가 더 크게 나타났다. 연구팀은 보상 함수 설계가 에이전트의 탐색 전략 전반에 깊이 영향을 미친다는 점을 강조하며, 잘못 설계된 보상이 오히려 표면적으로는 그럴듯하지만 실질적으로 부정확한 보고서를 생성하도록 에이전트를 유도할 수 있다고 경고했다.
한국의 AI 연구 기관과 기술 기업에게 이 논문은 딥 리서치 기능을 개선하는 데 실질적인 방향성을 제시한다. 학술 연구 지원, 시장 조사 자동화, 법률 판례 분석 등 심층 정보 탐색이 필요한 서비스를 개발하는 팀이라면 플래너 중심 강화학습 접근을 자체 에이전트 훈련에 적용해 볼 수 있다. 특히 단순 사실 확인을 넘어 복잡한 분석과 종합이 필요한 기업 지식관리 시스템에서 이 기법의 가치가 두드러질 것으로 전망된다.
