복잡한 질문을 여러 하위 질의로 쪼개 병렬로 처리하는 검색 에이전트에서, 각 역할에 모델 용량을 어떻게 배분해야 하는지를 정면으로 다룬 연구가 나왔다. 차이 친난 등 연구진은 계층적 검색 에이전트의 용량 배분을 실험한 논문을 arXiv에 사전 공개했다. 아직 동료심사를 거치지 않은 원고다.
대규모 언어모델 기반 검색 에이전트는 흔히 멀티에이전트 구조를 쓴다. 주 에이전트가 복잡한 질문을 하위 질의로 분해해 병렬로 일하는 하위 에이전트들에 넘기는 식이다. 그런데 현재 시스템은 모든 역할을 같은 크기의 모델로 구성해, 용량을 역할별로 어떻게 나눠야 하는지가 불분명했다. 연구진은 계층적 검색을 세 요소로 나눴다. 작업을 쪼개는 위임(delegation) 역할, 근거를 검색·추출하는 실행(execution) 역할, 그리고 통제 변수로 고정한 답변 생성 역할이다. 이후 위임과 실행 모델의 크기를 바꿔 가며 다섯 개 멀티홉 질의응답 벤치마크에서 실험했다.
세 가지 발견이 나왔다. 첫째, 역할을 서로 다른 모델로 나누는 편이 단일 에이전트 방식보다 나았고, 여섯 개 모델 규모에 걸쳐 정확 일치(EM) 점수를 4.5~8.6점 끌어올렸다. 둘째, 용량에 대한 민감도는 역할마다 달랐다. 위임 모델을 키우면 EM이 약 11점 오른 반면, 실행 하위 에이전트를 키웠을 때는 약 2.6점 변화에 그쳐, 작업 분해가 주된 제약 요인임을 가리켰다.
셋째, 1.7B 파라미터의 작은 실행 모델을 품질 필터링을 거친 궤적 증류(quality-filtered trajectory distillation)로 학습하자, 최상위 하위 에이전트에 견줄 만한 정확도를 내면서 하위 에이전트 토큰을 37% 적게 썼다. 연구진은 계층적 검색 에이전트를 설계할 때 용량을 위임에 집중하고 실행에는 줄이더라도 정확도를 잃지 않는다고 결론지었다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
