여러 대규모 언어 모델(LLM) 에이전트가 서로 의견을 나누며 논의하는 다중 에이전트 시스템이 예측 성능을 끌어올린다고 여겨져 왔지만, 정작 각 에이전트가 어떤 정보를 받는지에 대한 설계는 그동안 간과돼 왔다는 지적이 나왔다. 연구진은 논문 “Diverse Evidence, Better Forecasts: Multi-Agent Deliberation Under Information Asymmetry”를 통해 이 문제를 짚고 새로운 해법을 제시했다.
연구진은 모든 에이전트가 동일한 증거를 받아 논의할 경우, 이 논의가 진정한 의견 수정으로 이어지기보다 서로의 판단을 그대로 따라가는 ‘군집 행동(herding)’으로 귀결된다고 분석했다. 그 결과 다중 에이전트 시스템이 단일 에이전트보다 크게 나을 것이 없어진다는 것이다. 이를 해결하기 위해 연구진은 증거를 모든 에이전트가 공유하는 공개 정보와, 각 에이전트만 독점적으로 갖는 비공개 정보로 의도적으로 나누는 ‘정보 비대칭’ 설계를 제안했다. 각 에이전트가 서로 겹치지 않는 정보를 가지면, 논의 과정에서만 전달될 수 있는 고유한 지식이 생긴다는 발상이다.
이 발상을 구현한 프레임워크가 ‘인포델파이(InfoDelphi)’다. 인포델파이는 관련성을 고려해 증거를 배분하는 라우팅 기법, 근거를 기반으로 반복해서 논의하는 절차, 각 에이전트의 신뢰도에 가중치를 둬 최종 답을 모으는 집계 방식 등 세 요소를 결합했다. 연구진은 이런 정보 비대칭 구조가 에이전트 간 오류 상관관계를 이론적으로 줄여준다고 설명했다.
연구진은 실제 예측 시장에서 파생된 375개의 이진 예측 질문으로 구성된 벤치마크 ‘폴리짐(PolyGym)’으로 성능을 검증했다. 그 결과 인포델파이는 가장 강력한 단일 에이전트나 기존 다중 에이전트 방식보다 예측 정확도를 가늠하는 브라이어 점수(Brier score)에서 12~18% 개선된 성능을, 정확도 자체는 4~8퍼센트포인트 향상된 결과를 보였다. 추가 실험에서 정보 비대칭을 없애자 논의로 얻는 이득 대부분이 사라졌는데, 연구진은 이를 두고 정보의 다양성이야말로 다중 에이전트 추론이 효과를 내는 핵심 요인이라고 결론지었다. AWS의 에이전트 신원 관리 기능 확장처럼 에이전트 시스템의 정교한 설계가 화두로 떠오르는 가운데, 정보 배분 전략 자체가 성능을 좌우할 수 있다는 점을 시사하는 연구다.
저작권자 © STORIUM 무단전재 및 재배포 금지
