법률 분야에 인공지능을 적용해 사법 접근성을 높이려는 시도가 늘어나는 가운데, 여러 AI 에이전트가 토론을 거쳐 판단을 내리는 방식이 법률 추론 과제에서 어떤 효과를 내는지 살펴본 연구 결과가 arXiv에 공개됐다. 연구진은 대규모 언어모델(LLM) 기반 에이전트가 자율적으로 행동하는 ‘에이전틱 AI’가 법률 분야에서 빠르게 주목받고 있지만, 여러 에이전트가 협력하는 멀티 에이전트 접근법은 아직 충분히 연구되지 않았다는 문제의식에서 출발했다고 밝혔다.
연구팀은 법률 추론 과제를 위한 멀티 에이전트 숙의(multi-agent deliberation, MAD) 방식을 살펴보고, 법정 심리 절차와 법률 논증 방식에서 착안한 두 가지 새로운 멀티 에이전트 프레임워크를 제안했다. 여러 개의 LLM 에이전트가 각기 다른 입장이나 역할을 맡아 논의를 주고받으며 최종 판단에 이르는 방식으로, 실제 법정에서 여러 당사자가 논거를 주고받는 과정을 모사한 접근법이다.
법률 및 비법률 벤치마크를 모두 활용한 실험에서, 멀티 에이전트 프레임워크는 단일 LLM을 기준선으로 삼았을 때 전반적인 성능에서는 비슷한 수준을 보였지만, 도출하는 답변 자체는 상당히 다른 경우가 많았다는 결과가 나왔다. 특히 기준선 모델이 풀지 못한 사례를 멀티 에이전트 방식이 해결하는 경우와, 반대로 멀티 에이전트 방식이 놓친 사례를 기준선 모델이 해결하는 경우가 모두 관찰됐다. 이는 두 접근법이 서로 다른 강점을 지니고 있음을 시사하는 결과로 풀이된다.
연구진은 정성적 평가를 통해 멀티 에이전트 프레임워크가 단일 모델 방식보다 우수한 성과를 내는 구체적인 상황도 짚어냈다. 여러 관점에서의 비판적 사고가 필요한 질문에 답할 때 멀티 에이전트 접근법이 더 적합한 것으로 나타났다는 설명이다. 연구팀은 이번 결과를 바탕으로 법률 분야에 특화된 멀티 에이전트 시스템이 AI 활용의 유망한 방향이 될 수 있다고 평가하면서, 법정 절차에서 영감을 받은 멀티 에이전트 접근법이 숙의 과정 자체를 개선할 잠재력을 갖고 있음을 확인했다고 밝혔다.
이번 연구는 AI가 단순히 법률 문서를 요약하거나 정보를 검색하는 수준을 넘어, 실제 법적 판단 과정에 필요한 다각적 논증 구조를 시뮬레이션할 수 있는지를 탐색했다는 점에서 의미가 있다. 다만 연구진이 밝힌 대로 멀티 에이전트 방식이 기준선 모델보다 일관되게 우월하지는 않았다는 점에서, 향후 연구는 어떤 유형의 법률 문제에서 멀티 에이전트 숙의가 실질적 이점을 갖는지를 더 정교하게 규명하는 방향으로 이어질 것으로 보인다.
