법률 텍스트 함의 판단에서 여러 대규모언어모델 에이전트가 토론하는 방식의 효과와 한계를 비교한 L-MAD 프레임워크가 제안됐다. 연구진은 일반 추론에서 주목받은 다중 에이전트 토론이 지식과 형식 제약이 강한 법률 영역에서도 이점을 주는지 구조별로 평가했다.
L-MAD는 여러 에이전트에 서로 다른 전문가 역할을 부여하고, 토론 연결 방식과 최종 답을 모으는 집계법을 바꿔 법률 문장의 함의 관계를 판단한다. 단일 모델이 한 번 답하는 조건과 비교해, 의견 교환이 오류를 줄이는 경우와 오히려 같은 오류를 강화하는 경우를 구분하려 했다.
연구진은 COLIEE 법률 텍스트 함의의 제한된 설정에서 강한 단일 에이전트 기준보다 정확도가 최대 약 8%포인트 개선됐다고 보고했다. Qwen3-8B·32B·30B-A3B와 Llama-3.1-8B를 비교했으며, Llama-3.1-8B에서는 오히려 성능이 낮아졌다. 에이전트 수를 늘리면 판단 불일치가 줄고 정확도가 높아진 반면, 토론 라운드를 길게 늘리면 에이전트들이 서로의 실수를 강화하는 ‘과도한 숙의 표류’가 나타났다고 설명했다.
결과는 법률 AI에서 토론 횟수를 무조건 늘리는 전략보다 독립적인 관점의 수와 집계 구조가 중요할 수 있음을 시사한다. 다만 최대 8%라는 개선치는 사용한 데이터셋·모델·프롬프트·비용 조건에 묶여 있다. 실제 사건의 사실관계 파악이나 법률 자문 정확도를 검증한 결과로 볼 수 없고, 관할권별 법 변화도 반영해야 한다.
| 모델·조건 | 강한 단일 기준 평균 | L-MAD 평균 | 해석 |
|---|---|---|---|
| Qwen3-30B-A3B | 83.52 | 88.46 | 합의 방식 |
| Qwen3-8B | 82.97 | 89.37 | 투표 방식 |
L-MAD 논문은 2026년 7월 arXiv에 공개된 프리프린트로 동료검토 전이다. 고위험 법률 판단에 적용하려면 독립된 법률가 평가, 오류 유형별 안전 기준, 토론 비용과 지연, 소수 의견이 집계에서 사라지는 문제를 추가로 검증해야 한다. 따라서 이 수치는 제한된 평가 설정을 벗어나 일반화할 수 없다. 관할권과 사건 유형이 바뀔 때의 성능도 독립적으로 평가해야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
