Robert Richardson 등 Brigham Young University 연구진은 소규모 기업보험의 자동 인수에서 단일 LLM, 단순 검색증강생성, 다중 에이전트 RAG를 비교했다. 2026년 7월 8일 arXiv에 제출된 프리프린트다. 비정형 신청서와 인수 지침, 제3자 정보를 함께 확인해야 하는 규제 업무에서 검색과 규칙 적용을 분리하면 판단을 개선할 수 있는지 살폈다.
실험은 현실적 조건을 모사해 생성한 사업자보험 신청 사례를 사용했다. 비교 대상은 신청서만 읽는 단일 LLM, 관련 지침을 붙이는 단순 RAG, 초기 적합성 판정·누락 정보 진단·최종 성찰을 역할별로 수행하는 에이전틱 RAG다. 마지막 방식은 표적 검색, 제3자 데이터 확인, 명시적 다단계 규칙 평가를 작업 흐름에 넣었다.
논문 표에 따르면 GPT-5.2 기반 전체 결정 정확도는 단일 LLM 90.3%, 단순 RAG 92.8%, 에이전틱 RAG 98.6%였다. 에이전틱 방식은 적합 신청 100.0%, 단일 위반 99.0%, 다단계 위반 98.0%, 복구 가능한 누락 정보 97.0%, 복구 불가능한 누락 정보 99.0%를 기록했다. 수치는 저자들이 만든 합성 사례와 특정 모델 설정에서 얻은 결과다.
개선 폭은 여러 출처를 연결하거나 정보가 빠진 사례에서 두드러졌다고 연구진은 해석한다. 구조화된 검색과 성찰이 근거 없는 자동 승인을 줄이고 각 결정의 지침 근거를 남기는 데 도움을 줬다는 것이다. 다만 에이전트 수가 늘면 호출 비용과 지연, 검색 오류의 전파 지점도 늘어나므로 정확도만으로 운영 우위를 판단할 수 없다.
실제 고객 데이터, 보험사별 복잡한 지침, 장기 배치 결과는 평가하지 않았다. 합성 데이터 생성 과정이 시스템에 유리한 규칙성을 만들었을 가능성과 동일 모델 계열을 사용한 평가 편향도 검토해야 한다. 독립적인 실제 데이터 검증 전에는 98.6%를 현장 자동심사 성능으로 일반화할 수 없으며, 배포 시 사람에게 넘기는 기준과 잘못된 외부 데이터의 복구 절차를 별도로 시험해야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
