비정형 지식 베이스를 기반으로 도구를 사용하는 AI 에이전트의 오케스트레이션 방식을 비교 분석한 연구가 arXiv에 공개됐다. 연구진은 실제 고객 서비스 워크플로를 대상으로 세 가지 에이전트 아키텍처를 비교했다. 첫 번째는 자연언어로 작성된 도메인별 스킬 파일을 시스템 프롬프트에 추가해 에이전트가 스스로 제어 흐름을 결정하는 선언형 에이전트(DeclarativeAgent)이고, 두 번째는 명시적 단계를 가진 프로그래매틱 상태 머신 기반의 명령형 에이전트(ImperativeAgent)이며, 세 번째는 스캐폴딩 없이 운용되는 기준 에이전트다.
연구는 다섯 개 언어 모델과 두 가지 검색 방식 조합에서 실험을 진행해 각 접근법의 정보 이론적 특성과 실제 성능 차이를 분석했다. 핵심 발견은 검색 품질이 모든 에이전트 유형에 공통적으로 지배적인 병목이 된다는 점이다. 증거가 불완전하거나 편향된 경우 선언형과 명령형 구분 없이 성능이 크게 저하됐다. 반면 검색 품질이 충분히 높은 환경에서는 자연언어 스킬 파일을 활용하는 선언형 방식이 절차적 작업의 정확성을 높이는 데 효과적이었다. 명령형 상태 머신은 이에 비해 일관된 성능 향상을 제공하지 못했다.
이 연구 결과는 RAG(검색 증강 생성) 기반 에이전트 시스템을 설계할 때 오케스트레이션 방식보다 검색 품질 확보가 더 우선적인 투자 대상임을 시사한다. 또한 복잡한 코드 기반 상태 머신을 구축하지 않더라도 잘 작성된 자연어 스킬 파일만으로 에이전트의 도메인 전문성을 효과적으로 주입할 수 있다는 가능성을 보여준다. 고객 응대·법률·금융 등 절차가 중요한 엔터프라이즈 에이전트 개발에서 실용적 참고 기준이 될 전망이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
