LLM(대규모 언어 모델) 기반 에이전트가 복잡한 다단계 작업을 수행할 때 워크플로의 신뢰성을 수학적으로 보장하는 프레임워크가 연구자들에 의해 제안됐다. 연구팀이 arXiv에 공개한 논문 ‘Lean4Agent’는 의존 타입(dependent-type) 형식 언어인 Lean4를 활용해 에이전트 워크플로와 실행 궤적을 모델링하고 검증하는 최초의 프레임워크라고 연구팀은 주장한다. 기존 LLM 에이전트는 다단계 작업에서 오류가 누적되거나 의미적 일관성이 깨지는 문제가 있었는데, 이 연구는 형식 검증을 통해 이를 사전에 탐지하고 수정하는 방향을 제시한다.
프레임워크는 두 가지 핵심 구성 요소로 이뤄진다. 먼저 ‘FormalAgentLib’는 워크플로의 의미적 일관성을 형식적으로 모델링하고 검증할 수 있는 확장 가능한 Lean4 라이브러리다. 다음으로 ‘LeanEvolve’는 검증 결과를 활용해 워크플로 역량을 향상시키는 시스템이다. 실험은 SWE-Bench-Verified와 ELAIP-Bench 두 벤치마크에서 5개의 주요 LLM을 대상으로 진행됐다. 검증을 통과한 워크플로는 실패한 것 대비 평균 11.94% 높은 성능을 보였고, LeanEvolve를 적용했을 때 추가로 평균 7.47%의 성능 향상이 확인됐다.
이 연구는 AI 에이전트의 신뢰성 문제를 다루는 데 형식 검증이라는 수학 분야의 도구를 적용했다는 점에서 주목된다. 소프트웨어 공학에서 오랫동안 활용해온 형식 검증 기법을 LLM 에이전트에 접목함으로써, 에이전트가 복잡한 작업을 수행할 때 발생하는 예측 불가능한 오류를 줄이는 새로운 접근법을 제시한다. 자율 에이전트가 코드 작성·시스템 관리 등 고위험 작업에 점점 더 많이 투입되는 추세를 고려하면, 워크플로 검증 기술은 실제 배포 환경에서의 안전성 확보를 위해 중요성이 커질 분야다.
