AWS가 AI 에이전트 평가 인프라를 개발 워크플로에 통합하는 오픈소스 툴킷 ‘Agent-EvalKit'(Apache 2.0 라이선스)을 공개했다. 이 툴킷은 클로드 코드(Claude Code), 키로 CLI(Kiro CLI), 킬로 코드(Kilo Code) 등 기존 AI 코딩 어시스턴트와 연동해 동작하며, 에이전트의 최종 출력 결과만 검사하는 기존 방식과 달리 툴 호출 경로, 중간 상태, 응답의 사실 근거 여부를 추적 평가한다.
Agent-EvalKit은 평가 계획(Plan), 테스트 데이터 생성(Data), 추적 계측(Trace), 에이전트 실행(Run), 평가 실행(Eval), 보고서 생성(Report)의 6단계 워크플로로 구성된다. 각 단계는 AI 어시스턴트의 슬래시 명령(`/evalkit.plan` 등)으로 호출하며, 자연어 지침을 추가해 평가 초점을 조정할 수 있다. 스트랜즈(Strands), 랭그래프(LangGraph), 크루AI(CrewAI) 등 주요 에이전트 프레임워크에 대한 OpenTelemetry 호환 추적 계측을 자동으로 적용하고, DeepEval 및 스트랜즈 Evals SDK를 활용해 신뢰성(Faithfulness), 툴 파라미터 정확도, 응답 품질 등 지표를 산출한다.
스트랜즈 에이전트 SDK와 아마존 베드록(Amazon Bedrock)으로 구축된 여행 리서치 에이전트를 대상으로 한 사례에서는 100개 멀티턴 테스트 세션을 실행한 결과 응답 품질이 83.9%, 툴 파라미터 정확도가 64.5%를 기록했다. 반면 신뢰성은 32.3%에 불과해, 에이전트가 웹 검색 툴에서 빈 결과를 반환받으면 환율·기온·관광 정보 등을 사실인 것처럼 창작하는 할루시네이션이 광범위하게 발생하고 있음이 드러났다. 보고서는 이 문제를 최우선 수정 항목으로 지정하고 해당 코드 위치와 수정 방향을 구체적으로 제시했다.
Agent-EvalKit은 매 코드 변경마다 평가를 실행하는 CI/CD 파이프라인 통합도 지원한다. 초기 평가를 완료한 뒤에는 기존 테스트 케이스와 계측 코드를 재사용하면서 특정 단계만 재실행해 심화 분석이 가능하다. AWS는 아마존 베드록 에이전트코어 옵저버빌리티(AgentCore Observability)를 활용한 프로덕션 모니터링과 연계해 배포 전 평가에서 잡지 못한 이상 징후를 지속적으로 추적하는 방식을 권고했다.
검토완료
