아마존웹서비스(AWS)가 프로덕션 환경에서 작동하는 AI 에이전트의 오류를 진단하는 방법을 정리한 기술 가이드를 공개했다. AWS는 프로덕션 AI 에이전트가 조용히 실패하는 경우가 많다고 지적했다. 그럴듯하지만 틀린 답을 내놓거나, 무한 추론 루프에 빠지거나, 엉뚱한 도구를 선택하면서도 별도의 오류 경고를 띄우지 않는 경우가 많다는 것이다. 표준 로그와 지표만으로는 에이전트가 어떤 과정을 거쳐 결정을 내렸는지 파악하기 어렵다는 게 문제의 핵심이다.
AWS는 이런 문제를 해결하기 위해 아마존 베드록 에이전트코어 옵저버빌리티(Amazon Bedrock AgentCore Observability)를 통해 지표, 트레이스, 구조화된 로그 세 계층에서 에이전트 실행 과정을 들여다볼 수 있다고 설명했다. 이를 통해 개발자는 각 추론 단계를 추적하고 도구 호출 내역을 살펴보며, 명시적 오류가 발생하지 않은 경우에도 실행이 어디서 예상과 어긋났는지 짚어낼 수 있다. 이번 가이드는 AWS가 최근 확장해 온 에이전트코어 생태계의 연장선에서 나온 2부작 시리즈의 첫 번째 편이며, 2편은 성능 최적화와 메모리 관리를 다룰 예정이다.
AWS는 프로덕션에서 발생하는 문제를 품질, 안정성, 효율성 세 범주로 구분했다. 품질 문제는 에이전트가 작업을 완료했지만 잘못된 결과를 내놓는 경우로, 존재하지 않는 정책을 참조하거나 데이터를 임의로 생성하는 환각 현상이 대표적이다. 여러 에이전트가 연쇄적으로 작동하는 멀티 에이전트 시스템에서는 한 에이전트의 오류가 다음 에이전트의 입력으로 전파될 수 있다는 점도 지적됐다. 안정성 문제로는 인증정보 누락으로 인한 401 오류, 권한 부족으로 인한 403 오류, 잘못된 입력값으로 인한 400 오류 등 도구 호출 실패가 꼽혔고, 세션 상태를 유지하지 못해 후속 요청을 새로운 대화로 취급하는 컨텍스트 손실도 안정성 문제로 분류됐다. 효율성 문제는 응답 지연이나 과도한 토큰 사용처럼 정확성보다는 비용과 성능에 영향을 미치는 유형이다.
가이드는 클라우드워치(CloudWatch) 대시보드로 세션 볼륨과 지연시간, 토큰 사용량, 오류율을 실시간 모니터링하고, 오픈텔레메트리(OpenTelemetry) 프로토콜을 따르는 분산 트레이스로 각 요청의 실행 흐름을 단계별로 살펴보는 방법을 제시했다. 특히 무한 루프 진단과 관련해서는 프롬프트에 명확한 종료 조건이 없거나 반복 행동을 감지하는 로직이 없는 경우, 혹은 에이전트가 계속 잘못된 도구를 선택하는 경우를 주요 원인으로 꼽았다. 해결책으로는 “같은 행동을 세 번 시도해도 성공하지 못하면 중단하고 사용자에게 이유를 설명하라”는 식의 명시적 종료 지침을 시스템 프롬프트에 추가하고, 세션당 최대 토큰 한도와 추론 단계 상한을 설정하는 방법이 제시됐다.
도구 호출 실패에 대해서는 인증(401), 권한(403), 입력값(400), 리소스 없음(404), 실행 오류(500) 등 다섯 가지 오류 유형이 대부분을 차지한다고 설명했다. AWS는 인증정보 관리에 AWS 시크릿 매니저(Secrets Manager)를 활용해 자동 교체하고, 도구별 오류율이 5%를 넘으면 즉시 조사에 착수할 것을 권고했다. 에이전트코어를 활용해 AI 코드 리뷰 정확도를 높인 사례처럼, 에이전트를 프로덕션에 안정적으로 배치하려는 기업들에게 이번 가이드는 실질적인 운영 참고자료가 될 전망이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
