아마존웹서비스(AWS)가 Amazon Bedrock 기반 생성형 AI(Generative AI) 워크로드의 운영을 자동화하는 솔루션인 Amazon Bedrock Ops Alert를 공개했다. 이 솔루션은 조직이 여러 파운데이션 모델(foundation model)과 프로덕션 워크로드를 동시에 운영할 때 발생하는 할당량 초과·오류·지연 등의 운영 이슈를 사전에 감지하고, 지원 케이스를 자동 생성해 해결 시간을 줄이는 것을 목표로 한다. Amazon Bedrock은 현재 스타트업부터 글로벌 기업까지 10만 개 이상의 조직이 생성형 AI 애플리케이션 구축에 활용하고 있다.
Bedrock Ops Alert는 세 가지 독립 모니터링 계층으로 구성된다. 첫 번째 계층은 스로틀(throttle)·클라이언트 오류·서버 오류를 즉시 감지하는 임계(critical) 오류 탐지다. 두 번째 계층은 분당 요청 수(RPM)와 분당 토큰 수(TPM) 사용률을 동적으로 계산된 임계치와 비교해 할당량 한도에 도달하기 전에 경보를 발생시키는 사용률 모니터링이다. 세 번째 계층은 Amazon CloudWatch의 머신러닝 기능을 활용해 비정상적인 패턴을 포착하는 이상 탐지다. 세 계층이 독립적으로 작동하며 서로 다른 유형의 운영 문제를 각기 다른 시점에서 탐지하는 구조다.
할당량 관련 경보가 발생하면 시스템은 과거 14일간의 피크 사용량 데이터와 저장된 임계치를 비교해 지원 케이스의 성격을 자동 분류한다. 실제 사용량이 임계치를 초과했다면 RPM 또는 TPM 할당량 증가 요청을 담은 케이스를 생성하고, 사용량이 낮은 일시적 이벤트로 판단되면 조사를 먼저 권고하는 톤으로 케이스를 작성한다. 서버 오류나 지연 이상 등 할당량과 무관한 경보는 별도의 조사 요청 케이스로 라우팅된다. 같은 범주의 미해결 케이스가 있으면 새 케이스를 생성하지 않고 기존 케이스에 최신 정보를 추가하는 중복 방지 로직도 탑재했다. 할당량 승인 후 CloudWatch 경보 임계치를 수동으로 재계산하던 반복 작업도 EventBridge 규칙으로 자동화해 운영 팀의 부담을 줄인다.
AWS는 이 솔루션을 CloudFormation 기반으로 배포할 수 있도록 깃허브(GitHub) 리포지토리에 공개했으며, 단계별 배포 가이드도 함께 제공한다. 생성형 AI 도입이 엔지니어링팀을 넘어 비엔지니어링 부서까지 확산되면서, 이를 안정적으로 운영하기 위한 AIOps(AI 운영 자동화) 도구에 대한 수요가 높아지고 있다. 수동 감시에서 선제적 자동화로의 전환을 지원하는 이 접근 방식은 대규모 AI 워크로드를 관리하는 조직에서 참고할 수 있는 운영 모델로 주목된다.
