AWS가 생성 AI 워크로드를 프로덕션 규모로 운영할 때 필요한 LLM 추론 내결함성 설계 패턴 5가지를 공개했다. 실험 단계를 지나 실서비스로 전환한 기업들이 모델 가용성, 할당량 소진, 토큰 한도, 응답 시간, 비용이라는 복합 문제에 직면하고 있다는 배경에서 나온 실전 가이드다. 패턴은 Amazon Bedrock 네이티브 기능부터 오픈소스 LLM 게이트웨이 활용까지 단계적으로 구성됐으며, AWS 공개 GitHub 저장소에 코드 샘플이 함께 제공된다.
첫 번째 패턴은 Amazon Bedrock 리전 간 추론(CRIS)이다. 단일 계정 안에서 트래픽을 여러 AWS 리전에 자동으로 분산해 할당량 소진 가능성을 줄이고 가용성을 높인다. 데모 환경에서 10건 요청을 CRIS 프로파일로 전송했을 때 us-east-1에 1건, us-east-2에 7건, us-west-2에 2건으로 분산됐다. 글로벌 CRIS 프로파일을 사용하면 지연을 감수하는 대신 더 넓은 리전에 걸쳐 처리량을 확보할 수 있다. 두 번째 패턴은 다중 AWS 계정 샤딩으로, 계정별 독립 할당량과 CRIS 프로파일을 활용해 워크로드를 격리한다. 계정 간 장애가 전파되지 않아 멀티팀·멀티테넌트 환경의 격리 요건에 적합하다.
세 번째부터 다섯 번째 패턴은 LLM 게이트웨이를 통한 고급 구성이다. LLM 게이트웨이는 애플리케이션과 LLM 공급자 사이에서 통합 추상화 계층 역할을 하며, 복수 모델·복수 공급자에 단일 API로 접근할 수 있게 한다. 게이트웨이는 지능형 라우팅, 자동 재시도·폴백, 할당량 관리, 멀티테넌트 격리, 비용 추적, 중앙 집중 모니터링 기능을 제공한다. AWS는 데모에 오픈소스 LiteLLM을 경량 구현체로 활용했으며, 실서비스 규모에서는 Amazon ECS 또는 EKS에 컨테이너로 배포하는 AWS 멀티공급자 생성 AI 게이트웨이 솔루션을 참조 아키텍처로 제시했다. 이를 통해 Amazon Bedrock 기반 AI 운영 자동화와 연계해 모델 장애·지역 장애·할당량 초과 상황에서 무중단 추론을 구현할 수 있다.
AWS는 이번 패턴을 가용성에 초점을 맞춘 첫 번째 시리즈로 소개하며, 향후 응답 시간 최적화와 비용 인식 라우팅을 다루는 후속 포스트를 예고했다. 가용성·응답 시간·비용·처리량이라는 네 가지 설계 차원이 서로 트레이드오프 관계에 있으며, 리전 간 라우팅이 가용성과 처리량을 높이는 대신 응답 시간을 늘릴 수 있다는 점도 명시됐다.
