아마존웹서비스(AWS)가 대규모 인공지능(AI) 모델 운영을 위한 관리형 인프라 ‘세이지메이커 하이퍼팟(SageMaker HyperPod)’의 추론 기능을 대폭 보강했다. 기업이 생성형 AI 작업을 확장하면서 더 빠르고 관측 가능하며 유연한 추론 환경을 요구함에 따라, 배포와 운영을 간소화하는 다섯 가지 기능을 새로 내놨다. 요청 진입점부터 로드밸런서, 모델 파드에 이르는 추론 경로의 여러 지점에서 입력과 출력을 기록할 수 있게 된 것이 대표적이다.
핵심은 다단계 데이터 캡처다. 추론 요청과 응답 데이터를 모니터링·디버깅·모델 개선 용도로 저장하는 기능으로, 세 계층에서 원하는 조합만 골라 켤 수 있다. 1계층은 세이지메이커 엔드포인트 경계에서 전체 입출력을 잡아 모델 모니터와 호환되고, 2계층은 로드밸런서 접근 로그로 클라이언트 IP·요청 경로·지연 같은 메타데이터를 남기며, 3계층은 모델 컨테이너에 가장 가까운 지점에서 샘플링·버퍼링을 세밀하게 조정해 가장 깊은 가시성을 제공한다. 캡처한 데이터는 아마존 S3 버킷에 쌓이고, AWS 키관리서비스(KMS) 키로 저장 시 암호화할 수 있다.
배포 방식도 유연해졌다. 허깅페이스 허브에서 모델을 아마존 S3나 FSx에 미리 옮겨두지 않고 곧바로 배포할 수 있으며, 접근이 제한된 게이티드 모델의 토큰 처리와 특정 리비전 고정, 토큰 격리를 지원한다. vLLM·TGI·SGLang 등 주요 추론 런타임과도 호환된다. 여기에 노드의 로컬 NVMe 저장소에서 모델 가중치를 직접 읽어들이는 옵션이 더해져, 파드 기동 시 네트워크 구간을 건너뛰어 콜드 스타트 지연을 줄인다. 필요할 때는 클라우드 저장소로 자동 대체된다.
운영과 보안 측면의 자동화도 확대됐다. 하이퍼팟은 아마존 라우트53(Route 53)과 연동해 사용자 지정 도메인의 DNS 레코드 생성·갱신·정리를 자동으로 처리한다. 또 파드 단위로 세분화된 AWS 식별·접근관리(IAM) 권한을 부여해, 인프라 팀이 보안 경계를 세밀하게 통제할 수 있다. 기본값으로는 네임스페이스의 기본 서비스 계정을 쓰지만, S3에서 가중치를 내려받는 등 AWS 자격증명이 필요한 워크로드에는 IRSA(서비스 계정용 IAM 역할)를 지원하는 별도 서비스 계정을 배정할 수 있다.
AWS는 이번에 소개한 다섯 기능이 모델 배포부터 운영까지의 흐름을 지원하는 추가 도구라고 설명했다. 감사와 모델 개선을 위한 다단계 데이터 캡처, 허깅페이스 허브 직접 배포, 콜드 스타트를 앞당기는 로컬 NVMe 로딩, 사용자 도메인용 자동 DNS 관리, 파드 단위 IAM이 그것이다. 사용하려면 추론 오퍼레이터를 v3.2로 업데이트한 뒤 기존 배포에 데이터 캡처나 DNS 설정 섹션을 더하면 된다고 회사는 안내했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
