쿠버네티스(Kubernetes) 기반 인프라 관리 엔진 크로스플레인(Crossplane)을 개발한 업바운드(Upbound)가 AI 추론 워크로드에 특화된 오픈소스 도구 모델플레인(Modelplane)을 공개했다. 모델플레인은 크로스플레인을 AI 추론 환경에 맞게 최적화한 버전으로, 여러 클라우드에 분산된 추론 인프라를 단일 인터페이스에서 중앙 관리할 수 있도록 설계됐다.
기존에는 멀티클라우드 환경에서 AI 모델을 운영할 때 클라우드 플랫폼마다 개별 관리가 필요했지만, 모델플레인은 여러 플랫폼의 인프라 자원을 통합 설정할 수 있어 운영 부담을 낮춘다. 요청 트래픽이 증가하면 모델 복제본을 자동으로 추가 배포하는 자동 스케일링 기능도 갖췄다. AI 모델의 가중치(weight)는 통상 원격 스토리지에 보관되는데, 사용자 요청이 들어올 때마다 이를 서버 내 메모리로 불러오는 과정에서 지연이 발생한다. 모델플레인의 분산 캐싱 기능은 가중치를 서버 클러스터의 로컬 스토리지에 미리 저장해 응답 시간을 단축한다.
보안과 비용 효율 측면에서는 게이트웨이 기반의 요청 라우팅 구조를 채택했다. 사용자 요청이 추론 서버에 직접 전달되지 않고 게이트웨이를 거치며 정책 준수 여부를 확인하는 방식이다. 이 게이트웨이는 장애 복구 용도로도 활용돼, 특정 추론 환경에 장애가 발생하면 외부 추론 환경으로 자동 전환된다. 모델플레인은 아파치 2.0(Apache 2.0) 라이선스로 GitHub에 공개됐다.
업바운드는 알파벳(Alphabet) 산하 GV 펀드, 인텔 캐피털 등으로부터 총 6,900만 달러 투자를 유치한 샌프란시스코 소재 기업이다. 업바운드 공동창업자 겸 CEO 바삼 타바라(Bassam Tabbara)는 크로스플레인 이용자들이 이미 유사한 추론 플랫폼을 자체 구축해 운영하고 있었다며, 이러한 패턴을 표준화하고 더 쉽게 시작할 수 있도록 커뮤니티에 기여하고자 했다고 밝혔다. AI 모델 배포 규모가 커지면서 추론 인프라의 복잡성이 높아지고 있어, 이를 단순화하는 오픈소스 도구에 대한 수요도 함께 늘고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
