클라우드플레어가 사내 통합 데이터 플랫폼 ‘타운 레이크(Town Lake)’를 공개하며, 과금 관련 업무가 전체 플랫폼 쿼리의 53%를 차지한다고 밝혔다. 이 시스템은 AI 기반 분석 에이전트 ‘스키퍼(Skipper)’와 함께 구축됐으며, 그동안 운영·과금·보안·비즈니스 데이터가 여러 시스템에 흩어져 있던 문제를 해소하기 위해 설계됐다.
클라우드플레어는 자사 글로벌 네트워크가 120개국 330개 이상 도시에서 초당 10억 건이 넘는 이벤트를 처리한다고 설명했다. 시간이 지나며 포스트그레스(Postgres) 데이터베이스, 클릭하우스(ClickHouse) 클러스터, 카프카(Kafka) 스트림, 빅쿼리(BigQuery) 데이터셋, 오브젝트 스토리지 등에 데이터가 누적되면서 탐색과 분석이 점점 복잡해졌다. 타운 레이크는 이런 여러 시스템을 가로질러 데이터를 조회할 수 있는 통합 SQL 인터페이스로 도입됐다. 이 플랫폼은 아파치 트리노(Trino)와 아파치 아이스버그(Iceberg), 클라우드플레어 R2 오브젝트 스토리지, 메타데이터 관리 도구 데이터허브(DataHub)를 기반으로 한 레이크하우스 구조로 구축됐으며, 하나의 쿼리로 데이터 이동 없이 포스트그레스·클릭하우스·아이스버그 테이블을 동시에 조인할 수 있다고 회사 측은 설명했다.
타운 레이크는 새로 연동되는 데이터셋을 자동 스캔과 사람의 검토가 끝나기 전까지는 접근을 차단하는 ‘기본 폐쇄형’ 거버넌스 모델을 채택했다. 이를 위해 내부 서비스 ‘스키머(Skimmer)’가 자동 분류와 AI 기반 분석을 결합해 민감 정보를 탐지하고, 이후 사람이 분류 결과를 검증하거나 조정하는 절차를 거친다. 이 기반 위에 구축된 스키퍼는 자연어로 데이터에 접근할 수 있게 해주는 에이전트로, 메타데이터와 스키마 정의, 데이터 변환 이력, 문서, 런타임 정보를 종합해 사용자 요청을 검증된 쿼리로 변환한다. 과금 분석, 고객 지원 조사, 비즈니스 인텔리전스, 보안 업무 등에 활용되고 있으며, 측정 기간 중 324명의 직원이 9만1760건의 과금 관련 쿼리를 처리했다고 회사는 밝혔다.
클라우드플레어의 드미트리 알렉세옌코 엔터프라이즈 엔지니어링 총괄은 복잡한 SQL 작성이나 수작업 조사가 필요했던 업무를 이제는 몇 초 만에 처리할 수 있게 됐다고 설명했다. 회사는 AI 에이전트 프롬프트를 단순화하고 중복 도구를 통합함으로써 정확도가 개선됐으며, SQL 변환 로직과 데이터 계보 정보를 에이전트 맥락에 포함시킨 것이 스키마 메타데이터를 넘어선 비즈니스 의미 이해에 도움이 됐다고 덧붙였다. 립플타이드의 패트릭 주베르 최고경영자는 통합 분석 플랫폼 위에 내부 AI 에이전트를 얹으면 인프라팀이 통제 문제에 직면하게 되며, 에이전트가 운영 데이터를 넘나들며 추론할수록 실행 지점에 가까운 곳에서 강제 장치가 뒷받침돼야 한다고 지적했다. 클라우드플레어는 향후 스키퍼를 사내 채팅과 티켓팅, 개발 워크플로우와 더 깊이 통합하고, 추가 워크로드를 R2 SQL로 이전할 계획이라고 밝혔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
