구글이 PostgreSQL 호환 데이터베이스 AlloyDB에서 AI 함수를 정식 제공하고, 데이터베이스가 대형 언어모델을 호출하는 방식을 바꾸는 가속 기법을 함께 내놓았다. 핵심은 SQL 안에서 AI 기능을 호출하되, 모든 행마다 외부 LLM을 부르는 비용과 지연을 줄이는 데 있다. AlloyDB AI functions에는 텍스트 생성용 ai.generate, 의미 기반 필터링 ai.if, 의미 기반 재정렬 ai.rank, 시계열 예측 ai.forecast가 포함되며, 이번 GA에는 ai.summarize, 그룹 단위 요약 ai.agg_summarize, 감정 분석 ai.analyze_sentiment도 추가됐다.
문제는 규모다. 예를 들어 상품 10만개가 있는 테이블에서 각 행마다 Vertex AI에 질의를 보내면 같은 시스템 프롬프트가 반복 전송되고, 모델 추론 대기와 토큰 비용이 행 수만큼 쌓인다. 구글은 이를 줄이기 위해 스마트 배칭과 프록시 모델을 제시했다. 스마트 배칭은 ai.if와 ai.rank에서 여러 행을 하나의 모델 호출로 묶어 처리한다. 구글 내부 테스트 기준으로 행 단위 처리보다 처리량이 최대 2400배 개선됐고, 초당 1만 행 처리 수준을 보고했다.
더 중요한 변화는 프록시 모델이다. ai.if 쿼리에서 먼저 데이터 샘플을 프론티어 모델에 보내 판단 결과를 얻고, 이를 바탕으로 데이터베이스 내부의 가벼운 로컬 모델을 학습한다. 이후 실제 쿼리는 외부 LLM을 매번 호출하지 않고 이 로컬 프록시 모델로 실행한다. 프록시의 확신도가 낮거나 학습된 모델이 없을 때는 프론티어 모델로 되돌아가는 구조다. 구글은 이 방식에서 초당 10만 행 처리, 기존 대비 최대 2만3000배 처리량 개선과 6000배 비용 절감을 내부 테스트 결과로 제시했다.
다만 이 수치는 신중하게 봐야 한다. 최적화된 프록시 모델은 현재 ai.if에 대한 프리뷰 기능이며, 모든 AI 함수의 일반 성능을 의미하지 않는다. 구글이 제시한 수치도 내부 테스트 결과다. 실제 도입을 검토하는 팀은 데이터 분포와 쿼리 패턴에 맞춰 직접 벤치마크해야 한다. 그래도 방향성은 분명하다. 데이터베이스가 외부 LLM의 단순 호출자가 아니라, 샘플 판단을 학습해 로컬에서 의미 판단을 수행하는 구조로 이동하고 있다. AlloyDB는 여기에 관리형 MCP 서버와 ScaNN 기반 벡터 검색까지 묶어, 구조화 쿼리·의미 검색·LLM 분석을 같은 SQL 계층에 두려는 전략을 드러냈다.
