오픈AI(OpenAI)가 자사 내부 데이터 분석 문제를 해결하기 위해 구축한 AI 에이전트 ‘케플러(Kepler)’의 설계와 운영 방식이 공개됐다. 오픈AI의 데이터 생산성팀 소속 보니 쉬(Bonnie Xu)가 인포큐(InfoQ) 발표를 통해 공개한 내용에 따르면, 케플러는 하루 600페타바이트 이상의 데이터를 처리하는 70만 개 데이터셋 환경에서 임직원이 자연어로 던진 질문을 SQL 쿼리로 변환해 즉시 분석 결과를 돌려준다. 단순 쿼리 자동화를 넘어 맥락 기억과 자기 학습을 갖춘 에이전트 아키텍처가 어떻게 실전 배치에 이르렀는지를 보여주는 사례로 주목받는다.
케플러가 해결하려 한 문제는 오픈AI 규모에서 공통적으로 나타나는 데이터 사일로다. 회사 구성원의 80%가 데이터 플랫폼을 직접 활용하지만, 비슷한 이름의 테이블이 난립하고 각 테이블의 정확한 데이터 범위와 활용 조건이 명확히 문서화되지 않아 단순한 지표 조회에도 데이터 과학자와 엔지니어를 여러 명 거쳐야 하는 상황이 반복됐다. “이탈리아의 ChatGPT 프로 구독자 수가 몇 명인가”처럼 단순해 보이는 질문도 슬랙 스레드 다섯 개와 회의 두 번, 코드 분석 세 번이 필요했다. 케플러는 이 비효율을 제거하기 위해 설계됐다.
케플러의 기술 구조는 세 가지 핵심 요소로 구성된다. 첫째, 테이블 메타데이터의 자동 생성 및 최신화다. 코덱스(Codex) 작업을 병렬로 실행해 코드베이스를 탐색하고 각 테이블의 목적, 다운스트림 사용 패턴, 기본 키, 데이터 신선도, 대체 테이블 조건 등을 자동으로 문서화한다. 70만 개에 달하는 테이블 설명을 사람이 수동으로 유지 관리하는 것은 현실적으로 불가능하므로, 오프라인 작업이 주기적으로 돌며 메타데이터를 갱신하고 임베딩 형태로 저장해 런타임 검색에 활용한다. 둘째, 회사 내부 컨텍스트 수집이다. 슬랙 스레드, 노션 문서, 구글 드라이브 문서 등을 내부 지식 서비스에서 수집해 동일하게 청크 단위로 분할 후 임베딩으로 저장한다. 이를 통해 케플러는 수치 결과뿐 아니라 그 수치가 왜 그렇게 나왔는지의 맥락도 제공할 수 있다. 셋째, MCP(모델 컨텍스트 프로토콜) 기반 도구 연동이다. 데이터 웨어하우스 직접 조회, 스파크(Spark), 에어플로(Airflow) 등 데이터 플랫폼 소스와 실시간으로 연결해 오프라인 메타데이터에 없는 신규 테이블도 즉시 처리할 수 있다.
메모리 아키텍처가 케플러의 차별점으로 꼽힌다. 케플러는 사용자 개별 메모리, 팀 채널 메모리, 전역 메모리의 세 단계 범위를 운영한다. 사용자가 “이 분석에서는 외부 계정을 제외하고 PST 기준으로 집계해달라”는 교정을 남기면, 이후 같은 사용자의 질문에는 그 조건이 자동으로 반영된다. 팀 수준에서 공유해야 할 수정 사항은 채널 메모리에, 전사적으로 적용할 수정은 전역 메모리에 저장된다. 메모리는 런타임에 삽입되고 오프라인 작업이 주기적으로 중복 및 불필요한 항목을 정리한다. 이 체계를 통해 케플러는 같은 실수를 반복하지 않고 지속적으로 개선된다. 맥락만으로는 해결하기 어려운 미세한 조정이 메모리를 통해 누적되는 방식이다.
성능 보장 체계도 구체적이다. 오픈AI는 자연어 질문과 예상 SQL 쿼리를 쌍으로 묶은 이벌(eval) 세트를 수동으로 구성해 케플러의 쿼리 생성 품질을 지속적으로 모니터링한다. 그렉 브록만(Greg Brockman)의 “이벌이 거의 모든 것을 해결한다”는 원칙을 실제 시스템에 적용한 사례다. SQL 문법이 달라도 결과가 같으면 정답으로 처리하기 위해 추상 구문 트리(AST) 표현으로 정규화하며, LLM 기반 평가자가 결과 집합의 미묘한 차이를 사람처럼 판단한다. 이벌에 실패하면 사고의 흐름 로그를 통해 어떤 판단 과정에서 오류가 발생했는지 추적할 수 있다. 실제로 이벌 실패 원인을 추적하다가 에이전트가 원시 테이블보다 집계 테이블을 선호하는 경향이 있음을 발견하고 개선한 사례도 있었다.
보안과 권한 관리도 설계에 깊이 내재됐다. 케플러는 사용자에게 추가 접근 권한을 부여하지 않는다. 사용자 본인이 접근할 수 없는 테이블이라면 케플러도 해당 데이터에 접근하지 않으며, 어떤 접근 그룹에 신청해야 하는지를 안내하거나 권한 있는 다른 테이블로 우회한다. 슬랙처럼 수신자 범위가 넓은 채널에서는 민감한 출력을 내부 익명화 서비스를 통해 자동 마스킹하고, 원시 결과가 필요한 사용자는 별도 권한 확인을 거쳐 외부 UI에서 접근할 수 있도록 했다. 에이전트가 실행한 모든 쿼리는 링크와 참조 ID로 추적 가능하다.
케플러의 도입 방식도 주목할 만하다. 처음부터 웹 인터페이스를 만들지 않고 슬랙 에이전트로 시작한 것이 핵심 성공 요인으로 꼽힌다. 오픈AI 직원들이 데이터 질문을 주로 슬랙에서 주고받는 문화에 맞춰 에이전트를 거기서 바로 호출할 수 있게 했다. 사용자가 익숙한 환경에 에이전트를 녹여 넣는 전략이 초기 채택률을 높이는 데 결정적으로 작용했다는 설명이다. 현재 케플러는 데이터 과학자를 넘어 GTM, 재무, 이코노믹스, API 팀, 소라(Sora) 및 ChatGPT 담당 팀까지 전사로 사용자 기반이 확장됐다.
이번 사례가 AI 업계 전반에 주는 함의는 크다. 오픈AI는 자사 언어 모델로 내부 업무를 자동화하면서 실전 환경에서의 한계와 개선 방법을 직접 체득하고 있다. 모델에 너무 많은 도구를 부여하면 오히려 혼란스러워진다는 교훈, 지나치게 구체적인 지시가 일반 추론을 방해한다는 발견, 최종적으로 GPT-5의 추론 능력에 큰 방향만 제시하고 세부 경로는 모델에 위임하는 방향으로 프롬프트를 전환한 결정 등이 그것이다. 이는 에이전트 시스템을 구축하는 조직이라면 공통적으로 부딪히는 문제들이다. GPT-5 에이전트 역량이 케플러 같은 내부 도구의 성능을 어떻게 끌어올리는지가 관건이다.
한국 기업들이 유사한 데이터 분석 에이전트를 구축하는 데도 케플러의 설계 원칙이 참고가 된다. 대기업일수록 데이터 사일로 문제가 심각하며, 데이터 플랫폼 전문 인력 없이는 단순 지표 조회도 오랜 시간이 걸리는 현실이 국내에도 동일하게 존재한다. 케플러가 선택한 임베딩 기반 런타임 검색, 메모리 3단계 범위 설계, 이벌 주도 품질 관리, 사용자 친화적 슬랙 인터페이스 전략은 기업 내 AI 에이전트 도입을 검토하는 팀이 현실적으로 벤치마킹할 수 있는 요소들이다. 다만 70만 개 테이블, 600페타바이트라는 오픈AI의 규모를 그대로 적용하기보다 자사 환경에 맞는 맥락 수집 범위와 메모리 전략을 별도로 설계해야 한다는 점은 주의가 필요하다.
향후 케플러의 발전 방향도 공개됐다. 케플러 전용 파인튜닝 모델 개발이 계획돼 있다. 사용자들이 던진 질문과 그에 대한 적절한 SQL을 학습 데이터로 활용해 SQL 생성 품질을 더욱 높이겠다는 구상이다. 또한 케플러가 자체 결과를 다른 대시보드 수치와 교차 검증하는 추가 검증 단계도 추가할 예정이다. 나아가 대화 전체를 의미론적으로 분석해 미묘한 사용자 피드백 신호를 추출하는 방향도 모색하고 있다. 기업 데이터 통합 AI 에이전트 시장이 빠르게 성숙하는 가운데, 케플러가 외부 제품이나 오픈소스로 공개될 가능성에 대해 발표자는 “결정 권한이 없다”며 즉답을 피했지만, 업계의 관심은 높다.
