깃허브(GitHub)가 자사 저장소에서 실제로 운영 중인 AI 에이전트 워크플로우의 토큰 소비 효율을 체계적으로 개선한 결과를 공개했다. 2026년 4월부터 12개 프로덕션 워크플로우를 대상으로 최적화를 진행한 결과, Auto-Triage Issues 워크플로우는 109회 연속 실행에서 유효 토큰(Effective Tokens) 소비가 62% 감소했다. 같은 기간 Security Guard 워크플로우는 43%, Smoke Claude는 59%, Daily Community Attribution은 37%의 비용 절감을 각각 달성했다. 깃허브는 이 경험과 방법론을 공식 블로그를 통해 외부 개발자에게 공유했다.
가장 효과가 컸던 최적화는 두 가지다. 첫째는 사용하지 않는 MCP(모델 컨텍스트 프로토콜) 도구 스키마 제거다. LLM API는 무상태(stateless) 방식으로 작동하기 때문에 에이전트 런타임은 등록된 모든 MCP 도구의 함수명과 JSON 스키마를 매 요청마다 컨텍스트에 포함한다. 40개 도구를 보유한 GitHub MCP 서버를 예로 들면 한 번의 에이전트 턴(turn)마다 최대 10~15KB의 스키마가 오버헤드로 붙는다. 대부분의 워크플로우가 실제로 사용하는 도구는 두세 개에 불과하기 때문에 나머지 수십 개는 순수한 낭비다. 깃허브 최적화 에이전트는 도구 매니페스트와 실제 호출 기록을 대조해 사용되지 않은 도구를 자동으로 추천·제거했다. 두 번째는 MCP 호출을 GitHub CLI(gh 명령어)로 대체하는 방식이다. PR 차이(diff) 조회나 파일 내용 확인처럼 에이전트가 판단 없이 단순 읽기만 하는 작업은 LLM 추론 사이클을 거치는 MCP 방식 대신, 에이전트 시작 전에 CLI 명령으로 미리 내려받아 파일로 저장해 두는 ‘사전 다운로드’ 방식으로 전환했다. 이 접근법은 불필요한 LLM 라운드트립 자체를 제거한다는 점에서 단순한 프롬프트 축약과 차원이 다른 구조적 절감이다.
깃허브는 최적화 전에 먼저 측정 체계를 갖췄다. 모든 에이전트 프레임워크(Claude CLI, Copilot CLI, Codex CLI)의 로그 형식이 달랐기 때문에 인증 자격증명을 보호하기 위해 이미 두고 있던 API 프록시를 활용해 입력 토큰·출력 토큰·캐시 읽기 토큰·캐시 쓰기 토큰·모델·타임스탬프를 담은 token-usage.jsonl 아티팩트를 모든 실행에서 동일한 형식으로 수집했다. 비용 비교는 원시 토큰 수 대신 모델 단가를 반영한 ‘유효 토큰(ET)’ 지표를 사용했다. 출력 토큰에 4배, 캐시 읽기 토큰에 0.1배의 가중치를 적용하고 모델 등급별 배율(하이쿠 0.25배, 소넷 1.0배, 오퍼스 5.0배)을 곱해 모델이 달라도 10% ET 감소가 실제 10% 비용 감소를 의미하도록 정규화했다. 이와 함께 ‘일일 토큰 감사 에이전트’와 ‘일일 토큰 최적화 에이전트’ 두 개를 별도로 운영해 소비량이 급증한 워크플로우를 자동 탐지하고 개선안을 깃허브 이슈로 생성하는 지속 점검 구조도 구축했다.
깃허브는 이 사례를 통해 에이전트 시스템 비용 절감의 핵심 원칙을 세 가지로 정리했다. 추론이 필요 없는 데이터 수집 단계는 LLM 루프 밖으로 빼낼 것, 사용하지 않는 도구는 즉시 제거할 것, 워크플로우 단위가 아닌 저장소 전체의 에이전트 플릿(fleet) 수준에서 중복 읽기와 중복 판단을 추적할 것이다. API 프록시 설치와 로깅 활성화, 자동 감사·최적화 워크플로우는 gh-aw CLI를 통해 외부 저장소에도 그대로 적용할 수 있다. 에이전트 기반 CI 자동화를 운영하는 개발팀이라면 즉시 참고 가능한 실무 사례다.
저작권자 © STORIUM 무단전재 및 재배포 금지
