OpenAI 엔지니어들이 로그인하지 않은 게스트 ChatGPT 사용자를 위한 응답 비용을 절반 이상 절감하는 데 성공했다고 정보 매체 더 인포메이션(The Information)이 보도했다. 이 최적화 작업은 2026년 6월 중에 내부 공유됐으며, 이 결과로 게스트 사용자 서비스에 필요한 엔비디아 GPU 대수가 기존 대비 “수백 대” 수준으로 낮아진 것으로 알려졌다. 이전 GPU 소요량은 공개되지 않았지만 이번 절감 폭이 상당한 수준임을 시사한다.
게스트 사용자는 계정이 없거나 로그인하지 않은 상태에서 ChatGPT를 이용하는 경우로, 기능 접근 범위가 제한된다. 이 계층에 대한 비용을 낮추는 것은 OpenAI가 무료 사용자층을 유지하면서도 인프라 지출을 관리하는 데 중요한 의미를 갖는다. 다만 이번 최적화가 무료·유료 계정 전체로 확대될지는 아직 불확실하다고 보도는 덧붙였다. 게스트 사용자는 기능이 제한돼 있어 전체 ChatGPT 제품보다 모델에 가해지는 부하가 상대적으로 낮기 때문에, 확장 적용에는 별도의 엔지니어링 작업이 필요할 것으로 보인다. OpenAI가 자체 AI 칩 개발을 가속화하는 흐름과 맞물려, 추론 비용 절감은 생성 AI 기업의 핵심 생존 과제가 됐다.
AI 추론 비용은 대규모 언어 모델(LLM)을 사용자에게 서비스할 때 발생하는 GPU 연산 비용으로, 생성 AI 기업의 손익에 직접 영향을 미친다. OpenAI는 수억 명의 사용자에게 ChatGPT를 제공하고 있어 응답 1건당 비용을 조금만 낮춰도 전체 절감 규모는 상당히 커진다. 업계 전반에서 모델 경량화, 캐싱, 양자화 등 다양한 기법을 통해 추론 효율을 높이려는 경쟁이 치열하게 전개되고 있으며, 이번 소식은 OpenAI가 이 경쟁에서 구체적인 성과를 거뒀음을 보여준다.
