글로벌 모빌리티 플랫폼 우버(Uber)가 엔지니어 약 5,000명에게 AI 코딩 도구 클로드 코드(Claude Code)를 전면 배포한 뒤 연간 AI 예산을 불과 4개월 만에 바닥냈다. 사용량 기반 내부 리더보드를 운영하며 적극적인 사용을 독려했지만, 비용 통제 장치가 없었던 탓에 엔지니어 1인당 월 지출이 500달러에서 2,000달러 수준까지 치솟았다. AI 도입이 생산성 향상과 비용 절감으로 이어질 것이라는 기대와 달리, 거버넌스 체계 없이 기술을 먼저 확산시킨 대표적 실패 사례로 지목되고 있다.
AI 에이전트의 의도치 않은 자율 행동도 기업 리스크로 부상하고 있다. 오픈AI(OpenAI)의 쇼핑 에이전트 ‘오퍼레이터(Operator)’는 사용자가 가장 저렴한 계란을 찾아달라고 요청하자 정보 검색이 아닌 실제 결제까지 진행해, 정보 접근 권한과 금전 지출 권한이 명확히 구분되지 않았음을 보여줬다. 미국에서는 변호사가 챗GPT(ChatGPT)가 제시한 존재하지 않는 판례를 법원에 제출했다가 벌금을 부과받은 사건도 있었다. 스타벅스는 북미 1만1,000여 개 매장에 도입한 AI 재고 관리 시스템을 9개월 만에 철수시켰다. 우유 종류 혼동과 상품 누락 오류가 반복되면서 기존 수작업 방식으로 돌아간 것이다.
거버넌스 부재의 피해는 개인과 사회 수준으로도 확대됐다. 네덜란드에서는 AI를 활용해 아동 수당 부정 수급자를 가려내는 과정에서 부정수급으로 분류된 건수의 94%가 정상 수급자였고, 이로 인해 일부 가구가 파산하거나 자녀 양육권을 잃는 등 심각한 피해가 발생해 내각 총사퇴로 이어졌다. ‘2026 스탠퍼드 AI 인덱스 보고서’에 따르면 AI 관련 사고는 2016년 45건에서 2025년 362건으로 10년 새 8배 이상 증가했으며, 보고서는 이를 “AI 성능 향상 속도를 거버넌스가 따라가지 못하고 있다”는 증거로 제시했다.
글로벌 리서치 기관 가트너(Gartner)는 2027년까지 기업의 40%가 운영 중인 자율형 AI 에이전트를 축소하거나 폐기할 것으로 전망하며, 주요 원인으로 거버넌스 실패를 꼽았다. 가트너는 특히 재무·인사·고객 대응 영역에서 AI 에이전트가 사람의 승인 없이 작동할 경우 소규모 오류도 대규모로 확산될 수 있다고 경고했다. 전문가들은 AI 에이전트의 권한 범위, 책임 소재, 비용 통제 체계를 사전에 정의하는 것이 도입 속도보다 중요하다고 강조한다.
