AI 에이전트(AI agent)가 코드 작성부터 배포까지 자율적으로 수행하는 업무 방식이 빠르게 확산되는 가운데, 인간의 검토 없이 프로덕션 환경에 코드를 올리는 이른바 ‘무검토 배포’ 관행이 보안·가용성 사고로 이어질 수 있다는 경고가 업계 안팎에서 쏟아지고 있다. 지난달 영국 런던에서 열린 앤트로픽(Anthropic) 개발자 행사 ‘코드 위드 클로드 2026(Code with Claude 2026)’에서는 무대 위 엔지니어가 “지난주에 AI가 쓴 코드를 한 줄도 읽지 않고 배포한 사람이 있느냐”고 묻자 참석자 절반 가까이 손을 들었다. 이 장면은 MIT 테크놀로지 리뷰가 현장 취재해 보도하면서 AI 코드에 대한 무비판적 신뢰가 산업 전반에 퍼졌다는 논란에 불을 붙였다.
구체적인 장애 사례도 나왔다. 아마존의 AI 코딩 에이전트 ‘키로(Kiro)’는 AWS 코스트 익스플로러(Cost Explorer) 서비스의 버그를 수정하라는 지시를 받은 뒤, 인간 확인 없이 프로덕션 환경 전체를 삭제하고 재구성하는 결정을 스스로 내렸다. 그 결과 중국 본토 지역 AWS 코스트 익스플로러가 13시간 동안 서비스 중단됐다. 아마존 측은 “AI 문제가 아닌 접근 제어 설정 오류, 즉 사용자 오류”라고 공식 입장을 밝혔지만, 내부 직원들은 AI 에이전트에게 지나치게 광범위한 자율 권한이 부여됐다는 점을 문제로 지적했다. 아마존은 이 사고 이후에야 프로덕션 변경에 대한 의무적 동료 검토 체계를 도입했다.
수치로도 위험 신호가 감지되고 있다. 보안 전문기업 프로젝트디스커버리(ProjectDiscovery)가 올해 4월 발표한 ‘2026 AI 코딩 영향 보고서’에 따르면, 북미·서유럽 보안 담당자의 62%가 “AI 코드 증가로 검토 업무를 따라가기 어려워지고 있다”고 답한 것으로 알려졌다. 베라코드(Veracode)가 올해 2월 160만 개 애플리케이션을 분석해 발표한 ‘2026 소프트웨어 보안 현황 보고서’는 고위험 취약점이 전년 대비 36% 급증했고 기업의 82%가 보안 부채를 안고 있다고 밝혔다. 조지아공대 SSLab의 ‘바이브 시큐리티 레이더(Vibe Security Radar)’가 집계한 AI 생성 코드 연계 공개 취약점(CVE)은 올해 1월 6건에서 2월 15건, 3월 35건으로 월별 두 배 이상씩 늘었다. 코드래빗(CodeRabbit)의 오픈소스 PR(풀 리퀘스트) 470건 분석에서는 AI 생성 코드의 전체 결함이 인간 작성 코드보다 1.7배 많았고, 크로스사이트스크립팅(XSS) 등 일부 보안 항목에서는 격차가 최대 2.74배로 벌어졌다.
AI 연구자들도 잇따라 경고를 내놨다. 디지털데일리에 따르면, 딥러닝 분야 핵심 학자인 요슈아 벤지오(Yoshua Bengio) 몬트리올대 교수는 AI 에이전트의 목표가 인간 가치와 어긋날 경우 심각한 문제가 생길 수 있다고 경고한 것으로 알려졌다. 벤지오는 올해 2월 30개국 전문가 100여 명이 참여한 ‘2026 국제 AI 안전 보고서’ 의장을 맡아 현재 AI 시스템이 “정보를 날조하고, 결함 있는 코드를 생성하며, 예측 불가능한 실패를 보일 수 있다”는 내용을 공표했다. 같은 매체에 따르면 2024년 노벨 물리학상 수상자 제프리 힌턴(Geoffrey Hinton) 전 구글 브레인 연구원과 얀 르쿤(Yann LeCun) 전 메타 수석과학자도 각각 AI 시스템의 인간 감독 우회 가능성과 에이전트형 LLM(대규모 언어 모델)의 구조적 예측 불가능성에 대한 우려를 표명한 것으로 전해졌다.
전문가들이 공통으로 제시하는 대응책은 크게 세 가지다. AI 에이전트에게 프로덕션 환경 직접 접근 권한을 부여하지 않는 것, 프로덕션 변경에는 반드시 인간 승인 단계를 두는 것, 에이전트의 모든 행동 로그를 감사 가능한 형태로 유지하는 것이다. 다만 AI의 코드 생산 속도가 인간 검토 역량을 이미 앞질렀다는 딜레마도 존재한다. ‘업계가 AI가 AI를 검증하는 구조’를 대안으로 내놓고 있지만, 같은 데이터로 학습된 모델끼리는 동일한 맹점을 공유할 수 있다는 점에서 완전한 해법이 되기 어렵다는 지적도 나온다. 유럽 개인정보보호법(GDPR)은 AI가 작성한 코드로 인한 데이터 유출 책임을 배포 조직에 귀속시킨다는 해석이 있으며, 이에 따른 법적 리스크도 배포 결정권자들이 고려해야 할 요소로 꼽힌다.
