스스로 판단하고 행동하는 에이전틱 AI(agentic AI)가 기업 현장에 확산되면서, AI가 실질적 결정을 내리고 사람은 형식적 승인만 하는 구조로 전락할 위험이 커지고 있다는 경고가 나왔다. 가트너는 최근 발간한 ‘인간 중심 AI 거버넌스: 인간 개입 오류 극복’ 보고서에서 이러한 현상을 HITL(Human-in-the-Loop·인간 개입) 착각으로 규정하고 기업의 AI 거버넌스 체계 재설계를 촉구했다.
보고서에 따르면 에이전틱 AI 활용 현장에서는 겉으로 사람이 관여하는 것처럼 보이지만, 실제로는 AI 의사결정 과정에 대한 검토 권한, 이의 제기 방법, 최종 책임 소재가 불분명한 경우가 많다. 가트너는 이를 HOTL(Human-on-the-Loop) 구조로 정의하며, 사람이 사실상 배제된 채 승인 버튼만 누르는 역할로 전락하는 것이라고 진단했다. 가트너 시니어 디렉터 에번 와이어는 “AI가 의사결정에 필요한 정보와 환경을 제공하는 상황에서 사람이 실질적 통제권 없이 결과를 승인하기만 한다면, 그것은 AI가 결정한 사안에 형식적 도장을 찍는 것과 다르지 않다”고 밝혔다.
가트너는 초기에는 사람이 AI 결과를 적극적으로 검증하지만, 시간이 지나 ‘AI가 대체로 맞다’는 경험이 쌓이면 결과를 충분히 검토하지 않고 승인하는 관행이 굳어질 수 있다고 지적했다. 이 경우 인간 개입은 실질 없는 확인 절차로 형식화된다. 이에 가트너는 기업 내 AI 정책과 서비스 가이드라인을 중단 권한, 이의 제기 권한, 책임 주체를 명확히 하는 방향으로 재설계해야 한다고 제안했다.
구체적 권고 사항으로는 AI 협업 체계를 시스템 설계 초기부터 내재화하고 사람을 단순 승인자가 아닌 ‘AI 통찰을 활용하면서도 최종 판단을 유지하는 존재’로 위치시킬 것, AI 결정마다 검토자와 책임자를 기록하고 설명 가능성을 확보할 것 등이 포함됐다. AI가 독립적으로 행동할 수 있는 범위를 명확히 규정하고 임직원이 AI 결정을 언제든 중단하거나 수정할 수 있는 프로세스를 갖출 것도 강조됐다. 에이전틱 AI 기술이 빠르게 보급되는 가운데, 인간의 실질적 통제를 보장하는 거버넌스 체계 구축이 기업 AI 운영의 핵심 과제로 부상하고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
