인공지능이 문장이나 이미지를 만들어내는 생성형 시스템을 넘어, 사람이 일일이 지시하지 않아도 스스로 과제를 계획하고 실행하는 ‘에이전트 AI(agentic AI)’로 빠르게 옮겨가고 있다. 이런 시스템이 본격적으로 개발·배포되기 시작한 2025년을 기점으로 새로운 윤리·거버넌스 문제도 함께 떠올랐다. 최근 arXiv에 공개된 한 리뷰 논문(동료심사 전 공개본)이 이제 막 형성되고 있는 에이전트 AI 거버넌스 문헌을 체계적으로 훑어 초기 밑그림을 제시했다.
논문은 먼저 에이전트 AI가 기존 인공지능 시스템과 어떻게 다른지, 그 특성을 짚는 데서 출발한다. 스스로 계획을 세우고 여러 단계를 자율적으로 수행하는 능력이 기존 시스템과 구별되는 지점이며, 바로 그 자율성 때문에 일반적인 규제만으로는 부족하고 이 기술에 맞춘 표적화된 감독이 필요하다고 저자들은 설명한다. 사람의 개입 없이 행동하는 시스템일수록 책임 소재와 통제 방식을 미리 설계해 두어야 한다는 문제의식이다.
이어 논문은 이 분야를 형성하고 있는 거버넌스의 우선순위, 제안된 관리 메커니즘, 그리고 이해관계자들의 역할을 함께 정리한다. 어떤 위험을 먼저 다뤄야 하는지, 이를 위해 어떤 감독 장치가 제시되고 있는지, 개발사·규제기관·이용자 등 각 주체가 어떤 몫을 맡아야 하는지를 하나의 그림 안에 모은 것이다. 다만 이 논문은 구체적 수치나 실험 데이터를 제시하는 실증 연구가 아니라, 흩어진 논의를 종합한 개념적 검토에 가깝다.
저자들은 이 작업을 완성된 정책 제안이 아니라, 앞으로 유연하고 책임 있는 에이전트 AI 거버넌스 체계로 나아가기 위한 초기 학술적 기여이자 로드맵의 토대로 규정한다. 자율적으로 움직이는 AI가 확산되는 국면에서 감독 논의가 뒤처지지 않으려면 지금부터 개념과 우선순위를 정리해 둘 필요가 있다는 취지다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
