에이전트형 인공지능 시스템을 개발·운영하는 조직에는 기존 소프트웨어 공학의 리스크 관리 방식이 그대로 통하지 않는다는 연구 결과가 나왔다. 연구진은 엔지니어링 관리 분야에서 축적된 기존 프레임워크가 기능별 소유권, 심각도별 에스컬레이션, 테스트 커버리지를 통한 품질 보증을 전제로 삼고 있지만, 이런 전제 자체가 에이전트 AI 환경에서는 성립하지 않는다고 지적했다.
기존 리스크 프레임워크는 결정론적 동작, 이산적이고 감사 가능한 변경 이벤트, 명확한 구성요소-소유자 매핑을 암묵적으로 가정한다. 반면 에이전트형 AI 시스템을 구축·운영하는 팀은 세 가지 전제를 동시에 어긴다는 게 연구진의 분석이다. 출력이 확률적이고, 시스템이 여러 단계를 자율적으로 수행하며, 배포 사이에 위험 표면 자체가 조용히 변화한다는 것이다. NIST AI 위험관리프레임워크(RMF)나 ISO/IEC 42001 같은 정책 차원의 접근, 혹은 OWASP의 에이전트 AI 위협 분류 같은 하위 차원의 접근은 있었지만, 정작 엔지니어링 매니저가 실제로 일하는 역할·의사결정 권한·에스컬레이션 구조 차원의 논의는 비어 있었다고 연구진은 설명했다. AWS가 에이전트 커널 개발 도구를 공개하는 등 에이전트 인프라 자체는 빠르게 발전하고 있지만, 이를 관리하는 조직 체계는 상대적으로 뒤처져 있다는 문제의식과 맞닿아 있다.
이번 논문은 세 가지 기여를 제시한다. 첫째는 순수 소프트웨어 엔지니어링 팀, 하이브리드 팀, AI 네이티브 팀을 구분하는 7차원 프로파일이다. 둘째는 여섯 개 실패 유형 분류 체계로, 여기에는 그동안 명확히 규정되지 않았던 ‘의존성 경계의 결정론 불일치’라는 새로운 유형이 포함됐다. 셋째는 각 프로파일의 리스크 아키텍처가 정해진 시나리오 집합에서 위험을 얼마나 잘 탐지·억제·에스컬레이션하는지 점수화하는 합성 프레임워크 적정성 평가 방법론이다. 연구 대상이 인간 행동이 아니라 프레임워크의 적정성이기 때문에, 평가 결과는 실제 관찰치가 아니라 도출된 커버리지 값이라는 점도 명시됐다.
분석 결과 팀이 순수 소프트웨어 엔지니어링에서 AI 네이티브 운영으로 이동할수록 리스크 커버리지는 중앙값 기준으로는 점진적으로, 커버되지 않는 고위험 실패의 개수 기준으로는 급격하게 악화됐다. 이런 악화는 특정 실패 유형 범주에 집중됐으며, AI 네이티브 단계에서만 등장하는 실패도 확인됐다. 특히 가장 심각하고 커버리지가 낮은 실패는 AI 네이티브 팀 내부가 아니라, 확률적 출력을 결정론을 전제로 하는 다른 조직이 소비하는 경계 지점에서 발생한다는 점이 강조됐다.
연구진은 이 결과가 AI 에이전트를 도입하는 조직이 단순히 기술 스택만 바꿀 것이 아니라, 리스크 소유권과 에스컬레이션 구조 자체를 재설계해야 한다는 점을 시사한다고 밝혔다. 특히 조직 경계에서 발생하는 리스크는 개별 팀 차원의 대응만으로는 해결되지 않아, 전사 차원의 거버넌스 재정비가 필요하다는 점을 시사한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
