기업용 AI 에이전트 실패 분석 플랫폼을 개발하는 ChatSee.AI가 트루 벤처스(True Ventures) 주도로 650만 달러 시드 투자를 유치했다고 6월 12일 발표했다. 퍼스트 레이스 벤처 파트너스(First Rays Venture Partners), 세븐 힐스 벤처스(Seven Hills Ventures) 등이 공동 참여했다. 공동 창업자 겸 CEO 세크하르 사루카이(Sekhar Sarukkai)는 “기업들이 원하든 원하지 않든 AI는 이미 현장에 들어와 있다”며 에이전트의 실제 운영 과정에서 발생하는 실패를 체계적으로 다룰 도구가 필요하다고 강조했다.
ChatSee는 자사 플랫폼을 ‘실패 지능 레이어(failure intelligence layer)’로 정의한다. 이 시스템은 에이전트가 실패하는 순간을 포착해 주변 맥락을 보존하고, 수정 방법을 기록한 뒤 해당 지식을 전체 에이전트 네트워크에 피드백한다. 기반이 되는 분류 체계는 기업 에이전트 실패 사례 1만 건 이상을 수집하고 157개 범주로 분류한 결과물이다. 도구 호출 실패부터 범위 설정·추론·실행 단계의 오류까지 아우르며, 기존 관측 도구가 주로 다루던 환각(hallucination) 문제보다 광범위한 이슈를 다룬다. 특정 에이전트가 문제를 겪어 사람이 수정 조치를 취하면 그 정보가 중앙 지식 베이스에 쓰이고, 다른 에이전트들이 이를 참조해 동일한 오류를 반복하지 않는 구조다.
AI 에이전트의 기업 도입이 파일럿에서 실제 운영으로 이동하면서 에이전트 거버넌스 문제가 부각되고 있다. e커머스와 금융 서비스 현장에서 에이전트는 카탈로그 검증, 가격 책정, 거래 분류 같은 핵심 의사결정 업무에 투입되고 있다. 하나의 에이전트가 가맹점 코드를 미묘하게 잘못 분류해도 이 오류가 전체 시스템으로 전파될 수 있는 구조다. 연구·자문기관 TAG-인포스피어(TAG-infosphere) CEO 에두아르트 아모로소(Eduard Amoroso) 박사는 “AI 위험의 상당 부분은 에이전트가 자율 운영되는 런타임 단계에서 발생한다”며 지속적인 런타임 보증이 필요하다고 밝혔다. ChatSee는 확보한 자금으로 에이전트 간 협업 환경에서의 자가 학습·자가 치유 기능을 고도화할 계획이다.
