답변을 만드는 데서 멈추지 않고 외부 도구를 호출해 행동까지 수행하는 AI를 두고 정부가 별도의 안전 기준 마련에 나선다. 과학기술정보통신부는 7월 23일 제11회 과학기술관계장관회의에서 ‘에이전틱 AI 이니셔티브’를 발표했다. 안전·신뢰 확보, 개방형 실행 기반 구축, 수요 중심 도입이 정책의 세 축이며 개인정보와 권한 관리, 목표 이탈 방지를 다룰 가이드라인은 연내 내놓을 계획이다.
정부가 생성형 AI 일반론과 구분해 본 위험은 에이전트가 시스템과 데이터에 접속해 실제 작업을 수행한다는 데서 출발한다. 부여받은 권한을 잘못 사용하거나 보안 위협을 일으키고 민감정보를 노출할 가능성이 거론됐다. 성능과 함께 안전성·신뢰성을 평가할 기반을 만들고, 에이전틱 AI 얼라이언스를 통해 에이전트 신원 확인과 행위의 책임 소재를 검토하기로 했다.
다만 이번 회의에서 적용 대상, 위험 등급, 평가 절차나 위반 시 조치가 확정된 것은 아니다. 법적 책임 주체도 후속 검토 영역에 남아 있다. 과기정통부는 기술 변화에 맞춰 정책 목표와 수단을 조정하는 ‘무빙타깃’ 방식으로 세부안을 구체화하겠다고 설명했다. 연내 문서는 현장에서 지켜야 할 규칙의 범위를 가르는 첫 기준이 될 수 있지만 발표 단계에서는 추진 일정으로 읽어야 한다.
실행 기반은 특정 모델 하나에 종속되지 않고 모델·추론·에이전트·도구를 연결하고 관리하는 구조를 지향한다. 생활 밀착형 또는 수요가 큰 에이전트와 신뢰할 수 있는 유통 마켓플레이스를 지원하고, 이들을 통합 관리할 AI 운영체제 핵심 기술도 개발한다. 멀티에이전트 협업과 반복 호출에 따른 토큰 사용을 줄이는 기술, 국산 모델의 에이전트 성능 개선을 위한 GPU와 데이터 지원도 계획에 담겼다.
도입 사업은 국민 대상 ‘모두의 AI 프로젝트’와 산업별 ‘AI 에이전트 플래그십 프로젝트’로 나뉜다. 파운데이션 모델 기업, 인프라 기업, 서비스 개발사와 수요 기업이 산업 현장에서 서비스를 함께 개발하고 검증하는 방식이다. 기업에는 도입 진단과 위험 관리, 운영체계 수립을 지원하고 스타트업 사업화 및 ICT 규제샌드박스 실증 기회도 넓힌다는 방침이다.
사업별 예산과 지원 규모, 참여 기업 선정 절차, 착수 시점은 이번 공개 내용에 포함되지 않았다. 따라서 정책의 실제 강도는 가이드라인 문안뿐 아니라 플래그십 과제가 어떤 현장에서 어떤 지표로 검증되는지에 달렸다. 다음 확인 시점은 정부가 예고한 연내 가이드라인 공개 때이며, 그전까지 3대 전략은 확정 의무가 아닌 추진 방향이라는 경계가 유지된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
