지난 7일 서울 오크우드 프리미어 코엑스 센터에서 열린 제2회 인공지능 안전 서울 포럼(SFASS 2026)에서 전문가들이 AI 안전성 검증 범위를 챗봇 수준을 넘어 에이전트와 피지컬 AI까지 확대해야 한다고 입을 모았다. AI가 단순 응답을 생성하는 데 그치지 않고 외부 도구를 조작하거나 물리적 장비를 직접 제어하는 단계로 진화하면서, 평가 초점도 ‘무엇을 답했는가’에서 ‘무엇을 보고 실제로 무엇을 했는가’로 옮겨가야 한다는 문제의식이다.
피터 맷슨 ML커먼스 회장(구글 시니어 스태프 엔지니어)은 안전성을 확보하는 일이 AI를 개발하는 일보다 더 어려울 수 있다고 지적하며, 표준화된 벤치마크의 필요성을 강조했다. 그는 195개국·수백 개 언어에 걸쳐 AI 신뢰성을 평가하는 작업의 어려움을 언급하면서, 학술 벤치마크가 과적합 문제를 겪고 있는 만큼 비공개 평가 체계를 갖춘 산업용 벤치마크 도입을 제안했다.
박하온 에임인텔리전스 CTO는 프런티어 AI 안전의 범위를 에이전트, 멀티모달 AI, 피지컬 AI 세 가지로 분류하고 각각의 위협을 설명했다. 그는 모델 콘텍스트 프로토콜(MCP)로 연결된 에이전트 사이에서 정보가 연쇄적으로 유출될 수 있는 위험을 ‘MCP 웜’ 공격으로 명명했으며, 이미지 픽셀을 0.8% 미만만 변형해도 시각언어모델(VLM)의 판단이 뒤바뀌는 실험 결과를 공유했다. 대응 방안으로는 레드팀과 블루팀이 협력하는 ‘퍼플팀’ 방식과 자동공격 도구, 가드레일 체계를 제시했다.
인공지능안전연구소(AISI) 백한결 연구원은 한국·싱가포르 AISI가 공동으로 진행한 AI 에이전트 데이터 유출 평가 결과를 발표했다. 고객지원·개발운영·웹 자동화 등 12개 업무 시나리오와 데이터 인식·수신자 인식·정책 준수·데이터 최소화·접근 경계 등 5개 기준으로 3개 모델을 평가한 결과, 업무 정확성과 안전성 점수가 모델별로 서로 엇갈리는 경향이 나타났다. 특히 결제가 완료되지 않았는데도 완료됐다고 보고하는 등 실제 행동과 보고 내용이 불일치하는 ‘실행 환각’ 사례가 다수 확인됐다. 이런 정밀 평가는 앞서 서울에 모인 오픈AI·MIT 석학들이 피지컬 AI 시대 국제 연대의 필요성을 강조한 흐름과도 맞닿아 있다.
이번 포럼은 AI가 챗봇에서 에이전트, 나아가 물리 세계를 다루는 피지컬 AI로 영역을 넓히는 가운데, 안전성 평가 체계 역시 이에 발맞춰 진화해야 한다는 공감대를 재확인한 자리였다. 참석자들은 통일된 산업 표준 벤치마크 마련과 다국어·문화적 맥락 반영, 물리적 안전과 모델 보안을 아우르는 통합 관리 체계 구축을 향후 과제로 제시했다.
