기술 매체 인포큐가 사이버보안 전문가 4인이 참여한 가상 좌담을 통해 AI가 촉발한 보안 위협의 진화 양상을 짚었다. 참여한 전문가들은 트렌티노 디지탈레의 엘함 아르샤드, 엑스플레오 그룹의 사브리 알라니, 울트라바이올렛 사이버의 비제이 딜왈레, 제노바대학의 이고르 말코비치 등이다. 이들은 보안 엔지니어가 예측 가능한 소프트웨어를 지키는 역할에서 확률적으로 작동하는 AI 시스템을 방어하는 역할로 근본적으로 전환해야 한다는 데 뜻을 모았다. 프롬프트 인젝션, 데이터 포이즈닝, 모델 드리프트, 검색증강생성(RAG) 오용 같은 AI 특유의 위협 벡터에 대한 이해가 이제 선택이 아닌 필수라는 지적이다.
패널은 현재 가장 파괴적인 AI 공격으로 AI를 활용한 대규모 사회공학 공격과 에이전트 시스템을 겨냥한 간접 프롬프트 인젝션을 꼽았다. 알라니는 공격자가 조직도나 벤더 관계, 인사 변동, 내부 용어, 과거 이메일 스타일 등 오픈소스 정보와 유출 데이터를 결합해 기술 전문가조차 속일 만큼 정교한 메시지를 만들어낸다고 설명했다. 생성형 AI 덕분에 공격자는 수천 건의 맞춤형 접촉을 동시에 시도하고, 이의 제기나 긴급성 압박에도 그럴듯하게 대응하는 후속 대화까지 이어갈 수 있다는 것이다. 딜왈레 역시 실제 프로젝트명과 동료 이름, 최근 회사 이슈를 언급하는 피싱 이메일과 임원을 흉내낸 음성 딥페이크가 이미 관찰되고 있다며, AI가 기만이라는 개념 자체를 새로 만든 것은 아니지만 공격의 빈도와 정교함을 가로막던 장벽을 없앴다고 진단했다.
기술적 측면에서는 AI 에이전트가 이메일, 티켓, 파일 공유, 고객관계관리(CRM), 클라우드 API 등 기업 도구에 연결되면서 위협의 초점이 “모델이 무엇을 말하는가”에서 “모델이 무엇을 할 수 있는가”로 옮겨가고 있다는 지적이 나왔다. 알라니는 공격자가 모델 자체를 손상시킬 필요 없이 모델이 처리하는 웹페이지나 문서, 이메일, 티켓 등 신뢰되지 않은 콘텐츠에 악성 지시를 심어두는 것만으로 승인된 연결 통로를 통해 데이터를 빼내거나 이메일을 발송하고, 접근 권한을 바꾸는 티켓을 생성할 수 있다고 경고했다. 이런 공격이 위험한 이유는 정상적인 자동화처럼 보이는 신뢰된 시스템이 오남용된다는 데 있어, 기존의 이상 탐지 방식으로는 걸러내기 어렵다는 것이다. 말코비치는 이런 공격이 단일 실행 취약점이 아니라 시스템 구성요소 간 경계, 즉 신뢰되지 않은 사용자 입력이 시스템 지침과 만나는 지점에서 발생한다고 정리했다.
향후 전망에 대해 패널은 AI 공격이 콘텐츠 생성 단계를 넘어 정찰과 피싱, 내부 이동, 지속성 유지까지 피드백 루프로 최적화되는 자율적·목표지향적 작전으로 진화할 것으로 내다봤다. 이에 대응해 조직은 정적 규칙 기반 보안에서 벗어나 AI 에이전트를 실제 직원처럼 고유한 신원과 권한, 수명주기를 가진 존재로 취급하고, 필요한 최소 권한만 부여하는 제로트러스트 원칙을 적용해야 한다는 제언이 이어졌다. 패널들은 공통적으로 보안팀이 완벽한 방어를 추구하기보다 이상 행동을 빠르게 감지하고 피해 범위를 제한하는 회복력과 가시성 확보에 집중해야 하며, 보안 엔지니어와 머신러닝 엔지니어 간의 긴밀한 협업 체계를 지금부터 갖춰야 한다고 입을 모았다.
