AI 브라우저의 안전장치를 무력화하는 새로운 공격 기법이 공개돼 보안 업계에 경각심을 주고 있다. 보안업체 레이어엑스(LayerX)의 연구원 로이 파즈(Roy Paz)는 최근 웹사이트가 AI 브라우저를 거짓된 가상 현실 속으로 유도해 기존 안전 규칙이 더 이상 적용되지 않는 상태로 만들 수 있다는 연구 결과를 발표했다. 이 공격이 성립하면 공격자는 비공개 저장소에서 코드를 빼내거나 브라우저 내장 비밀번호 관리자에서 자격증명을 탈취하는 등 파괴적인 행동을 자유롭게 지시할 수 있게 된다.
AI 브라우저는 사용자가 한 문장의 지시만으로 특정 지역의 식당을 찾고, 예약을 잡고, 동료를 초대하고, 확인 메일을 발송하는 등의 복합 작업을 대신 수행해준다는 점을 내세워 왔다. 그러나 이 편의성 뒤에는 웹 탐색과 대규모 언어 모델(LLM)에 민감한 작업을 지시하는 행위 사이의 경계가 흐려지는 위험이 자리한다. 개발사들은 이런 위험에 대해, 소프트웨어 취약점 개발이나 자격증명 탈취, 위험물 제조법 안내 등 특정 요청을 원천 차단하는 가드레일(guardrail)을 해법으로 제시해 왔다.
이번에 공개된 공격 개념증명(PoC)은 악성 웹사이트가 AI 브라우저에 퍼즐을 풀어 게임에서 이기라는 지시를 내리는 방식으로 작동한다. 이 퍼즐은 2+2=5처럼 틀린 답을 정답으로 보상하도록 설계돼 있다. 브라우저에 내장된 LLM이 더 이상 4가 정답이 아니라는 사실을 학습하는 순간, 모델은 현실의 규칙이 통용되지 않는 일종의 착란 상태에 빠져든다. 연구진은 이 상태에서는 원래 적용되던 안전 제약이 더 이상 강제되지 않는다고 설명했다.
파즈 연구원은 AI가 자신이 처한 맥락을 현실로 전제하고 그에 맞춰 안전 가드레일 범위 내에서 행동하도록 설계돼 있다고 지적했다. 하지만 공격자가 AI의 맥락 인식 자체를 허구의 세계로 조작할 수 있다면, 모델은 자신의 행동이 실제 세계에 아무런 결과를 낳지 않는다고 착각한 채 움직이게 된다는 것이다. 이는 기존 가드레일 방식이 증상만 다루는 사후 대응에 머물러 있어, 근본적인 구조적 결함을 해결하지 못하고 있다는 업계의 우려를 뒷받침하는 사례로 꼽힌다. AI 에이전트가 실제 금융 거래까지 자율적으로 처리하는 방향으로 확장되는 가운데, <a href=”https://www.storium.io/b49-%ec%95%84%eb%a7%88%ec%a1%b4-bedrock-agentcore-payments-ai-%ec%97%90%ec%9d%b4%ec%a0%84%ed%8a%b8-%ea%b2%b0%ec%a0%9c/”>아마존이 AI 에이전트 자율 결제 인프라를 공개</a>하는 등 에이전트의 권한 범위가 확대될수록 이러한 보안 허점이 초래할 파장도 함께 커질 전망이다.
