코드 작성과 도구 실행 권한을 가진 AI 에이전트는 유해한 문장을 내놓는 데서 그치지 않고 파일 변경이나 데이터 유출 같은 실제 행동으로 이어질 수 있다. 홍콩시티대 연구진은 프로덕션 에이전트 레드팀을 반복 가능한 연구 과정으로 바꾸는 AHA를 제안했다. 개별 공격 문자열을 보관하는 대신, 어떤 조건에서 안전장치가 무너졌는지를 감사 가능한 취약점 개념으로 축적하는 접근이다.
AHA는 취약점 가설을 먼저 세우고 이를 깨뜨릴 반증 조건을 정의한 뒤, 시나리오에 맞는 공격을 샌드박스에서 실행하고 궤적을 되짚는다. 확인된 결과만 취약점 개념 그래프(VCG)에 올린다. 각 노드는 주장, 성립 조건, 반증자, 다른 환경으로의 전이 예측, 증거를 함께 담는다. 평가 때는 그래프를 고정하고 인스턴스마다 공격을 한 번만 생성해 재검색이나 재시도를 허용하지 않았다.
실험은 Claude Code와 Codex 에이전트, MiniMax-M2.7·Kimi-K2.6·DeepSeek-V4-Pro 피해 모델, AgentHazard·AgentDyn·DTap 세 시나리오를 조합했다. 직접 공격과 간접 프롬프트 주입을 함께 다뤘으며, T-MAP·IterInject·AutoRISE가 남긴 고정 산출물과 같은 단일 시도 조건에서 비교했다. AHA의 전체 평균 공격 성공률은 47.0%로 가장 강한 고정 탐색 기준의 32.8%보다 14.2%포인트 높았다. Claude Code만 보면 50.0% 대 36.5%였다.
그래프에는 모델과 에이전트를 넘어 반복되는 공통 구조도 나타났다. ‘주장된 권한’ 계열은 18개 설정 중 16개에서 발견됐고, 간접 공격 설정 12개 중 9개에서는 작업 목표 가로채기가 공통 핵심으로 관찰됐다. 다른 시나리오로 옮긴 고정 VCG는 방향에 따라 평균 7.7~53.7% 성공률을 보였고, 다른 피해 모델로 전이한 여섯 조합은 대상 모델 자체 VCG 성공률의 평균 88%에 도달했다.
반증자·에피소드 간 메모리·주기적 비평을 하나씩 제거한 실험은 탐색 당시 성공률보다 고정 후 재현성이 더 민감하게 떨어짐을 보였다. 비평을 제거하면 AgentHazard의 유효 개념 수가 10개에서 7개로, 고정 평가 성공률이 75.56%에서 57.78%로 낮아졌다. 이는 많이 뚫는 것과 다시 검증되는 취약점 지식을 남기는 일이 다르다는 연구진의 해석을 뒷받침한다.
| 항목 | 논문 결과 | 원문 근거 |
|---|---|---|
| 평가 조합 | 피해 에이전트 2종·피해 모델 3종·시나리오 3종 | Sec. 4.4, PDF pp.8–9 |
| 고정 단일 시도 전체 평균 ASR | AHA 47.0%, 최강 고정 탐색 기준 32.8% | Sec. 5.2, Table 2, PDF p.11 |
| Claude Code 평균 비교 | AHA 50.0%, 최강 기준 36.5% | Sec. 5.2, PDF p.11 |
| 공통 취약점 계열 | 주장된 권한: 18개 설정 중 16개 | Sec. 5.1, Figure 3, PDF p.10 |
| 모델 간 전이 | 외부 VCG가 대상 자체 ASR의 평균 88% 도달 | Sec. 5.4, Figure 4, PDF p.13 |
자료: STORIUM 정리
다만 결과는 세 벤치마크와 세 피해 모델, 두 코딩 에이전트에 한정된 동료검토 전 arXiv v1이다. Codex의 DTap 평가에서는 일부 비 OpenAI 백엔드 도구 호출이 라우팅 문제로 불안정했고, 공격 성공 판정 역시 자동 심판과 연구진이 설계한 샌드박스에 의존한다. 실제 제품 패치 뒤의 장기 재현성, 더 다양한 권한 체계와 사용자 환경에서의 방어 효과는 별도 검증이 필요하다.
1차 출처: https://arxiv.org/abs/2607.11698
저작권자 © STORIUM 무단전재 및 재배포 금지
