한국인터넷진흥원(KISA)이 2026년 7월 7일 ‘AI 보안 레드티밍 가이드’를 공개했다. AI탐지대응팀이 게시한 이 문서는 AI 모델을 개발·보유하거나 서비스를 운영하는 기업·기관의 보안 담당자, 개발자, 정책·운영 책임자를 주요 독자로 삼는다. 법적 인증기준을 신설한 것이 아니라, 조직이 내부 인력이나 외부 전문기관을 활용해 레드팀을 만들고 운영할 때 참고할 실무 지침이다.
가이드는 점검 대상을 모델 하나로 제한하지 않는다. 학습·평가 데이터, 애플리케이션과 API, 시스템 프롬프트와 가드레일, RAG·MCP·에이전트 도구 같은 외부 연계, 클라우드와 로그·배포 환경까지 시스템 전체를 범위 후보로 제시한다. 조직은 위험도, 인력과 자동화 자원, 내부 정보 접근 수준에 따라 블랙박스·그레이박스·화이트박스 방식을 조합하도록 안내한다.
준비 단계에서는 목적과 포함·제외 범위, 허용 공격과 금지 행위, 데이터 보관·삭제 기준, 영향 허용 수준, 중단 조건과 긴급 보고 절차를 먼저 합의한다. 레드팀 역할도 PM, AI 레드팀 전문가, 보안 테스트 전문가, AI 엔지니어, 법률 자문가, 도메인 전문가 등으로 나눠 제시한다. 유해하거나 민감한 출력에 반복 노출될 수 있는 팀원을 위한 교육과 심리적 지원도 운영 조건에 포함한다.
실행은 자동화 도구로 공격 표면을 넓게 조사한 뒤 전문가가 복합 우회와 비즈니스 로직 결함을 심층 점검하는 2단계 접근을 제안한다. 공격 성공 여부만 보지 않고 영향도, 악용·재현·탐지·대응 가능성과 연계 시스템 영향을 함께 평가한다. 입력과 출력, 모델 버전, 파라미터, 도구 호출, 평가자 정보를 구조화해 남기고, 멀티턴 공격의 전체 대화와 재현 스크립트·화면 증거를 확보하도록 권고한다.
| 단계 | 핵심 확인 사항 | 검증 근거 |
|---|---|---|
|
구성 |
PM·AI 레드팀·보안 테스트·AI 엔지니어·법률·도메인 역할 정의 |
가이드 p.18 표 7 |
|
준비 |
범위·교전 규칙·평가기준·시나리오·환경·중단 절차 합의 |
가이드 pp.22~32 |
|
이행 |
자동화 전수 조사 뒤 전문가 심층 점검, 영향 분석과 증적 기록 |
가이드 pp.34~38 |
|
보고·후속 |
범위·취약점·영향·완화책 기록 후 재검증·회귀 테스트 |
가이드 pp.40~46 |
자료: STORIUM 정리
결과 보고서는 점검 당시의 버전과 환경, 수행·제외 범위, 취약점과 공격 시나리오, 비즈니스 영향, 완화 권고를 연결해야 한다. 가이드는 결과가 영구적인 안전을 보장하는 판정이 아니라 특정 시점의 보안 상태를 보여주는 스냅샷이라고 명시한다. 패치 뒤에는 같은 공격과 변형 공격을 다시 실행하고, 정상 질의가 과도하게 차단되지 않는지 회귀 테스트도 병행하도록 제시한다.
공개 문서는 69쪽이며 체크리스트, 점검 도구 목록, 직무기술서와 관련 문서 예시를 부록으로 제공한다. 다만 KISA는 이 가이드를 적용한 조직 수, 발견 취약점 수, 도구별 탐지율이나 실증 성과를 발표하지 않았다. 실제 운영에서는 서비스 중요도와 법적 권한, 제3자 약관, 개인정보 처리 조건에 맞춰 범위와 임계값을 별도로 정하고, 개발·배포·운영 단계에서 반복 점검해야 한다.
출처: 공식 발표 (2026-07-07)
저작권자 © STORIUM 무단전재 및 재배포 금지
