대규모 언어 모델(LLM)의 보안 취약점을 체계적으로 탐지하는 오픈소스 프레임워크 가락(garak)이 AI 보안 실무자들 사이에서 주목받고 있다. NVIDIA가 공개한 이 도구는 LLM에 대한 레드팀(red-teaming) 공격 시나리오를 자동화해 모델이 어떤 조건에서 안전하지 않은 출력을 생성하는지 측정하는 데 특화돼 있다.
garak의 핵심 구조는 프로브(probe), 디텍터(detector), 제너레이터(generator) 세 가지 플러그인 계층으로 이뤄진다. 프로브는 모델에 보내는 공격 입력을 정의하고, 디텍터는 모델 응답에서 문제 있는 패턴을 식별하며, 제너레이터는 테스트 대상 LLM과의 연결을 담당한다. 지원하는 공격 유형은 탈옥(jailbreak) 계열 프롬프트, Base64 인코딩 주입, 혐오 발언 유도 등 다양하다. 탈옥 시나리오 중에서는 ‘DAN(Do Anything Now)’ 계열 프롬프트가 대표적으로 활용된다. 테스트 결과는 안전 점수(safe score)와 공격 성공률(ASR, Attack Success Rate)로 정량화돼 JSONL 형식 리포트로 저장되며, AVID(AI 취약점 데이터베이스) 포맷으로 내보내기도 지원한다.
garak의 특징 중 하나는 확장성이다. 사용자가 직접 커스텀 프로브와 디텍터를 파이썬 클래스로 작성해 garak의 플러그인 패키지에 등록하면 기존 공격 유형에 없는 시나리오도 평가 파이프라인에 통합할 수 있다. 허깅페이스(Hugging Face) 모델 허브에 공개된 모델뿐 아니라 REST API 엔드포인트로 서비스되는 프로덕션 모델에도 연결이 가능해, 개발 단계뿐 아니라 배포 이후 상시 모니터링 용도로도 활용될 수 있다.
LLM이 기업 업무·공공 서비스에 빠르게 도입되면서 모델 자체의 안전성을 사전에 검증하는 수요가 커지고 있다. 기존에는 보안 전문가가 수작업으로 프롬프트를 설계하고 결과를 수동 검토하는 방식이 주를 이뤘으나, garak처럼 공격 유형과 탐지 로직을 모듈화한 자동화 도구가 등장하면서 레드팀 작업의 반복성과 재현성을 높일 수 있게 됐다. AVID 포맷 지원은 탐지된 취약점을 업계 공통 언어로 기록하고 공유하는 데 기여한다는 점에서 표준화 측면에서도 의미가 있다.
