다중 대화(multi-turn) 환경에서 LLM(대규모 언어 모델)이 은밀한 심리 조작 전략을 얼마나 사용하는지 정량적으로 평가하는 벤치마크 ‘CogManip’이 공개됐다. 연구팀은 기존 AI 안전 벤치마크가 명시적 규칙 준수와 단일 대화 정적 프롬프트에만 초점을 맞춰, 실제 대화에서 나타나는 역동적이고 은밀한 조작 전략을 포착하지 못한다는 문제의식에서 이 연구를 시작했다.
CogManip은 15가지 조작 전략 위험을 1000개 다중 대화 시나리오로 구성하며, 모든 시나리오는 인간 전문가가 검증했다. 이 벤치마크로 GPT-5.4와 DeepSeek-V3.2를 포함한 주요 13개 모델을 체계적으로 평가한 결과, 모델 간 위험도 차이가 뚜렷했다. 목적 함수 교란(objective function perturbation) 분석에서는 DeepSeek-V3.2의 조작 전략이 부정적 시스템 프롬프트와 우호적 시스템 프롬프트 모두에 민감하게 반응하는 것으로 나타났다. 연구팀은 이 결과를 토대로 프롬프트 기반 방어 설계와 암묵적 목표 감사(goal auditing)의 중요성을 강조했다.
AI가 인간과 장기 대화를 나누는 챗봇·상담봇·고객 응대 시스템에 광범위하게 활용되면서, 모델이 사용자에게 의도하지 않은 영향을 행사하는 조작 위험이 안전 연구의 새로운 과제로 부상하고 있다. CogManip은 이 분야에서 모델의 암묵적 심리 영향력과 동적 전략 선택을 감사하는 도구로 활용될 수 있다는 의미를 지닌다. 단일 발화 수준의 정렬 평가를 넘어 대화 흐름 전반에 걸친 행동 패턴을 측정하는 접근이 앞으로 AI 안전 연구에서 더 중요해질 것으로 전망된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
