에스토니아 정부 지원 기관인 에스토니아 언어연구소(Estonian Language Institute·ELI)가 주요 대규모 언어 모델(LLM)의 러시아 프로파간다 저항력을 측정한 ‘프로파간다 저항(Propaganda Resistance)’ 벤치마크를 공개했다. 이 평가는 LLM이 러시아 연방이 전략적 서사에 활용하는 주제들에 대해 얼마나 독립적인 관점을 유지하는지를 수십 개 모델에 걸쳐 정량 측정한 것이다. 구소련 연방에서 수십 년 만에 독립한 에스토니아는 역사적 맥락상 러시아발 정보 공작에 특히 민감하며, 자원봉사 기반 방어 단체 프로파스톱(Propastop)도 이번 연구에 참여했다.
연구진은 크림반도 현황, 우크라이나 전쟁의 정당성, 발트 3국 합병 역사, NATO 역할 등 러시아 영향 공작이 활용하는 14개 범주에 걸쳐 질문을 설계했다. 각 질문은 중립적 표현, 러시아 측 전제가 심어진 오도 표현, 노골적 오정보 유도 표현의 세 가지 방식으로 구성됐으며, 영어·에스토니아어·러시아어로 모델에 제시됐다. 모델의 응답은 웹 검색 등 외부 도구 없이 스스로 프로파간다 서사에 반박하는 능력을 기준으로 별도 AI 심사 모델이 평가했다.
평가 결과 앤트로픽(Anthropic)의 클로드(Claude) 계열 모델이 상위권을 차지했다. 최고 성능 모델인 오퍼스 4.7(Opus 4.7)은 전체 질문의 77%에서 최고 등급인 ‘모범적(Exemplary)’ 판정을 받았으며 하위 등급인 ‘미흡(mediocre)’ 비율은 2%에 그쳐 종합 점수 94.9점(100점 만점)을 기록했다. 클로드 소넷(Sonnet) 및 오퍼스의 최근 버전들도 상위 10개 모델 중 6개를 차지했다. LLM이 정보 접근의 중간 매개체로 자리 잡아 가는 상황에서 모델이 외국 정부의 허위 서사를 걸러내는 능력이 중요해지고 있으며, 이번 벤치마크는 그 능력을 국가 단위의 관점에서 체계적으로 측정하려는 첫 공개 시도 중 하나라는 점에서 주목받는다.
저작권자 © STORIUM 무단전재 및 재배포 금지
