AI 안전성 전문 기업 에임인텔리전스(대표 유상윤)가 대형언어모델(LLM)의 다국어·다문화 환경 안전성을 평가하는 벤치마크 ‘XL-세이프티벤치(XL-SafetyBench)’를 4일 공개했다. 이 벤치마크는 37개 주요 LLM을 대상으로 10개국에서 5,500개의 현지화 테스트를 수행해 각국의 법적·제도적·문화적 특수성을 반영하도록 설계됐다.
평가 체계는 ‘현지 리스크 트랙’과 ‘문화적 민감성 트랙’ 두 축으로 구성된다. 현지 리스크 트랙은 각국 법률·사기 유형·사회 구조에 따른 위험 대응 능력을 측정하고, 문화적 민감성 트랙은 지역 문화 요소를 반영한 윤리적 판단 여부를 평가한다. 예컨대 국내 전세 제도를 악용한 금융 사기를 인지하는지, 프랑스에서 국화(菊花) 증정이 문화적으로 부적절하다는 점을 이해하는지 같은 항목이 포함된다.
이번 프로젝트에는 마이크로소프트 AI 레드팀을 비롯해 한국 인공지능안전연구소(AISI), KT, BMW 그룹, 서울대 등 10개 기관이 참여해 평가 체계의 실효성을 높였다. 벤치마크 논문은 아카이브에, 데이터셋은 허깅페이스에 공개돼 연구자와 개발자가 자유롭게 활용할 수 있다. 기존 영어권 프롬프트를 단순 번역하는 방식에서 벗어나 각국 사회 구조를 반영해 AI 리스크를 최소화하는 평가 방법론을 제시했다는 점에서 의의가 있다.
유상윤 에임인텔리전스 대표는 AI 안전성이 번역된 영어 테스트에 머물 수 없으며 각국의 위험 발현 방식을 이해하는 데서 시작된다고 강조했다. 그러면서 앞으로도 보이지 않는 현지 리스크를 측정 가능한 형태로 변환해 글로벌 배포 기준을 제시하겠다고 밝혔다. 에임인텔리전스는 LLM뿐 아니라 비전 AI와 피지컬 AI 분야에서도 AI 가드레일과 AI 레드티밍 솔루션을 제공하고 있어, 이번 벤치마크 공개는 다양한 형태의 AI 위험을 측정·통제하려는 사업 방향과 맞닿아 있다.
