대규모 언어 모델(LLM, Large Language Model)의 투명성과 책임성을 비전문가도 평가할 수 있도록 설계한 오픈소스 프레임워크 LLM-FACETS가 arXiv에 공개됐다. 기존 LLM 감사 도구는 프로그래밍 전문성과 복잡한 환경 설정을 요구하거나, 클라우드 플랫폼에 평가 데이터를 전송하는 방식이어서 도메인 전문가나 규정 준수 담당자가 독립적으로 활용하기 어렵다는 한계가 있었다.
LLM-FACETS는 세 가지 사용자 프로파일(기술 전문가, 도메인 전문가, 규정 준수 담당자)을 중심으로 설계됐으며, 이는 EU AI법(AI Act)과 NIST AI 위험 관리 프레임워크가 정의하는 이해관계자 범주와 연동된다. 브라우저 접근 인터페이스와 플러그인 아키텍처를 제공하며, BLEU·ROUGE·BERTScore 등 결정론적 지표는 자체 호스팅 서버 내에서만 실행되어 외부로 데이터가 전송되지 않는다. LLM 판단(judge) 방식의 지표는 외부 API를 명시적으로 호출하되, 사용자가 자격증명을 직접 관리한다. 투명성 확보를 위해 토큰 수준 로그-확률 시각화를 통한 인식론적 불확실성 표시, 다중 판사 합의를 통한 판사 편향 완화, RAG 트라이어드 지표(충실성·답변 관련성·컨텍스트 관련성)를 통한 환각 감지 및 위치 파악 기능을 제공한다.
연구팀은 18개 지표 구현에 대한 교차 검증을 수행해 기준 참조 라이브러리와의 일치를 확인했다. 플러그인 아키텍처를 통해 새로운 지표나 데이터셋을 평가 파이프라인을 수정하지 않고 통합할 수 있으며, 이는 AI 책임성을 시스템을 개발한 팀으로부터 분리하는 독립 감사 구조를 가능하게 한다고 논문은 강조한다.
국내에서도 금융감독원·과학기술정보통신부 등이 AI 시스템에 대한 설명 가능성과 감사 의무를 점진적으로 강화하고 있어, LLM-FACETS처럼 규제 프레임워크와 연계된 오픈소스 평가 도구에 대한 관심이 높아질 전망이다. 특히 AI 모델 도입을 검토하는 공공기관이나 금융기관이 외부 의존 없이 자체적으로 LLM 성능을 평가할 수 있는 수단으로서 실용적 가치가 있다.
