허깅페이스(Hugging Face)가 AI 평가 결과 통합 스키마 EEE(Every Eval Ever)와 자사 커뮤니티 이벨(Community Evals)을 연동하는 기능을 공개했다. 이를 통해 2만 2,000개 이상의 모델과 2,200개 벤치마크에서 수집한 약 22만 9,000건의 평가 결과를 단일 JSON 스키마로 조회할 수 있게 됐다. 같은 모델의 같은 벤치마크 점수가 누가 실행했는지에 따라 달라지는 문제—LLaMA 65B의 MMLU 점수가 63.7과 48.8로 상충 보고된 사례처럼—를 해결하기 위한 시도다. EEE는 2026년 2월 EvalEval 연합이 출범시킨 교차 기관 프로젝트다.
EEE 스키마는 평가 결과 하나에 실행 주체, 모델 정보, 접근 방식, 생성 설정, 지표 의미, 샘플별 출력 파일을 하나의 JSON 레코드에 담는다. 허깅페이스 커뮤니티 이벨은 모델 저장소 안의 `.eval_results/*.yaml` 파일로 점수를 관리하며, 모델 저자가 직접 제출한 결과와 서드파티가 제출한 결과 모두 집계해 ‘저자 제출’, ‘커뮤니티 제출’, ‘독립 검증’ 배지로 구분 표시한다. 이번 업데이트로 두 시스템을 연결하는 변환기(converter)가 추가됐다. 변환기는 EEE 데이터스토어 컬렉션을 받아 MMLU-Pro, GPQA, HLE, GSM8K 등 4개 공식 벤치마크에 해당하는 점수를 허깅페이스 YAML 형식으로 자동 변환하며, 이미 존재하는 점수·충돌 점수·저장소 미존재 모델을 사전 감사해 사용자 확인 후에만 PR을 열도록 설계됐다. EEE는 당초 출범 시 31개 보고 형식에서 데이터를 수집하는 통합 스키마로 공개됐으며, 이번 허깅페이스 연동은 그 실용적 접점을 넓히는 조치다.
기관 공식 계정으로 제출하면 EvalEval 페이지에 검증 체크마크가 표시돼 1차 출처에서 직접 나온 수치임을 확인할 수 있다. 현재 22만 9,000건의 평가 결과를 처음부터 다시 실행하려면 수십만 달러의 비용이 들 것으로 추산되는 만큼, 이미 생산된 데이터가 흩어지지 않도록 구조화해 보존하는 것이 이 통합의 핵심 논리다. 사용법은 GitHub 저장소와 evalevalai.com 문서에서 확인할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
