AI 평가 결과를 공통 형식으로 표준화하는 최초의 통합 스키마와 커뮤니티 저장소가 공개됐다. 2026년 6월 12일 arXiv에 게재된 논문에 따르면, 연구진은 ‘Every Eval Ever’라는 이름의 스키마와 데이터베이스를 구축해 현재 22,235개 모델, 2,273개 고유 벤치마크, 31개 평가 형식에 걸친 결과를 단일 체계 안에서 관리할 수 있도록 했다. 데이터베이스는 Hugging Face에 공개돼 커뮤니티가 공동으로 기여하고 활용할 수 있다.
연구진은 현재 AI 평가 생태계가 두 가지 핵심 문제를 안고 있다고 진단했다. 첫째, 평가 결과가 리더보드·논문·블로그 포스트·평가 하네스 로그·독자적 저장소에 분산 저장돼 호환되지 않는 형식으로 남아 있다. 둘째, 서로 다른 평가 프레임워크가 명목상 동일한 평가에서도 상이한 점수를 산출하고 메타데이터를 일관성 없이 기록해 비교·분석을 어렵게 만든다. 이를 해결하기 위해 ‘Every Eval Ever’ 스키마는 평가 결과를 단일 JSON 문서로 표현하는 방식을 채택했다. 출처와 무관하게 평가 하네스나 논문 어디서든 결과를 수집할 수 있도록 소스 무관(source-agnostic) 설계를 적용했으며, 세밀한 분석을 위해 인스턴스별 출력도 선택적으로 저장할 수 있다.
연구진이 제시한 기여물은 세 가지다. 첫 번째는 커뮤니티가 함께 관리하는 메타데이터 스키마로, 인스턴스 수준 스키마를 함께 제공하는 최초의 표준화 시도다. 두 번째는 주요 평가 형식, 평가 하네스, 리더보드에서 통합 스키마로 변환하는 자동 변환기다. 세 번째는 Hugging Face에서 호스팅되는 커뮤니티 공동 데이터베이스로, 현재까지 22,235개 모델과 2,273개 고유 벤치마크에 달하는 결과를 담고 있다. 이 같은 통합 구조는 평가 결과 재사용, 교차 커뮤니티 평가 과학, 비용 절감으로 이어질 것으로 연구진은 기대했다.
AI 모델 평가는 연구와 실무 의사결정 모두에서 중요성이 커지고 있지만, 평가 결과의 파편화와 비교 불가능성은 업계 전반의 오랜 과제였다. 동일 모델을 서로 다른 평가 도구로 측정했을 때 점수가 달리 나오는 현상은 벤치마크 결과의 신뢰성에 대한 의문을 지속적으로 제기해왔다. ‘Every Eval Ever’는 이를 구조적으로 해결하려는 시도로, 커뮤니티 기여 방식으로 데이터베이스를 확장해 나가는 방향을 택했다는 점에서 주목된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
