파운데이션 모델(foundation model)의 논리 추론 능력을 엄밀하게 평가하는 벤치마크 DeFAb(Defeasible Abduction Benchmark)가 공개됐다. 이 벤치마크는 ‘취소 가능한 귀추(defeasible abduction)’ 추론 능력, 즉 이상 현상을 설명하기 위해 기존 기본값을 수정하면서도 무관한 전제는 그대로 유지하는 가설 구성 능력을 측정한다. 규칙 기반 논리 솔버가 이 벤치마크의 모든 문제를 50마이크로초 이내에 100% 정확도로 풀어낸 반면, 최고 수준의 프런티어 언어 모델은 최대 65%에 머물렀다.
연구진은 40년간 공공 재원으로 구축된 지식 베이스 18개 출처에서 3,375만 개의 구체화된 규칙을 토대로 372,648개 이상의 문제 인스턴스를 생성했다. 사용된 지식 자원에는 OpenCyc, YAGO, Wikidata 같은 분류 체계와 ConceptNet, UMLS 같은 행동 속성 그래프가 포함된다. 각 문제의 정답은 다항식 시간 내에 유효한 도출·보존성·최소성을 자동 검증하도록 설계돼 있어, 논리적 엄밀성 자체가 창의성과 이론적 추론 능력의 측정 도구로 기능한다. 특히 네 가지 표면 렌더링에 걸쳐 강건성을 평가하는 조건에서는 최상위 모델의 Level 2 정확도가 7.8~23.5%까지 떨어졌으며, 연쇄 추론(chain-of-thought) 방식의 성능 편차가 약 36%포인트에 달해 모델 간 차이보다 더 크게 나타났다.
연구진은 DeFAb-Hard(난도 높은 Level 3 변형, 235개 문제, 최고 모델 53.3% 대비 규칙 기반 솔버 100%)와 CONJURE(560개 Lean 4/Mathlib 인스턴스로 구성된 변형적 창의성 평가 세트)도 함께 공개했다. CONJURE의 파일럿 실험에서는 모델이 증명 커널이 사전에 갖지 않은 새로운 개념을 전혀 도출하지 못했다. 또한 이 벤치마크의 자동 검증 시스템은 선호도 최적화(DPO, RLVR/GRPO) 학습을 위한 정확한 보상 신호로도 활용할 수 있다. 데이터셋과 생성 파이프라인은 MIT 라이선스로 공개됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
