상하이AI연구소 등 연구진이 답만 맞으면 통과하는 수학 벤치마크의 빈틈을 겨냥해 AdvancedMathBench를 공개했다. ProverBench는 자연어 증명을 생성하게 하고, VerifierBench는 완성된 모델 증명의 타당성과 첫 치명적 오류, 고칠 수 있는 국소 오류를 판정하게 한다. 결론보다 전체 논증의 건전성을 평가하는 구조다.
ProverBench는 학부 수준 200개와 박사 자격시험 수준 45개, 총 245개 문제로 여러 수학 분야를 다룬다. VerifierBench는 전문가 정답과 짝지은 모델 생성 증명 궤적 888개다. 첫 오류만 표시하지 않고 첫 치명적 오류 전까지의 회복 가능 오류도 기록해, 맞다·틀리다 이진 판정과 오류 위치·이유의 일치를 분리했다. 근거는 동료검토 전 공개된 arXiv:2607.11849이며 형식 증명기의 보증과는 다르다.
증명 생성 최고 모델 GPT-5.5-xhigh의 점수는 학부 64.5, 자격시험 48.9였다. 검증에서는 최고 Balanced F1이 65.1에 그쳤고 최고 참음성률도 55.8로, 그럴듯하지만 틀린 증명을 과도하게 받아들이는 경향이 나타났다. 단순 이진 평가를 근거와 위치까지 보는 메타검증으로 바꾸면 평균 Balanced F1이 9.0점 내려갔다.
연구진은 약 2000개 전문가 주석과 오류 수리로 만든 약 1200개 양성 표본을 이용해 전용 자동 검증기를 학습했다. 보류된 94개 궤적에서 최종 파이프라인은 이진 Rough Balanced F1 82.1, 메타검증 73.9를 기록했다. GPT-5.5-xhigh의 70.6·61.6, DeepSeek-V4-Pro의 69.9·63.0보다 과정 평가에 더 잘 맞았다.
| 검증기 | 이진 Rough Balanced F1 | 메타검증 |
|---|---|---|
| 전용 최종 파이프라인 | 82.1 | 73.9 |
| GPT-5.5-xhigh | 70.6 | 61.6 |
| DeepSeek-V4-Pro | 69.9 | 63.0 |
문제 수가 특히 자격시험 45개로 작고 자연어 증명 채점은 전문가 지침과 자동 메타검증 모델에 의존한다. 형식 증명기의 기계 검증과 같은 보장은 아니며, 논문에 등장한 모델 버전과 평가 비용에도 결과가 묶인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
