최전선 수학 언어모델이 맞힌다는 사실만으로는 그 답이 안정적 추론의 결과인지, 아니면 깨지기 쉬운 단서에 기대 얻은 성과인지 알 수 없다는 문제의식에서 출발한 제안이다. 이 논문은 AIMO Interpretability Challenge라는 온라인 대회를 설계하며, 모델 내부 기제와 행동을 함께 살펴 강건한 추론과 허약한 추론을 구분하겠다고 제안한다. 해당 문서는 NeurIPS 2026 경쟁 트랙에 제출된 arXiv v1 프리프린트 상태의 기획안이다.
핵심은 표준 추론 벤치마크의 한계를 보완하는 데 있다. 기존 점수는 최종 정답만 보여줄 뿐, 모델이 안정적인 추론 메커니즘을 썼는지, 혹은 사소한 변형에 무너지는 지름길을 택했는지 드러내지 못한다. 제안된 경쟁은 해석가능성과 일반화 연구를 한 축으로 묶어, 최전선 모델의 의사결정이 얼마나 일반화되는지, 그리고 그 일반화가 실제로 신뢰할 만한지 묻는다.
대회용 자료는 세 갈래다. AIMO 2·AIMO 3·JMO·최근 2년 AIME에서 모은 총 180개의 올림피아드 수준 수학 문제, 새로 붙이는 심볼릭 추론 체인, 그리고 상위 성능 추론 모델들이다. 훈련 분할 150문제와 시험 분할 30문제로 나뉘며, 훈련·시험 모두에서 50%는 인터넷에 이전 공개되지 않은 새 문제라고 밝힌다. 심볼릭 체인은 원 문제의 논리 전개를 따라가면서 함수형 변형을 대량 생성하는 데 쓰인다.
평가 과제는 구체적이다. 주어진 문제 X와 모델 M, 그리고 분포 이동 Δ가 있을 때, M이 원문 X에는 정답을 내더라도 Δ 아래의 변형들에서도 일관되게 정답을 유지하는지 판단하는 분류를 요구한다. 제안식은 정답 보유 여부와 다수의 변형에서의 실패 여부를 함께 보며, 정답은 나오지만 구조가 흔들리는 사례와 진짜로 견고한 사례를 가른다. 경쟁은 주 트랙과 10B 파라미터 미만의 소형 모델 트랙으로 나뉜다.
이 구조가 실제로 작동하는지에 대한 내부 평가는 이미 제시된다. 저자들은 DeepSeek-R1-0528-Qwen3-8B를 샘플 검증셋에 넣고 층별 10-fold stratified cross-validation을 수행했으며, probing classifier는 정확도 58.37%±7.5, 불확실성 기반 분류기는 69.23%±10.13을 기록했다고 적었다. 무작위 추측 기준 50%보다 높아, 모델 내부 신호에 유의미한 정보가 있고 과제가 동시에 충분히 어렵다는 해석을 붙인다. 부록의 예시에서는 AIMO 공개 문제에서 정답 보존/대립적 변형을 적용했을 때 Qwen3.5, GPT-OSS-120B, GPT-5.2, Gemini-3.1 Pro가 유형별로 최대 90%포인트까지 떨어지는 사례가 나온다.
| 구성 요소 | 수치·범위 | 근거 단서 |
|---|---|---|
| 문제 집합 | 총 180문제 | Data 1. Original olympiad-level mathematical problems |
| 분할 | train 150 / test 30 | Data splits bullet list |
| 공개되지 않은 새 문제 비율 | train과 test 각각 50% | Data 1. Original olympiad-level mathematical problems |
| 내부평가 정확도 | probing 58.37%±7.5, uncertainty 69.23%±10.13, random 50% | 1.6 Baselines, code, and material provided |
자료: STORIUM 정리
운영안도 비교적 구체적이다. 채점은 private test set의 분류 정확도이며, 공개·비공개 세트, 변형 유형별, 모델별, 공개·비공개 문제별 성능을 나눠 보고하겠다고 예고한다. 평가 인프라는 32 CPU 코어, 512GB RAM, 8개의 대규모 GPU를 쓰고, 참가자는 최대 10,000 H200 GPU-hours를 신청할 수 있다. 공식 사이트와 Codabench 제출 체계, 베이스라인 3종, 그리고 일부 검증용 데이터 샘플이 이미 마련돼 있으며, 대회 종료 뒤에는 1~2쪽 기술보고서를 받는 일정으로 설계됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
