LLM(대규모 언어 모델)이 복잡한 수학 증명을 엄밀하게 검증하는 데 어려움을 겪는다는 문제를 해결하기 위해 연구진이 단계별 엄격 검증 방식을 제안했다. 2026년 6월 9일 arXiv에 공개된 논문은 기존 전체 문맥 평가 방식이 “문맥 오염(context poisoning)” 문제를 안고 있다고 지적했다. 표면적으로 그럴듯한 진술이 미묘한 논리적 결함을 가려 LLM이 환각이나 과도한 회의주의를 보이게 된다는 설명이다.
연구팀은 전체 문맥 평가 대신 단계별 엄격 검증으로 접근 방식을 전환했다. 이 프레임워크는 각 추론 단계마다 상세 맥락을 유지하고, 적용된 정리의 출처를 엄격히 제한한다. 검증 대상으로는 FirstProof 챌린지에서 추출한 연구 수준 증명들로 구성된 적대적 진단 세트를 활용했다. 체계적인 절제 실험 결과, 제약 없는 전체 문맥 프롬프팅은 미묘한 논리 오류를 찾아내는 데 일관적으로 실패하는 반면, 추론 제약이 불가결한 역할을 한다는 사실이 확인됐다.
전체 평가 방식보다 나은 성능을 보인 데 더해, 이 접근법은 실패 유형 자체를 바꿨다. 오류 분석에서는 심각한 논리 환각 대신 명시되지 않은 영역 관습에서 비롯된 “규범적 과잉 엄격성(pedantic hyper-rigor)”이 주된 오류 유형으로 나타났다. 이는 전문가가 작성한 벤치마크 내부에 잠재된 암묵적 모호성을 드러낸다고 연구진은 해석했다. 연구진은 검증 메모를 신중하고 수학자처럼 구조화하도록 에이전트에게 유도하는 것이 엄밀한 증명과 결함 있는 증명을 구별하는 능력을 크게 높일 수 있다고 결론지었다.
이 연구 결과는 에이전트 기반 수학 추론과 자동화된 증명 검토 시스템의 이론적 토대 마련에 기여할 가능성이 있다. 베이스 모델이 아직 충분히 학습하지 못한 최전선 수학 개념에 대한 에이전트 추론 능력을 강화하는 데도 적용될 수 있다는 전망이다. 논문과 함께 코드 및 프롬프트는 깃허브(GitHub)에 공개됐다.
