오픈AI(OpenAI)의 범용 추론 모델이 헝가리 출신 수학자 폴 에르되시(Paul Erdős)가 1946년 제시한 ‘평면 단위 거리 문제(unit distance problem)’ 추측을 반증하는 데 성공했다. 80년간 수학계가 정설로 받아들여온 결론을 AI가 스스로 125쪽 분량의 연쇄 추론(Chain of Thought, CoT)을 생성해 뒤집은 것으로, 오픈AI 소속 수학자들이 이달 7일께 LLM(대규모 언어 모델)에 질문을 던지는 방식으로 검증을 시작해 반증에 이르렀다.
평면 단위 거리 문제는 “2차원 평면에 n개의 점을 배치할 때 서로 같은 거리(단위 거리)에 있는 점 쌍을 최대 몇 개(ν(n)) 만들 수 있는가”를 묻는 이산 기하학의 난제다. 에르되시는 n이 충분히 커질 경우 ν(n)이 n의 1차 함수보다 아주 약간만 빠르게 증가하리라 추측했으며, 정사각형 단위의 격자 배열이 최적의 해답이라고 봤다. 수학계는 이 추측을 80년간 증명도 반증도 하지 못했고, 에르되시가 생전에 제시한 1217건의 문제 가운데 10대 난제에 포함될 만큼 난이도가 높은 문제로 분류돼 있었다. AI는 2차원 격자 대신 고차원의 복잡한 대칭 격자를 구성한 뒤 이를 2차원에 투시하는 방식으로 기존 추측이 틀렸음을 보였다.
이 과정에서 오픈AI는 수학 전용 모델이 아닌 범용 추론 모델을 활용했다. 모델이 자율적으로 생성한 풀이는 125쪽 분량의 CoT로, AI가 사람처럼 단계적으로 사고를 전개한 결과물이다. 오류 없는 증명을 확보하기 위해 수학적 검증 프로그램 ‘린(Lean)’을 병행했다. 린은 AI 추론 과정에서 발생하는 환각(hallucination)을 기계적으로 필터링하는 역할을 담당했다. AI가 내놓은 풀이의 타당성 검토와 논문 정리는 수학자들이 맡았으며, 참고문헌을 포함한 18쪽 분량의 논문이 완성돼 공개됐다. 논문에는 AI에 입력한 20여 줄의 프롬프트와 AI가 출력한 풀이 원본도 수록됐다.
후속 연구도 빠르게 이어졌다. 프린스턴대 윌 사윈(Will Sawin) 교수는 오픈AI의 반증에서 명시되지 않았던 상수 δ 값을 ‘δ=0.014’로 특정하는 명시적 하한 증명을 별도로 완성해 arXiv에 공개했다(arXiv:2605.20579). 오픈AI는 X(구 트위터)에서 “수학자들은 80여 년간 정사각형 격자 배열을 가능한 최고의 해답으로 여겨왔지만, 오픈AI 모델은 그 믿음을 깨고 더 나은 성능을 내는 새로운 형태의 구성군을 발견했다”고 밝혔다. AI의 수학 난제 해결은 이번만이 아니다. 구글 딥마인드의 ‘알레테이아’는 에르되시 난제 700개 가운데 13개를 해결했고, 4월에는 GPT 계열 모델이 60년 된 ‘원시 집합 추측’을 풀어냈다. AI가 수학·과학 분야에서 단순 연산을 넘어 독창적 증명을 생성하는 사례가 잇따르면서, 인간 수학자와 AI의 협업 연구가 새로운 표준으로 자리잡을 것이라는 전망이 나오고 있다.
