오픈AI의 추론형 모델 o4-mini를 대학 학부 입문 물리문제로 점검한 arXiv 프리프린트가 나왔다. 이 연구는 Halliday와 Resnick의 『Fundamentals of Physics』에 실린 장 끝 문제를 바탕으로, 교과서 범위에서 모델이 얼마나 안정적으로 풀 수 있는지 살폈다. 평가 대상은 총 1203문제였고, 같은 문제를 5회씩 반복해 채점한 뒤 정확도를 계산했다.
결과는 전체 정확도 0.90±0.03이었다. 성능은 문제 형식에 따라 크게 갈렸다. 텍스트만 있는 문제에서는 0.96±0.03이었지만, 텍스트와 이미지를 함께 해석해야 하는 문제에서는 0.79±0.04로 떨어졌다. 연구진은 문제를 올바르게 맞히는 능력이 꽤 높지만, 표현 형식에 따라 균질하지 않다는 점이 분명하다고 정리했다.
난도별 차이도 확인됐다. 쉬운 문제 507개에서 정확도는 0.94±0.05였고, 중간 난도 607개에서는 0.88±0.07, 어려운 문제 89개에서는 0.84±0.11로 내려갔다. 이 하락은 논문의 회귀 분석과 통계 검정으로도 뒷받침됐다고 적시돼 있다. 즉, 모델이 개념을 대체로 소화하더라도 문제 복잡도가 오르면 성적이 낮아지는 경향이 유지됐다.
주제별로 보면 역학 434문제는 0.90±0.06, 진동·파동 96문제는 0.89±0.06, 열역학·기체운동론 87문제는 0.93±0.06, 전자기학 353문제는 0.91±0.06, 전자기파·광학 117문제는 0.87±0.06, 상대론·양자론 116문제는 0.91±0.06이었다. 연구진은 전반적으로 여러 단원에 걸쳐 고른 편이지만, 단원별로도 일정한 차이가 남아 있다고 해석했다.
| 구분 | 표본/문제 수 | 정확도 |
|---|---|---|
| 전체 | 1203문제 | 0.90±0.03 |
| 텍스트만 | 788문제 | 0.96±0.03 |
| 텍스트+이미지 | 415문제 | 0.79±0.04 |
| 쉬움 | 507문제 | 0.94±0.05 |
| 중간 | 607문제 | 0.88±0.07 |
자료: STORIUM 정리
채점 과정도 내부적으로 정리했다. 모든 문제의 각 실행 결과를 GPT-5가 교과서 정답과 대조해 옳고 그름으로 분류했고, 이때 총 6015개의 점수가 생성됐다. 무작위로 뽑은 600개의 생성 해설을 재점검한 결과 14건만 오분류되어 97.67%의 일치율을 보였다. 이를 바탕으로 연구진은 AI 기반 채점의 체계적 오차를 0.023으로 두었다. 전체적으로 이 프리프린트는, 최신 LLM이 표준 입문 물리 문제 상당수를 풀 수는 있지만 그림 해석과 난도 상승 앞에서는 성능이 흔들린다는 점을 수치로 제시한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
