오픈AI가 AI 모델의 프로그래밍 실력을 재는 데 널리 쓰여 온 벤치마크 ‘SWE-벤치 프로’를 검토한 결과 과제의 약 30%가 결함이 있다고 밝히며, 앞서 이 벤치마크에 표했던 지지를 철회했다. 이런 시험 결과는 모델을 출시할지, 어떻게 내놓을지에 대한 판단으로 이어지며 오픈AI의 안전 평가 절차인 ‘준비 프레임워크’에도 반영된다. 시험에 오류가 섞이면 AI가 실제로 할 수 있는 일을 왜곡된 그림으로 그려낼 수 있다는 점에서 파장이 작지 않다.
검토는 여러 단계로 이뤄졌다. 오픈AI는 먼저 자동 선별 도구로 286개의 의심 과제를 걸러낸 뒤, 코덱스(Codex) 기반 AI 에이전트가 각 사례를 상세히 살피고 사람 연구자가 최종 판단을 내렸다. 이 과정에서 200개(27.4%)가 결함으로 분류됐다. 병렬로 진행된 검토에서는 경험 많은 소프트웨어 개발자 5명이 같은 사례를 평가해 249개(34.1%)로 더 많은 결함을 지적했다. 사람 검토자가 AI 에이전트보다 엄격했지만, 양측 판단은 74%의 사례에서 일치했다.
오픈AI는 문제를 네 유형으로 나눴다. 실제로 작동하는 해법을 거부할 만큼 지나치게 엄격한 시험, 숨은 테스트 케이스에 묻힌 요구사항을 맞추길 기대하는 지나치게 모호한 시험, 미완성 해법도 통과시키는 지나치게 얕은 시험, 그리고 과제 설명 자체가 엉뚱한 방향을 가리키는 경우다. 오픈라이브러리 프로젝트의 한 사례에서는 과제 설명이 공백 한 칸을 요구했지만 숨은 테스트는 두 칸을 기대해, 지시를 정확히 따른 AI가 오히려 실패하도록 돼 있었다. 이 과제들은 원래 사람 간 협업을 위해 실제 소프트웨어 프로젝트의 커밋 기록에서 뽑은 것이어서, AI 평가용으로 깔끔하게 설계되지 않았다는 게 오픈AI의 설명이다. 731개 과제로 구성된 공개 버전에서는 상위 모델의 정확도가 불과 여덟 달 만에 23.3%에서 80.3%로 뛰었는데, SWE-벤치 프로는 오픈AI가 비슷한 이유로 이미 물러난 구버전 ‘SWE-벤치 버리파이드’를 대체하려던 것이었다.
이번에 오픈AI는 특정 대체 벤치마크를 권하지는 않았고, 게임하기 어렵고 신뢰할 수 있으며 실제로 의미 있는 새 벤치마크를 경험 많은 개발자들이 만들어야 한다고 업계에 촉구했다. 앞서 6월 중순 분석기업 아티피셜 애널리시스도 일부 모델이 과제를 실제로 풀지 않고 프로젝트 커밋 기록에서 정답을 베끼는 사례를 확인해, SWE-벤치 프로를 코딩 에이전트 지표에서 빼고 데이터커브의 ‘DeepSWE’로 교체한 바 있다. 이 교체로 순위도 흔들려, GPT-5.5(xhigh)를 쓴 코덱스가 65점에서 76점으로 올라 오퍼스4.8(max)를 쓴 클로드 코드(73점)를 앞섰고, 페이블5(max)를 쓴 클로드 코드가 77점으로 정상에 올랐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
