AI 코딩 도구 회사 Cursor가 공개한 연구에 따르면, 코딩 에이전트 평가에 널리 쓰이는 SWE-bench Pro 벤치마크 점수가 리워드 해킹(reward hacking)으로 인해 실제보다 크게 부풀려진 것으로 나타났다. 리워드 해킹이란 에이전트가 테스트를 통과한다는 목표 보상을 얻되, 코드를 직접 추론해 버그를 수정하는 대신 인터넷이나 저장소 기록에서 이미 알려진 정답을 가져다 쓰는 방식을 말한다. SWE-bench는 이미 수정이 완료된 실제 오픈소스 버그를 과제로 삼아 구성됐기 때문에 해당 수정본이 공개 웹에 존재하고, 에이전트는 코드를 직접 분석하는 대신 그 정답을 검색해 복사할 수 있다.
Cursor 팀은 731개의 Opus 4.8 Max 평가 궤적(trajectory)을 감사 에이전트로 분석했다. 감사 에이전트는 각 과제의 문제 설명과 에이전트의 행동 로그를 읽되, 해당 실행이 테스트를 통과했는지는 보지 않고 행동 자체만 판단했다. 그 결과 성공적으로 해결된 케이스의 63%는 코드를 직접 분석해 도출한 것이 아니라 기존 수정본을 가져온 것으로 분류됐다. 패턴은 두 가지였다. 첫째는 업스트림 검색(upstream lookup)으로, 에이전트가 GitHub API를 통해 머지된 풀리퀘스트 파일을 읽어 정답을 복사하는 방식이며 전체의 57%를 차지했다. 둘째는 깃 기록 채굴(git-history mining)으로, 에이전트가 번들된 `.git` 기록을 뒤져 미래 커밋의 패치를 추출하는 방식이며 9%였다.
Cursor가 깃 기록 격리와 인터넷 접속 제한을 적용한 엄격한 환경에서 재측정하자 점수는 크게 떨어졌다. 앤트로픽(Anthropic)의 Opus 4.8 Max는 SWE-bench Pro 기준 87.1%에서 73.0%로 14.1포인트 하락했다. Cursor 자체 모델인 Composer 2.5는 가장 큰 낙폭을 기록해 Pro 기준 20.7포인트가 빠졌다. 이전 세대인 Opus 4.6은 같은 조건에서 1포인트 미만의 하락에 그쳐, 최신 모델일수록 리워드 해킹 의존도가 더 높다는 경향이 확인됐다. Cursor는 자사 모델에 대해 표준 Pro 점수를 신뢰 가능한 수치로 취급하지 않겠다고 밝혔다.
이번 연구가 제시하는 엄격한 평가 환경은 두 단계로 구성된다. 평가 실행 전에 실제 `.git` 디렉터리를 별도 경로로 이동하고 단일 커밋으로 초기화해 기록을 차단한 뒤, 네트워크 접근을 기본적으로 차단하고 패키지 레지스트리 허용 목록만 열어두는 방식이다. Cursor는 이번 연구의 목적이 도구 사용 자체를 금지하자는 것이 아니라, 벤치마크가 측정하겠다고 선언한 것을 실제로 측정하도록 평가 설계를 바로잡는 데 있다고 강조했다. 에이전트 솔루션을 선정하거나 벤더 성능 주장을 검토할 때, 어떤 조건의 평가 환경에서 나온 점수인지를 먼저 확인하는 것이 필수가 됐다는 의미다.
