영어가 아닌 러시아어로 직접 작성된 과제로 코딩 에이전트를 평가하는 저장소 수준 벤치마크 ‘RuBench 1.0’이 공개됐다. 연구진은 개발자들이 실제 유지보수 업무를 제품화된 코딩 에이전트에 점점 더 많이 맡기고 있으며, 상당수는 잘 다듬어진 영어 이슈가 아니라 고객 요청 스타일의 자국어로 과제를 기술한다는 점에 주목했다. 그러나 기존의 저장소 수준 에이전트 벤치마크는 과제 설명이 설계상 영어로 되어 있어 이런 실제 환경을 측정하지 못한다는 것이 문제의식이다.
RuBench 1.0은 다섯 개의 활성 오픈소스 저장소(aiohttp, aiogram, Laravel, NestJS, Fastify)의 최근 수정 커밋에서 뽑아낸 25개 과제로 구성된다. 이들 저장소는 파이썬, PHP, 타입스크립트, 자바스크립트를 아우른다. 각 과제는 번역이 아니라 실제 고객 요청 스타일로 처음부터 러시아어로 작성됐으며, 원 저장소 관리자의 회귀 테스트로 채점하되 그 테스트는 공개하지 않는다. 25개 수정 커밋은 모두 평가 대상 모델들의 학습 데이터 마감 시점 이후에 이뤄져, 과제별로 오염이 없음을 주장할 수 있다고 연구진은 밝혔다.
평가는 실제 배포된 제품 구성(CLI 에이전트, 모델, 추론 강도)을 대상으로 이뤄졌다. 클로드 코드(Claude Code)에 Opus 4.8, Sonnet 5, Haiku 4.5를 조합한 구성과, Codex CLI에 GPT-5.5를 조합한 구성을 각각 세 차례씩 독립 실행해 pass@1과 과제 단위 신뢰구간, 비용, 토큰 사용량을 함께 보고했다. 최고 구성은 전체 과제의 78.7%를 해결했으며, 표본이 25개인 만큼 가장 약한 모델과의 격차만이 통계적으로 유의하게 구분됐다고 연구진은 명시했다.
이번 연구에서 특히 눈길을 끄는 대목은 제품이 모델을 조용히 바꿔치기하는 정황을 포착했다는 점이다. 연구진은 별도로 참고 삼아 돌린 클로드 코드와 Fable 5 조합의 전체 실행 기록을 감사한 결과, 25개 과제 중 5개(20%)에서 공식 안전장치 폴백이 일상적인 HTTP 프로토콜 수정 작업을 Opus 4.8로 다시 라우팅했다고 밝혔다. 이는 실제로 측정되는 단위가 모델이 아니라 배포된 제품이라는 점을 재현 가능한 방식으로 보여주는 증거라는 설명이다. 연구진은 과제 설명과 메타데이터, 에이전트 실행 기록, 코드 차이를 공개하되 채점 기준은 비공개로 두고, 공개 시점에 SHA-256 해시 목록을 함께 커밋했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
