코딩 에이전트가 테스트 생성을 일찍 끝내는 문제를 자동 감독하는 프레임워크 ‘SCATE’가 공개됐다. 연구진은 에이전트가 복잡한 분기보다 쉬운 경로를 먼저 다루고 충분한 커버리지에 도달하기 전에 종료하는 ‘게으른 생성’을 사람의 지속적인 개입 없이 줄이는 것을 목표로 했다.
SCATE는 감독 결정을 문맥적 밴딧 문제로 구성한다. 현재 라인·브랜치 커버리지와 코드 규모, 가중 메서드 수, 외부 호출 범위 같은 클래스 테스트 가능성 지표를 상태로 사용한다. 감독기는 기본 생성, 도구를 동원한 분석, 중단 가운데 다음 행동을 고르고 커버리지 증가와 API 토큰 비용을 함께 반영해 정책을 갱신한다.
실험 데이터는 Defects4J의 14개 오픈소스 프로젝트에서 뽑은 복잡한 클래스 120개다. 클래스당 코드 길이 중앙값은 416.5줄이었고, 40개를 온라인 학습에, 80개를 평가에 사용했다. 주 실험은 Gemini CLI 0.35.3과 gemini-3.1-flash-lite로 2026년 4~6월 진행됐다.
Gemini CLI에 SCATE를 붙였을 때 에이전트 단독 기준보다 라인 커버리지가 32.3%, 브랜치 커버리지가 30.9% 높았다고 연구진은 보고했다. Claude Code 실험의 개선폭은 각각 6.0%, 5.9%였다. 같은 감독 정책이 에이전트별 성능 특성에 맞춰 행동 선택을 달리했다는 것이 연구진의 해석이다.
여기서 수치는 커버리지의 절대 퍼센트포인트가 아니라 각 기준 대비 상대 개선으로 제시됐다. 표본은 Java Defects4J의 복잡한 클래스에 한정됐고, 테스트의 의미적 정확성이나 결함 탐지력은 커버리지와 같지 않다. 모델 버전과 API 비용이 바뀌면 학습된 행동 선택의 효율도 달라질 수 있다.
| 에이전트 | 라인 커버리지 상대 개선 | 브랜치 커버리지 상대 개선 |
|---|---|---|
| Gemini CLI | 32.3% | 30.9% |
| Claude Code | 6.0% | 5.9% |
SCATE는 2026년 7월 9일 제출된 동료 검토 전 arXiv v1 프리프린트다. 다양한 언어와 실제 유지보수 저장소에서의 재현, 생성 테스트의 오라클 품질, 장기 비용 절감은 아직 검증되지 않았다.
저작권자 © STORIUM 무단전재 및 재배포 금지
