IBM 리서치가 엔터프라이즈 Java 애플리케이션의 프레임워크 마이그레이션 작업에서 AI 에이전트의 실제 능력을 평가하는 오픈 벤치마크 ScarfBench(Self-Contained Application Refactoring Benchmark)를 공개했다. 기존 소프트웨어 엔지니어링 벤치마크가 버그 수정이나 코드 생성에 집중하는 반면, 프레임워크 마이그레이션은 단순한 코드 번역을 넘어 동작 보존, 빌드 시스템 적응, 런타임 의존성 관리가 동시에 요구된다는 점에서 별도의 평가 기준이 필요하다는 문제의식에서 출발했다. ScarfBench는 Spring, Jakarta EE, Quarkus 세 가지 주요 Java 에코시스템 간 크로스 프레임워크 마이그레이션 과제를 다루며, 생성된 코드를 참조 구현과 비교하는 방식이 아니라 마이그레이션된 애플리케이션이 실제로 빌드되고, 배포되고, 동작을 보존하는지를 기준으로 평가한다.
최첨단 코딩 에이전트를 대상으로 한 평가에서 프레임워크 마이그레이션은 전통적인 소프트웨어 엔지니어링 벤치마크 대비 성공률이 크게 낮았다. 특히 전체 애플리케이션 마이그레이션은 집중 마이그레이션 과제보다 훨씬 어려운 것으로 나타났으며, 컴파일 성공률이 배포 성공률보다 높고, 배포 성공률이 다시 동작 검증 성공률보다 높은 단계적 격차가 확인됐다. 이는 빌드 성공만으로 마이그레이션 품질을 가늠하면 실제 결과를 크게 과대평가할 수 있음을 시사한다. 목표 프레임워크에 따라 마이그레이션 난이도도 달라졌으며, Jakarta EE가 특히 어려운 것으로 드러났다. 멀티GPU 커널 생성에서도 GPT-5.5·Gemini 3 같은 최신 모델들이 역부족이었다는 평가가 있어, 특화된 엔지니어링 과제에서 AI 에이전트의 한계는 여러 영역에서 반복적으로 확인되는 추세다.
에이전트 자가 평가의 신뢰성 문제도 주요 발견 사항으로 꼽힌다. 클로드 코드(Claude Code)는 전체 애플리케이션 30건 중 29건에서 빌드가 성공했다고 보고했지만, 독립적인 빌드 검증 결과 실제로 성공한 것은 22건이었다. 반대로 에이전트가 실패로 분류한 1건은 실제로 빌드에 성공했다. 에이전트의 자체 완료 보고를 신뢰할 수 없으며, 독립적인 빌드·테스트 검증이 필수임을 보여준다. 마이그레이션 작업이 선형적으로 진행되지 않고 설정, 웹, 데이터베이스, 서비스 계층을 반복적으로 오가는 의존성 해소 과정임도 드러났으며, 도커 캐시 불일치, 포트 연결 문제, 빌드 도구 이슈 같은 환경·도구 문제가 코드 변환 자체와 무관하게 검증을 지연시키는 경우도 많았다.
ScarfBench는 데이터셋, 평가 인프라, 공개 리더보드, 오픈소스 코드와 함께 공개됐으며 허깅페이스(HuggingFace)와 깃허브에서 접근할 수 있다. 연구자들은 에이전트 아키텍처와 기법을 비교할 수 있고, 실무자는 프로덕션 환경에 마이그레이션 솔루션을 적용하기 전 이 벤치마크로 검증할 수 있다. IBM 리서치는 Java 현대화에서 가장 큰 과제가 코드 변환 자체가 아니라 설정, 인프라, 런타임 환경 전반에 걸친 의존성 관리임을 이번 연구가 보여준다고 강조했다.
