arXiv에 등록된 논문 “Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks”가 코딩 에이전트 평가에 새로운 차원을 제안했다. 기존 벤치마크들은 단일 에이전트가 중단 없이 레포지토리 이슈를 해결하는 능력을 측정해 왔지만, 실제 소프트웨어 개발은 작업이 중단되고, 다른 에이전트나 엔지니어에게 재배정되며, 불완전한 상태에서 재개되는 경우가 빈번하다. 이 논문은 이러한 인수인계 상황에서 발생하는 비용, 즉 전임자의 작업 맥락이 불투명하거나 불완전할 때 후임 에이전트가 치르는 재탐색 비용을 ‘핸드오프 부채(handoff debt)’라고 정의하고 실험적으로 측정했다.
연구팀은 75개 원천 과제를 인수인계 프로토콜로 분류해 181개 핸드오프 지점 과제와 각 후임 모델당 724개 인수인계 실행 데이터를 생성했다. 후임 에이전트에게 제공하는 문맥의 종류를 네 가지로 구분해 비교했다. 레포지토리 상태만 제공하는 기준 조건 외에, 에이전트 실행 원시 트레이스, 요약 노트, 구조화된 노트를 각각 추가 제공하는 조건을 적용했다. 세 명의 후임 모델을 대상으로 한 실험 결과, 문맥이 포함된 핸드오프 방식은 레포지토리 상태만 제공한 경우와 비교해 중앙값 에이전트 이벤트 수를 20~59%, 누적 프롬프트 토큰을 42~63% 줄였다. 문제 해결 성공률 개선 효과는 모델에 따라 차이가 있었지만 효율성 향상은 일관되게 나타났다.
연구팀은 이 결과를 토대로 코딩 에이전트 평가 체계가 과제 해결 여부뿐 아니라 그 작업을 다른 에이전트가 이어받을 때 얼마나 많은 비용이 드는지도 함께 보고해야 한다고 주장했다. 이는 에이전트 협업이 보편화되는 흐름에서 에이전트 간 문맥 전달 표준과 평가 지표 설계에 실질적인 시사점을 제공하는 연구로, AI 보조 소프트웨어 개발 환경에서 인수인계 비용을 어떻게 최소화할 것인지에 대한 논의를 촉진할 것으로 기대된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
