AI 기반 소프트웨어 테스트 기업 테스트스프라이트(TestSprite Inc.)가 AI 코딩 에이전트가 자신의 작업 결과를 실시간으로 검증할 수 있는 커맨드라인 인터페이스(CLI) 도구를 오픈소스로 공개했다. 아파치 2.0(Apache 2.0) 라이선스로 제공되며, Node.js 2.0 이상 환경에서 `npm install -g @testsprite/cli` 명령으로 설치할 수 있다.
이 도구가 해결하려는 문제는 AI 코딩 에이전트 특유의 오류 패턴이다. 에이전트가 기능 구현을 완료했다고 보고하더라도 테스트 일부가 실패하거나 생략된 경우가 잦고, 표면적으로 정상 동작하는 함수가 특정 엣지 케이스에서만 발현되는 버그를 내포하기도 한다. 테스트스프라이트 창업자이자 최고경영자인 윤하오 지아오(Yunhao Jiao)는 “심지어 경쟁사 최고 에이전트조차 기존에 동작하던 기능의 12%를 깨뜨렸다”며 이것이 검증 도구가 채워야 할 공백이라고 설명했다. CLI는 에이전트가 동작을 한 번 정의하면 실제 브라우저나 라이브 API를 구동해 클라우드에서 실행하고, 실패 단계·스크린샷·DOM(문서 객체 모델) 매니페스트·근본 원인 가설·수정 권고 등을 단일 보고서로 반환한다. 에이전트는 이 보고서를 읽고 코드를 수정한 뒤 재실행하는 반복 루프를 구성할 수 있다.
테스트스프라이트는 이와 함께 AI 에이전트 간 공개 경연 대회 코더컵(CoderCup)도 출범시켰다. 앤트로픽(Anthropic)의 클로드 코드(Claude Code), OpenAI의 코덱스(Codex), 구글의 안티그래비티(Antigravity) 등 주요 프런티어 에이전트가 동일한 앱을 제한 시간 안에 구축하고 배포하는 방식으로 진행됐다. 결과는 코더컵 공식 사이트에 단계별 점수와 근거 데이터와 함께 공개됐다. 속도 면에서는 코덱스와 안티그래비티가 100분 미만으로 가장 빨랐고, 클로드 코드는 일관성에서 강점을 보였다. 베이징 문샷 AI(Moonshot AI)의 키미(Kimi)는 약 350분으로 가장 느렸지만 정확도 0.89로 전체 최고를 기록했으며 비용도 가장 낮았다. 지아오 CEO는 “대부분의 벤치마크는 단일 점수로 에이전트를 평가하지만 그것이 개발자들이 실제로 느끼는 것과 다르다”며 처음 성공률·기존 기능 회귀율·자가 복구 능력 같은 지표를 가시화하는 것이 코더컵의 목적이라고 밝혔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
