수분 안에 끝나는 단순 명령줄 과제보다 긴 작업에서 AI 에이전트의 진행 정도를 측정하는 Long-Horizon-Terminal-Bench가 공개됐다. 연구진은 최종 성공 여부만 보는 기존 평가가 중간 진전과 부분 해법을 놓친다고 보고, 장기 과정을 세부 하위 과제로 나눠 촘촘한 보상을 주는 방식을 채택했다.
벤치마크는 실험 재현, 소프트웨어 공학, 멀티모달 분석, 대화형 게임, 과학 계산 등 9개 범주의 46개 과제로 구성됐다. 각 과제에는 참조 해법이나 시뮬레이션 엔진이 있으며, 수백 회의 에피소드와 수분에서 수시간의 실행을 요구해 계획·긴 문맥 관리·반복 디버깅을 함께 시험한다.
15개 최전선 모델을 같은 terminus-2 하네스와 90분 제한에서 평가했다. 초록·결론 기준 에이전트는 과제당 평균 990만 토큰, 약 231개 에피소드, 85.3분을 사용했다. GPT-5.5도 부분 보상 0.95 이상을 성공으로 잡은 pass@1이 15.2%, 완전 보상 1.0 기준은 10.9%였다. 전체 모델 평균은 두 기준에서 각각 4.3%와 1.7%로 보고됐다.
부분 점수를 공개해 실패한 에이전트가 어디까지 진행했는지 분석할 수 있다는 점이 기존 이진 평가와 다르다. 다만 46개 과제와 연구진의 채점 분해가 모든 장기 업무를 대표하지 않으며, 막대한 토큰·시간 사용량은 모델 비교에서 예산 통제의 중요성을 높인다. 과제 오염이나 도구 환경 차이도 재현 평가에서 확인할 요소다.
논문과 벤치마크는 2026년 7월 arXiv 프리프린트로 공개됐고 동료검토 전이다. 낮은 성공률은 현 장기 터미널 에이전트의 한계를 보여주지만, 다른 실행 예산이나 채점 기준에서도 순위가 유지되는지는 후속 검증이 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
