CLI 코딩 에이전트의 실패 1,184건에서 되돌리기 어려운 결정적 오류는 중앙 7단계에 발생했다. 실패 궤적 길이 중앙값은 27단계였고, 외부에서 처음 보이는 실패 신호는 약 16단계로 결정적 오류보다 약 10단계 늦었다. 최종 성공 여부만 보지 않고 실패의 발생·락인·관측을 분리한 arXiv:2607.09510v1의 결과다.
자료는 Terminal-Bench의 인간 작성 과제와 OpenHands·MiniSWE·Terminus2, 7개 모델 조합에서 수집됐다. 21개 시스템이 모두 완료한 89개 과제만 남겨 유효 궤적 1,794개, 실행 단계 63,000개 이상을 분석했다. 성공은 610개, 실패는 1,184개이며 비정상 종료나 불완전 실행은 제외됐다.
LLM이 주석 초안을 보조하고 실패 궤적마다 두 명의 인간 주석자가 독립 검토한 뒤 불일치를 조정했다. 시점은 결정적 오류 terr, 관측상 회복이 사라진 tlock, 첫 가시 신호 tobs로 나눴다. 회복 창 중앙값은 1단계였지만 60.9%는 최소 1단계, 43.9%는 3단계 이상의 여지를 남겼다.
결정적 오류 원인은 epistemic 57.9%, competence 32.8%, environment 9.4%였다. 세부적으로 false premise 30.7%, knowledge gap 24.0%, specification neglect 14.9%, capability limitation과 environment blocker가 각각 8.8%였다. 이 비율은 마지막 오류 메시지가 아니라 실패를 촉발한 메커니즘의 인간 주석 분류다.
| 결정적 오류 대분류 | 비율 |
|---|---|
| Epistemic | 57.9% |
| Competence | 32.8% |
| Environment | 9.4% |
자료: STORIUM 정리
Claude Sonnet 4.6 prefix monitor는 이미 락인된 실행을 82% 정밀도로 식별했지만 실시간 전체 재현율은 작업명만 주면 18.2%, 요구사항까지 주면 28.8%였다. 락인 전에 잡힌 실패는 3.7~8.7%, 중앙 선행시간은 0단계였다.
결과는 선택된 벤치마크·스캐폴드·모델의 스냅샷이며 제외된 불완전 실행에는 적용되지 않는다.
저작권자 © STORIUM 무단전재 및 재배포 금지
