이 연구는 arXiv v1 프리프린트로, 대형 LLM 에이전트가 작업이 쉬운지부터 판단하지 못해 불필요하게 문맥을 과도하게 모으는 문제를 다룬다. 저자들은 이를 실행 범위 추정의 부재로 보고, Estimate-Execute-Expand(E3)를 제안한다. E3는 먼저 난이도·범위·위험·신뢰도를 추정한 뒤, 최소 경로로 실행하고 검증이 실패하거나 confidence가 낮을 때만 범위를 넓힌다.
핵심 개념은 minimum-sufficient execution과 Agent Cognitive Redundancy Ratio(ACRR)이다. 비용은 latency, tokens, tool calls, fully inspected files의 가중합으로 두며, task query와 cheap probe, prior experience로 초기 operating point x0=(d̂,ŝ,r̂,ĉ)를 잡는다. 이후 scope level 1~3에 맞는 파일만 읽고, indirect site는 dependency trace로만 도달하며, 검증이 실패할 때만 한 단계씩 확장한다.
평가는 deterministic offline MSE-Bench에서 이뤄졌다. 이 벤치마크는 capability-controlled simulator의 121개 edit task로 구성되며, Level 1은 local keyword replacement 41개, Level 2는 cross-file rename 40개, Level 3는 repository-level refactor 40개이다. 모든 과제는 oracle minimum-sufficient trajectory를 가져 C_min을 정확히 계산할 수 있고, Level 3에는 18개의 deceptive task가 포함된다.
| 비교 대상 | 성공률 | 평균 scalar cost | ACRR |
|---|---|---|---|
| Max-Context-First | 100.0 | 122.85 | 12.90 |
| Adaptive Retrieval | 100.0 | 22.08 | 1.21 |
| E3 | 100.0 | 18.55 | 0.55 |
| Oracle (C_min) | 100.0 | 11.74 | 0.00 |
자료: STORIUM 정리
전체 평균에서 Max-Context-First는 100.0% success, 122.85 scalar cost, 12.90 ACRR를 기록했고, Adaptive Retrieval은 100.0% success, 22.08 scalar cost, 1.21 ACRR를 기록했다. E3는 100.0% success, 18.55 scalar cost, 0.55 ACRR를 기록해 두 기준선보다 비용이 낮았다. 여기서 ACRR은 성공한 실행에 대해서만 평균낸 값이며, Oracle의 ACRR 0.00은 측정값이 아니라 정의상 기준값이다.
견고성 점검에서도 같은 경향이 유지됐다. held-out instruction wording에서는 estimator의 exact-level accuracy가 85.1%에서 66.9%로 떨어지고 under-scoping이 14.9%에서 33.1%로 늘었지만, E3의 success는 100.0%를 유지했고 mean cost는 18.55에서 20.17으로만 증가했다. 저자들은 이 결과를 배포된 에이전트의 성능 측정이 아니라, 제어된 simulator에서 trajectory redundancy를 살핀 실험으로 한정해 해석한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
