연장된 연쇄사고(chain-of-thought) 추론이 결정론적 상태 추적 과제에서 성능을 오히려 떨어뜨리는 현상이 선호 편향이 아닌 디코더 전용 어텐션의 정보 이론적 용량 한계에서 비롯된다는 연구가 arXiv에 발표됐다. 연구진은 순수 신경망 추론이 한계에 부딪히는 복잡도 임계점을 ‘결정론적 지평(Deterministic Horizon)’이라 명명하고, 그 이상에서는 도구 위임(tool delegation)이 필수적임을 실험과 이론으로 함께 제시했다.
논문은 네 가지 핵심 결과를 확립했다. 첫째, 어텐션 병목 정리(Attention Bottleneck Theorem)와 이에 대한 달성 가능성 구성(achievability construction)을 통해 상태 추적 용량의 상한을 도출했다. 둘째, 문맥 의존 오류 모델로 복잡도에 따른 초지수적(super-exponential) 정확도 감소를 설명했다. 셋째, 능력 실패와 선호 실패를 구분하는 상태 공간 야카르(State-Space Jaccard) 지표를 제안했다. 넷째, 도구 위임이 필요해지는 결정론적 지평 d*의 범위가 19에서 31 사이임을 규명했다. 12개 모델과 SWE-Bench, WebArena, SQL-Multi를 포함한 8개 과제 영역에 걸친 실험에서, 도구 통합 추론 방식은 신경망 연쇄사고 방식 대비 일관되게 높은 정확도를 기록했으며, 1차 모델 세트 기준으로 각각 86~94% 대 24~42%를 나타냈다.
연구진은 최적 길이의 추론 궤적으로 미세조정해도 5% 미만의 개선만 얻어졌다는 사실을 확인하며, 이 실패가 훈련이 아닌 아키텍처의 천장임을 뒷받침했다. 또한 모델 간 높은 상관성(r=0.81~0.91)은 이 패턴이 특정 모델에 국한되지 않는 구조적 현상임을 시사한다. 이 결과는 에이전틱 AI 시스템 설계에서 순수 신경망 추론이 언제 하이브리드 접근법으로 전환돼야 하는지에 대한 원칙적인 근거를 제공한다.
이 연구는 AI 에이전트 설계의 실무적 함의가 크다. 복잡한 코딩·웹 탐색·데이터베이스 질의처럼 결정론적 상태 추적이 핵심인 과제에서 확장된 사고 과정이 항상 유익하지 않을 수 있다는 점을 명확히 했다. 외부 도구와 신경망 추론을 언제, 어떻게 결합할지를 데이터 기반으로 결정하는 전략이 에이전틱 시스템의 성능과 신뢰성 모두를 높이는 핵심 설계 원칙으로 부상할 전망이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
