AI 에이전트의 성능이 모델 자체만큼이나 런타임 하네스(runtime harness)에 의해 크게 좌우된다는 점에 착안해, 이를 체계적으로 조합하고 자동으로 진화시키는 프레임워크 HarnessX가 제안됐다. 런타임 하네스란 모델이 환경을 관찰하고 추론하며 행동하는 방식을 매개하는 프롬프트, 도구, 메모리, 제어 흐름의 집합을 의미한다. 이번 연구는 arXiv에 2026년 6월 12일 게재됐다.
기존 AI 에이전트 하네스는 대부분 수작업으로 설계되고 고정된 구조를 가진다. 새로운 모델이나 과제가 등장할 때마다 처음부터 별도의 스캐폴딩을 구축해야 하고, 실행 과정에서 생성된 풍부한 트레이스(trace) 데이터가 체계적인 개선에 활용되지 못하는 문제가 있었다. HarnessX는 이 한계를 극복하기 위해 하네스 구성 요소를 대체 가능한 타입화된 기본 단위(typed harness primitive)로 정의하고 이를 치환 대수(substitution algebra)로 조합하는 구조를 취한다. 또한 AEGIS라는 트레이스 기반 다중 에이전트 진화 엔진을 통해 하네스를 적응시키며, 이 과정이 강화학습의 연산 구조와 대응된다고 논문은 설명한다.
HarnessX의 성능은 ALFWorld, GAIA, WebShop, tau^3-Bench, SWE-bench Verified 등 5개 벤치마크에서 검증됐다. 기존 방법 대비 평균 14.5% 성능 향상을 기록했으며, 최대 44.0%까지 개선된 경우도 있었다. 특히 기존 성능이 낮았던 환경일수록 향상 폭이 크게 나타났다. 이는 모델 규모를 키우는 것과는 별개로, 실행 피드백을 통해 런타임 인터페이스를 진화시키는 방식이 독립적이고 실용적인 성능 개선 수단임을 시사한다.
연구팀은 HarnessX가 하네스 업데이트와 모델 학습 신호를 실행 궤적에서 동시에 도출함으로써 하네스-모델 사이의 피드백 루프를 완성한다고 강조했다. 전체 코드베이스는 향후 오픈소스로 공개될 예정이다. AI 에이전트 시스템이 점점 복잡한 실세계 과제를 맡게 되는 상황에서, 하네스 설계를 자동화하는 접근법은 개발 효율과 성능 모두를 높이는 현실적 대안으로 주목된다.
—
저작권자 © STORIUM 무단전재 및 재배포 금지
