알라야랩과 상하이교통대 등 연구진의 에이전틱STS는 장기 과제에서 전체 대화를 누적하는 대신 구조화된 기억을 사용하는 방식을 시험했다. 수백 번의 결정을 요구하는 카드 게임 슬레이 더 스파이어 2에서 매번 새 프롬프트를 만들고 이전 대화 자체는 모델에 다시 보여주지 않았다.
프롬프트는 고정 지침, 현재 상태와 가능한 행동, 검색한 게임 규칙, 이전 실행 요약, 상황별 전략 기술의 다섯 층으로 구성된다. 최저 난도 A0에서 인간 승률은 개발사 기준 16%이고 기존 AGI-Eval의 프런티어 모델 다섯 구성은 승리하지 못했다. 에이전틱STS는 기억 없이 10회 중 3회, 전략 기술 라이브러리를 켠 조건에서 10회 중 6회 이겼다.
전체 대화를 누적하는 공개 에이전트 두 종은 점수당 토큰을 66~90배 더 썼고, STS2MCP의 게임 후반 호출 하나는 약 52만7천 토큰에 이르렀다. 에이전틱STS는 사용자 문맥을 약 5천 토큰으로 유지했다. 비교 에이전트는 같은 점수에 도달하는 데 네 배 오래 걸렸고 지연의 96%가 모델 응답 대기에서 발생했다고 연구진은 보고했다.
다만 3승과 6승의 차이는 조건당 10회에서 나온 관측치다. 논문 초록은 이 비교의 피셔 정확검정 p값을 약 0.37로 제시해 통계적으로 결정적인 결과로 보지 않았다. 핵심 비교도 한 캐릭터와 한 게임 버전에 한정됐고, 공개 에이전트와는 라우팅과 결정 묶음 방식이 달라 기억 구조만의 효과를 분리하기 어렵다.
제미나이가 만든 기억을 다른 모델에 옮겼을 때 Qwen 점수는 올랐지만 딥시크 점수는 낮아졌고 둘 다 승리하지 못했다. 이는 기억 항목이 생성 모델의 표현 방식과 판단 습관에 의존할 수 있음을 시사한다. 다른 게임, 업무 환경, 모델에서 같은 비용 절감과 성능 변화가 재현되는지는 추가 실험 대상이다.
| 비교 항목 | 조건 | 본문 확인 값 |
|---|---|---|
| 10회 승리 | 기억 없음 | 3회 |
| 10회 승리 | 전략 기술 라이브러리 사용 | 6회 |
| 사용자 문맥 | 에이전틱STS | 약 5천 토큰 |
| 게임 후반 단일 호출 | STS2MCP | 약 52만7천 토큰 |
| 점수당 토큰 | 공개 에이전트 2종 | 66~90배 더 사용 |
| 같은 점수 도달 시간 | 비교 에이전트 | 4배 |
자료: STORIUM 정리
연구팀은 298개 전체 실행과 기억 스냅샷, 평가 코드를 공개했다. 구조화 기억의 실무적 장점은 기억의 출처와 역할을 층별로 추적하고 특정 항목을 제거해 영향을 시험할 수 있다는 점이다. 고객지원이나 업무 에이전트에서는 저장 전략의 생성 모델·유효기간·근거와 폐기 이력을 기록해야 성능 변화의 원인을 비교할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
