LLM 에이전트의 장기 기억을 어떻게 만들고 갱신할지 정하는 문제는 여전히 까다롭다. 2026년 7월 23일 공개된 arXiv 프리프린트에서 제안한 AttriMem은, 메모리 구성 과정에 토큰 수준 기여도를 반영한 과정 보상을 붙여 강화학습을 안정화하는 틀을 다뤘다. 핵심은 무엇을 추출·저장·갱신·압축·삭제할지에 대한 결정을, 최종 정답만 보는 거친 신호가 아니라 중간 기억 내용의 공헌도까지 보며 학습시키는 데 있다.
기존 휴리스틱 방식은 사람이 정한 규칙에 기대는 탓에 다운스트림 목표와 어긋나기 쉽고, 과제별 적응성도 좁다. 반면 RL 기반 방식은 과제 피드백으로 메모리를 배우지만 주로 결과 보상이나 모듈 수준 보상에 머문다. 원문은 이런 신호가 과업 성공 여부는 알려도, 어떤 중간 메모리 내용이 최종 답에 도움이 됐는지는 가르치지 못해 세밀한 신용 할당 병목이 생긴다고 설명한다.
AttriMem은 여기에 토큰 수준 attribution을 이용한 지역 보상을 더한다. 전체 구조는 장기 대화 QA를 위한 메모리 구성 단계와 질의응답 단계를 분리해 두고, 핵심 메모리·삽화 메모리·의미 메모리·절차 메모리의 네 유형을 사용한다. 학습식은 KL 제약이 걸린 보상 최대화로 제시되며, outcome reward에 process rewards를 결합하는 형태다. Table 1에서는 기존 휴리스틱, task-performance RL, outcome-redistribute rewards, QA-derived action rewards와의 차이를 비교하면서 AttriMem이 task feedback, outcome beyond, operation-level, token-level guidance를 모두 갖춘 유일한 범주라고 정리한다.
검증은 장기 대화 기반 질문응답에서 이뤄졌다. 학습 데이터는 LongMemEval이고, 평가는 LoCoMo와 PerLTQA에서 진행됐다. Table 2의 결과에 따르면 Qwen3-4B 기반 설정에서 AttriMem은 기본형 67.88, 55.75, 78.32에서 SFT 후 78.40, 80.25, 81.52로, 그리고 SFT+RLT ok 후 82.48, 83.25, 84.49로 올라갔다. 같은 표에서 MemBuilder(Qwen3-4B)는 SFT+RL 후 80.01, 81.75, 83.74를 기록했다. 또 다른 비교에서는 LongMemEval만으로 학습했어도 LoCoMo 82.48, PerLTQA 84.49를 달성해 강한 비-RL 기준선을 넘겼다고 적었다.
답변 모델 일반화도 따로 확인했다. Table 3에서 Claude 4.5 Sonnet을 GPT-4.1로 바꾸면 LoCoMo, LongMemEval, PerLTQA 성능이 각각 2.07, 1.25, 2.31포인트만 하락했다고 적시해, 메모리 효용이 특정 답변 모델에 묶이지 않음을 보였다. Table 4의 보상 granularity 절제 실험에서는 Ours가 67.88, 55.75, 78.32였고, RLOut는 70.19, 58.25, 79.61, RLAct는 71.10, 59.75, 79.98, RLT ok는 72.05, 61.25, 80.58이었다. SFT를 붙이면 각각 79.46, 81.50, 83.69; 81.32, 82.00, 84.05; 82.48, 83.25, 84.49로 올라갔다. 원문은 이처럼 더 세밀한 보상이 RL 최적화를 안정시키는 경향을 보였다고 해석한다.
| 구분 | 원문 수치/특징 | source_locator |
|---|---|---|
| 메모리 학습 패러다임 비교 | AttriMem: task feedback, feedback beyond outcomes, operation-level guidance, token-level guidance 모두 ✓ | p.2 | Table 1 |
| 주요 성능(Qwen3-4B, SFT+RLT ok) | LoCoMo 82.48 / LongMemEval 83.25 / PerLTQA 84.49 | p.7 | Table 2; p.9 | Table 4 |
| 답변 모델 변경 시 하락 | Claude 4.5 Sonnet → GPT-4.1: LoCoMo -2.07, LongMemEval -1.25, PerLTQA -2.31 | p.8 | source_excerpt, Table 3 |
| 효율-성능 절충 | Figure 4는 평균 추론 토큰 소비량과 답변 정확도의 관계를 제시 | p.10 | Figure 4 |
자료: STORIUM 정리
보조 분석으로는 중간 단계의 추론 타당성과 효율-성능 절충도 다뤘다. Table 5는 OursAct의 중간 단계 rationality 평가를 58.97, 61.76, 61.80으로 제시했다. Figure 4에서는 LoCoMo 기준 평균 추론 토큰 소비량과 답변 정확도의 관계를 그렸고, ContextCite 관련 설명에서는 32개 ablated variants를 병렬 처리할 수 있어 추가 지연이 대략 배치 한 번의 forward pass 수준이라고 적었다. 전체적으로 이 연구는 결과 보상만으로는 보이지 않던 메모리 내용의 공헌을 토큰 단위로 끌어와, 장기 대화 메모리 학습의 미세한 보상 할당 문제를 푸는 방향을 제시한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
