선형 어텐션(linear attention)과 상태공간모델(state-space model) 계열의 언어모델은 이전 문맥을 고정 크기의 순환 상태로 압축해 메모리 사용량을 일정하게 유지하는 대신, 여러 개의 키-값 연관 정보가 한꺼번에 경쟁할 때 오래된 정보가 새 정보에 덮어써지면서 특정 사실을 다시 불러오는 능력이 떨어지는 한계가 있다. 최근 arXiv에 공개된 논문은 이 문제를 뇌의 ‘보완 학습 시스템(Complementary Learning Systems)’ 이론에서 착안해 해결하려는 시도를 제시했다.
연구진이 제안한 방법 HOLA(Hippocampal Linear Attention, 해마형 선형 어텐션)는 기존의 델타 규칙 기반 순환 상태를 압축 메모리로 그대로 유지하면서, 여기에 용량이 제한된 정확한 키-값 캐시를 추가로 두는 반모수적(semiparametric) 테스트 타임 메모리 구조를 취한다. 순환 상태는 선형적으로 압축 가능한 구조적 정보를 처리하고, 캐시는 압축 상태로 억지로 밀어 넣어서는 안 되는 연관 정보를 별도로 저장하는 역할을 분담하는 방식이다. 캐시에 무엇을 남길지는 별도의 학습된 삭제 모듈 없이, 예측 잔차가 큰 토큰을 우선 기록하는 방식으로 결정되며, 이 정확한 키-값 쌍을 읽어들일 때는 분리된 RMSNorm 기반 정규화를 적용해 평균화가 아닌 날카로운 검색이 이뤄지도록 했다.
연구진은 3억4000만 개 매개변수 모델을 150억 개의 슬림파자마(SlimPajama) 토큰으로 학습시켜 성능을 검증했다. 그 결과 위키텍스트 퍼플렉시티가 27.32에서 22.92로 16.1% 낮아졌으며, 이는 완전한 어텐션 구조를 쓰는 트랜스포머++(26.88)보다도 낮은 수치였다. 램버다(LAMBADA) 퍼플렉시티 역시 30.95에서 30.26으로 개선됐다고 논문은 밝혔다. 아울러 HOLA는 선형 어텐션 계열 모델 중 문맥 내 검색 성능이 가장 우수했고, 훈련 길이의 16배에 해당하는 3만2000토큰까지 늘어난 ‘건초더미 속 바늘 찾기(needle-in-a-haystack)’ 검색 과제에서도 기존 GDN 모델이나 단순히 최근 정보만 캐싱하는 HOLA 변형보다 훨씬 안정적인 성능을 유지했다고 연구진은 설명했다.
이번 연구는 대규모 언어모델이 연산 효율을 위해 채택하는 선형 어텐션·상태공간모델 구조가 갖는 근본적 약점인 ‘정보 망각’을 정면으로 다뤘다는 점에서 의미가 있다. 대규모 문맥을 다루면서도 메모리 사용량을 일정하게 유지해야 하는 온디바이스·저비용 추론 환경에서, 이런 하이브리드 메모리 구조가 실용적 대안이 될 수 있을지 후속 연구가 주목된다.
