인과적 자기 어텐션(causal self-attention)의 이차(quadratic) 연산 비용은 긴 문맥을 다루는 트랜스포머의 추론 속도를 심각하게 가로막는 병목이다. 이를 완화하려는 사후(post hoc) 선형화(linearization) 방법이 이미 여럿 나와 있지만, 그 가운데 어떤 구성 요소가 실제로 모델 품질을 지켜주는지는 구분하기 어려웠다. 안나 쿠지나(Anna Kuzina) 등 연구진이 arXiv에 공개한 연구는 이 물음을 정면으로 다뤘다. 이 논문은 동료 심사 전 단계의 arXiv 공개본이다.
연구진은 백본(backbone)을 완전히 고정한 엄격한 조건에서 상태 갱신(state update) 설계가 미치는 효과만 따로 떼어내 분석했다. 여러 요소가 뒤섞인 파이프라인 대신 상태 갱신이라는 한 요소의 영향을 분리해 본 것이다.
분석을 통해 이들은 소프트맥스(softmax) 어텐션이 키(key)에 의존하는 랭크-1 직교 사영에 기대고 있음을 보였다. 이는 델타(delta) 방식의 신경망이 단순히 게이팅으로 값을 누적하는 방식보다 더 나은 성능을 내는 이유를 설명해 준다. 또한 근사 오차가 생길 수 있는 잠재적 원인을 짚어내고, 이를 줄이기 위한 구조적 개입을 도입했다.
구체적으로는 싱크 토큰(sink token), 짧은 합성곱(short convolution), 고정 예산 캐시 라우팅(fixed-budget cache routing)이라는 장치를 더해 남은 성능 격차를 좁혔다. 각 요소가 소프트맥스 어텐션과의 차이를 메우는 역할을 하는 셈이다.
연구진은 이 선형화 방식을 LLaMA와 Qwen 계열 모델에 적용해 최대 320억(32B) 파라미터 규모까지 확장했다. 그 결과 MMLU 벤치마크에서 기존 사후 선형화 기준선들을 앞섰고, 복잡한 적응형 캐싱 방식과 견줄 만한 긴 문맥 검색 성능을 달성했다고 밝혔다. 원문 초록 보기
