칭화대와 Z.ai 연구진이 2026년 3월 12일 장문 추론용 희소 어텐션의 병목을 줄이는 IndexCache를 arXiv v1 프리프린트와 공개 코드 패치로 제시했다. 연구 대상은 GLM-4.7-Flash 기반 30B-A3B 혼합전문가 모델에 DeepSeek Sparse Attention(DSA)을 적용한 47층 모델이다. 논문은 같은 H100 하드웨어에서 토큰 선택 인덱서를 덜 실행했을 때의 속도와 품질을 검증한다.
DSA는 각 질의가 참고할 상위 k개 토큰을 인덱서로 고른 뒤 핵심 어텐션 계산을 줄이지만, 인덱서 자체는 모든 층에서 문맥 길이의 제곱에 비례하는 계산을 반복한다. IndexCache는 일부 ‘Full’ 층만 인덱서를 실행하고 나머지 ‘Shared’ 층은 앞선 결과를 재사용한다. 학습 없는 방식은 20만 토큰, 배치 768의 SFT 보정 데이터에서 언어모델 손실이 작아지도록 유지할 층을 탐색했다. 학습 방식은 GLM-4.7-Flash에서 1,000단계 밀집 워밍업과 4,000단계 희소 학습을 거쳤다.
속도 측정은 SGLang의 dp_attention을 켜고 dp_size를 8로 설정한 엔비디아 H100 노드에서 이뤄졌다. 30B 모델에서 인덱서를 4분의 1만 남긴 IndexCache는 20만 토큰 프리필 시간을 DSA 기준 19.5초에서 10.7초로 줄여 1.82배 속도를 냈다. 단일 동시성의 요청당 디코드 처리량은 초당 58토큰에서 86토큰으로 1.48배, GPU별 KV 캐시를 약 80만 토큰까지 채운 조건의 총 디코드 처리량은 초당 197토큰에서 297토큰으로 1.51배 늘었다.
품질 비교에는 MRCR v2·GraphWalks·LongBench v2·RULER·AA-LCR 등 장문 과제 5개와 AIME 2025·GPQA-Diamond·LiveCodeBench v6·IFBench 등 일반·추론 과제 4개가 쓰였다. 연구진은 인덱서를 4분의 1만 남긴 학습·비학습 방식에서 기준 DSA와 비슷한 평균 성능을 보고했다. 744B GLM-5의 별도 예비 실험에서는 인덱서 절반을 생략해 10개 벤치마크 성능을 비슷하게 유지하면서 종단 간 약 1.2배 속도를 냈다고 제시했다.
결과의 범위는 연구진이 구성한 DSA 모델과 H100·SGLang 설정에 한정된다. 20만 토큰을 넘는 구간의 추가 가속은 논문의 전망일 뿐 측정값이 아니며, GLM-5 결과도 예비 검증으로 표현됐다. arXiv 페이지에는 7월 29일 기준 학회 채택이나 동료평가 정보가 없고 독립 재현 결과도 제시되지 않았다. 따라서 IndexCache는 모든 모델의 GPU 효율을 높인 일반 해법이 아니라, DSA 인덱서를 쓰는 모델에서 공개 패치와 동일한 조건을 다시 검증해야 하는 최적화 기법으로 보는 것이 맞다.
저작권자 © STORIUM 무단전재 및 재배포 금지
