MiniMax가 GQA(그룹 쿼리 어텐션) 기반 희소 어텐션 기법 MSA(MiniMax Sparse Attention)를 공개하고, 1,090억 파라미터 MoE(전문가 혼합) 모델에 적용했다. 소프트맥스 어텐션의 이차함수적 연산 비용을 해결하기 위해 설계된 이 방법은 100만 토큰 문맥에서 토큰당 연산량을 기존 대비 28.4배 낮췄다고 MiniMax는 밝혔다.
MSA는 인덱스 브랜치와 메인 브랜치라는 두 갈래로 구성된다. 인덱스 브랜치는 각 쿼리가 어떤 키-값 블록을 읽어야 할지 선별하고, 메인 브랜치는 선별된 블록에만 정확한 소프트맥스 어텐션을 수행한다. 선택은 블록 단위로 이뤄지며, 각 쿼리와 GQA 그룹은 기본값으로 128토큰 블록을 16개 유지해 쿼리당 처리 범위를 고정시킨다. 이로써 문맥 길이가 늘어도 연산 규모가 함께 증가하지 않는다. 인덱스 브랜치 학습에는 Top-k 선택이 미분 불가능하다는 문제가 있었는데, MiniMax는 인덱스 브랜치 분포를 메인 브랜치 어텐션 패턴과 맞추는 KL 손실 함수로 이를 해결했다.
3조 토큰 학습 예산 아래 진행한 벤치마크에서 MSA-PT(처음부터 학습)와 MSA-CPT(기존 체크포인트 변환)는 풀 어텐션 기준선과 비교해 MMLU, GSM8K, HumanEval, RULER 등 주요 지표에서 대체로 비슷한 수준을 유지했다. 특히 RULER-8K에서는 MSA-PT가 풀 어텐션을 소폭 앞서기도 했다. MiniMax는 이 기법을 실제 서빙 중인 MiniMax-M3 모델에 적용했으며, 인퍼런스 커널 코드는 MIT 라이선스로 허깅페이스를 통해 공개했다. 커널은 NVIDIA SM100 GPU에 최적화돼 있고, BF16·FP8·FP4 정밀도를 지원한다. MiniMax에 따르면 H800 기준 100만 토큰 문맥에서 프리필 속도는 14.2배, 디코딩 속도는 7.6배 빨라졌다.
MSA는 기존 희소 어텐션 방식인 NSA·InfLLM-V2·MoBA·DSA와 구별되는 지점이 있다. GQA 그룹별로 Top-k 선택을 공유하면서도 블록 단위 KV 읽기를 유지하는 조합이 핵심이다. MiniMax는 장기 실행 에이전트, 대규모 코드베이스 추론, 장시간 비디오 이해 등 문맥 길이가 병목인 작업에서 실용적인 성능을 낼 수 있다고 설명했다. 다만 공개된 커널이 SM100 GPU에 한정돼 있고, 일부 장문 맥락 세부 지표에서는 풀 어텐션 대비 격차가 남아 있는 점은 한계로 지적된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
