맘바 상태공간 모델이 입력마다 쓰는 상태를 정확히 추적한 도구

선택적 상태공간 모델이 모든 입력에 같은 내부 상태를 중요하게 쓰는 것은 아니라는 점을 정량화한 도구가 나왔다. 평균적인 파라미터 중요도 대신 토큰을 통과하며 어느 모드가 활성화되는지 기록하고, 그 점수로 상태 예산을 동적으로 배정한다.

Mamba-1 130M부터 2.8B, Falcon-Mamba 7B, Mamba-2 130M·780M을 조사했다.

맘바 상태공간 모델이 입력마다 쓰는 상태를 정확히 추적한 도구 논문의 Figure 1 방법·결과 도표 — Figure 1. Figure 1: Migration gap ρ(8) = Eoracle/Estatic (left) and effective order (right) versus relative depth, over six models (Mamba-1 130M–2.8B and Falcon-Mamba-7B). Coloured lines are individual models (shared legend); the bold black line is the across-model median with an interquartile ribbon; the shaded region is the migrating band (relative depth 0.4–0.75). Left: ρ < 1 (dashed) means a per-input oracle reconstructs the layer output with less error than any fixed mode set; the median dips through the band and each model’s strongest layer, marked by a dot in the model’s colour, reaches ρ ≈0.5: the static set’s error is twice the oracle’s at the same budget. Right: the participation ratio rises from about two modes at the ends of the network to five–eight in the same band, so migration concentrates in the layers that spread their output over more modes. 출처: arXiv:2607.11796

영어 산문·코드·기술문서 각 32개, 길이 1,024 토큰 창으로 보정하고 도메인당 분리된 24개 창으로 평가했다. 전체 실험은 GB10 노드 한 대에서 약 하루의 GPU 시간으로 수행됐다.

LAMBADA·790M 설정	보고값
가지치기 전 정확도	0.63
정적 r=8 가지치기 정확도	0.41
2회 통과 oracle의 손실 회복	86%

자료: STORIUM 정리.

모드 에너지로 입력 도메인을 읽는 선형 프로브는 전체 층 평균 99.7% 정확도를 냈다. LAMBADA에서 790M 모델을 상태 절반인 r=8로 정적 가지치기하면 정확도가 0.63에서 0.41로 떨어졌지만, 입력을 보고 고른 2회 통과 oracle 마스크는 손실의 86%를 회복했다. 중요한 상태가 입력에 따라 이동한다는 직접 증거다.

결과는 상태공간 모델 압축을 한 번 정한 고정 마스크로 처리하기보다 입력별 스케줄링 문제로 볼 근거를 준다. 긴 문맥과 도메인 혼합 서비스에서 계산 예산을 조절하는 데 관련되지만, oracle은 전체 입력을 본 뒤 선택하므로 그대로 온라인 배포할 수 없다.

정확한 계산은 채널별 대각 구조에 한정되며 미리 정한 마스크가 평가 창 밖에서도 유지되지는 않았다. arXiv:2607.11796은 동료검토 전 원고이고 1,024토큰을 크게 넘는 문맥도 미검증이다. 논문의 출발점은 연구진은 대각 채널을 쓰는 선택적 상태공간 모델에서 각 상태 모드가 특정 입력 창의 출력에 기여한 실제 에너지를 정확히 계산하는 도구를 만들었다.