독일 Soofi S, 26.68조토큰 학습…30B 중 3.2B만 활성화
독일 주권형 기반모델 Soofi S가 26.68조토큰과 하이브리드 MoE 구조의 사전학습 결과와 한계를 공개했다.
[태그:] Mamba
맘바 상태공간 모델이 입력마다 쓰는 상태를 정확히 추적한 도구
선택적 상태공간 모델의 모드별 실제 에너지를 계산해 중요한 상태가 입력 도메인과 토큰에 따라 이동함을 측정했다.
독일 주권형 기반모델 Soofi S가 26.68조토큰과 하이브리드 MoE 구조의 사전학습 결과와 한계를 공개했다.
선택적 상태공간 모델의 모드별 실제 에너지를 계산해 중요한 상태가 입력 도메인과 토큰에 따라 이동함을 측정했다.
