엔비디아(NVIDIA)가 공식 개발자 블로그를 통해 MiniMax M3 모델의 자사 가속 인프라 배포 지원을 공식화했다. MiniMax M3는 총 4280억 파라미터 규모의 MoE(Mixture of Experts·전문가 혼합) 구조를 가지며, 토큰당 220억 개의 활성 파라미터를 사용한다. 비디오·이미지·텍스트를 입력으로 받는 멀티모달 모델로, 최대 100만 토큰의 컨텍스트 길이를 지원한다. 엔비디아 블랙웰(Blackwell) 아키텍처를 포함한 가속 인프라에서 구동된다.
모델의 핵심 기술 혁신은 MiniMax 희소 어텐션(MSA·MiniMax Sparse Attention)이다. 표준 어텐션 방식의 계산량이 시퀀스 길이의 제곱에 비례해 늘어나는 한계를 극복하기 위해, 관련 컨텍스트 블록을 사전 필터링해 해당 부분에만 집중하는 방식을 채택했다. 이를 통해 100만 토큰 컨텍스트에서 전임 모델 M2 대비 토큰당 연산량을 20분의 1로 줄이고, 프리필(prefill) 속도는 9배, 디코딩 속도는 15배 향상됐다고 엔비디아는 밝혔다. 정밀도는 BF16과 MXFP8을 지원한다.
배포 경로는 오픈소스 추론 엔진을 통해 여러 가지가 제공된다. 텍스트 전용으로는 엔비디아 텐서RT-LLM(TensorRT-LLM), 멀티모달 워크로드에는 SGLang 또는 vLLM을 활용할 수 있다. 대규모 서비스에는 엔비디아 다이나모(Dynamo) 오픈소스 분산 추론 플랫폼을 사용하면 긴 입력 시퀀스 처리 성능을 높일 수 있으며, 엔비디아 네모(NeMo) 프레임워크로 SFT(지도 미세 조정)·LoRA 방식의 파인 튜닝과 강화 학습도 가능하다. 개발자는 build.nvidia.com에서 GPU 가속 API로 프로토타입을 구축하거나 허깅페이스(Hugging Face)에서 가중치를 내려받아 시작할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
