엔비디아가 Nemotron 3 Ultra(550B) 모델을 자사의 4비트 부동소수점 포맷인 NVFP4로 양자화한 체크포인트를 공개하고, 이 과정에 적용된 최적화 기법을 공식 블로그를 통해 상세히 공개했다. 양자화(quantization)는 모델 가중치를 더 작은 데이터 형식으로 압축하는 기술로, 컨텍스트 창이 길어질수록 대형 모델 가중치를 효율적으로 이동시키는 일이 성능에 직결된다. 이번에 공개된 NVFP4 체크포인트는 디코드 집약적 작업에서 GLM-5.1 754B FP4 모델 대비 최대 5.9배 높은 추론 처리량을 달성하는 동시에 대부분의 벤치마크에서 BF16 수준의 정확도를 유지했다고 엔비디아는 밝혔다.
NVFP4 체크포인트의 핵심 특징은 모든 레이어를 동일한 정밀도로 저장하지 않는다는 점이다. 레이어별 양자화 민감도와 정확도 영향을 고려해 포맷을 달리 적용했다. MoE(전문가 혼합) 라우팅 전문가 레이어에는 NVFP4를, MoE 공유 전문가와 맘바(Mamba) 믹서 선형 레이어에는 FP8을, 임베딩과 출력 분류 레이어 등에는 BF16을 유지했다. 이 선택적 양자화 결과 모델 크기가 BF16 기준 1121GB에서 352.3GB로 줄어들어 하드웨어 점유량이 절반으로 낮아졌다. 이 체크포인트는 단일 파일로 블랙웰(Blackwell)과 호퍼(Hopper) 아키텍처 모두에서 작동하도록 설계됐다. 블랙웰에서는 네이티브 W4A4(4비트 가중치·4비트 활성화)를 활용하고, FP4 텐서 코어가 없는 호퍼에서는 서빙 프레임워크가 자동으로 W4A16 모드로 전환한다.
최적 체크포인트를 찾는 과정에서 엔비디아 팀은 여러 양자화 전략을 비교 실험했다. FP4로 표현 가능한 양수 값은 단 8개(0, 0.5, 1, 1.5, 2, 3, 4, 6)에 불과해 스케일 인수 선택이 정확도를 크게 좌우한다. 가장 단순한 최댓값 기반 스케일링(absmax)은 블록 내 이상치 하나가 다른 모든 값을 소수점 이하로 플러시해 버리는 문제가 있었다. 이전 모델 Nemotron 3 Super 실험에서 absmax 방식은 기준선 대비 눈에 띄는 정확도 하락을 야기했다. 이를 보완하기 위해 MSE(평균 제곱 오차) 최소화 스케일링과 GPTQ(2차 정보를 활용한 가중치 양자화 기법) 등 여러 보정 방식을 비교 평가했다. Nemotron 3 Ultra에는 최종적으로 각 블록이 스케일 상한을 4 또는 6 중 재구성 오차가 작은 쪽으로 고르는 ‘4-오버-6’ 방식을 적용해 MMLU-Pro·GPQA 등 주요 벤치마크에서 BF16에 근접한 정확도를 유지했다.
엔비디아는 이번 공개가 자사 모델 최적화 도구인 NVIDIA Model Optimizer를 사용하는 개발자들이 자체 모델의 최적 NVFP4 체크포인트를 생성하는 방법을 보여주는 사례 연구 성격을 겸한다고 설명했다. 대규모 언어 모델의 추론 비용과 하드웨어 요구 사양이 산업 전반의 도입 장벽으로 부상하는 상황에서, 정밀도 손실 없는 고효율 양자화 기법의 표준화는 데이터센터 운영 기업들의 핵심 관심사로 자리잡고 있다.
