엔비디아(NVIDIA)가 JAX와 맥스텍스트(MaxText) 프레임워크를 활용한 NVFP4 사전 학습 기법을 블랙웰(Blackwell) GPU 아키텍처에 적용해 기존 FP8 대비 최대 1.73배의 처리량 향상을 달성했다고 공식 블로그를 통해 발표했다. NVFP4는 4비트 혼합 정밀도 방식으로, 대규모 언어 모델(LLM) 사전 학습에서 정밀도 손실을 최소화하면서도 연산 속도를 크게 높이는 것을 목표로 개발됐다.
엔비디아가 공개한 성능 데이터에 따르면, 라마3(Llama 3) 8B 모델을 GB200 하드웨어에서 4개 GPU로 학습할 때 FP8 기준 초당 1,497 테라플롭(TFLOP/s)에서 NVFP4 적용 시 2,017 TFLOP/s로 1.35배 향상됐다. GB300에서는 1,759에서 2,301 TFLOP/s로 1.31배 개선됐다. 405B 파라미터 규모의 라마3.1 405B 모델에서는 효과가 더욱 뚜렷해, GB200 128개 GPU 환경에서 1.44배, GB300에서는 1.73배의 속도 향상을 기록했다. 정확도 면에서도 1만 스텝 사전 학습 실험에서 NVFP4와 FP8 간 수렴 손실 차이는 평균 0.026 나트(nat)로, 스텝 간 노이즈 범위 이내에 머물렀다.
NVFP4 레시피의 핵심은 다섯 가지 기법의 조합이다. 16개 요소 단위 마이크로 블록 스케일링, E4M3 블록 스케일 인자, 랜덤 아다마르 변환(Random Hadamard Transform), 2차원 가중치 스케일링, 확률적 반올림(Stochastic Rounding)이 결합돼 4비트 정밀도에서도 수렴 품질을 유지한다. NVFP4는 어텐션(attention) 블록보다 연산량이 많은 MLP(다층 퍼셉트론) 레이어에만 선택적으로 적용돼 속도 이득을 극대화하면서 불안정성 위험을 낮췄다. 맥스텍스트 레포지토리의 예제 스크립트를 통해 라마3 8B 모델의 NVFP4 학습을 시작할 수 있으며, 공식 맥스텍스트 컨테이너(ghcr.io/nvidia/jax:maxtext)를 통해 환경을 구성할 수 있다.
이번 발표는 AI 모델 학습 비용 절감에 대한 업계 관심이 높아지는 시기에 나왔다. 수조 개 토큰을 수천 개의 가속기로 학습하는 프런티어 LLM에서는 스텝 시간 단축이 수일의 학습 기간 및 막대한 컴퓨팅 비용 절감으로 이어지기 때문이다. 엔비디아는 NVFP4를 통해 동일한 시간 예산 내에서 더 크고 많은 모델을 학습시킬 수 있을 것이라고 밝혔다.
