엔비디아가 트랜스포머 기반 모델을 FP8, NVFP4 등 저정밀도(low-precision) 포맷으로 학습시킬 때 실제로 얻을 수 있는 속도 향상을 정확히 측정하는 벤치마킹 방법론을 공식 블로그를 통해 소개했다. 엔비디아는 저정밀도 학습이 이론적으로는 3배 이상의 속도 향상을 약속하지만, 양자화 오버헤드와 모델 구조에 따라 실제 이득은 크게 달라질 수 있다고 설명했다.
엔비디아는 단백질 언어 모델인 ESM2-15B를 사례로 삼아, 양자화와 커널 디스패치를 자동 처리하는 자사 라이브러리 트랜스포머 엔진(Transformer Engine)을 통해 BF16을 기준으로 FP8 커런트스케일링, FP8 딜레이드스케일링, MXFP8, NVFP4 등 여러 정밀도 포맷의 성능을 비교했다. 측정 방식은 두 가지로 나뉘는데, 실제 학습 중 발생하는 동적 양자화 오버헤드까지 포함하는 오토캐스트(autocast) 모드와, 오버헤드를 제외하고 순수 GEMM 커널 성능만 측정하는 프리퀀타이즈(pre-quantize) 모드다.
엔비디아 B300 GPU 기준 실측 결과, NVFP4는 BF16 대비 오토캐스트 모드에서 2.69배, 프리퀀타이즈 모드에서는 4.01배의 속도 향상을 보였다. 오버헤드를 제거할수록 정밀도 전환의 실제 효과가 더 크게 나타난다는 의미다. ESM2-15B 모델의 개별 행렬 연산별로는 NVFP4가 MXFP8 대비 QKV 프로젝션에서 약 1.81배, MLP 업 연산에서 약 1.91배, MLP 다운 연산에서 약 1.81배 빨랐던 반면, 어텐션 출력 연산은 행렬 크기가 작아 개선 폭이 약 1.44배로 제한적이었다. FP8 딜레이드스케일링은 블랙웰 아키텍처에서 가장 빠른 FP8 방식으로 나타났으며, 오토캐스트 모드 기준 레이어당 23.76밀리초로 BF16 대비 약 1.74배 빨랐다.
엔비디아는 이론적인 하드웨어 속도 향상이 양자화, 블록 스케일링, 확률적 반올림 등의 오버헤드로 인해 실제로는 줄어들며, 모델 크기와 연산 형태에 따라 이득이 달라진다는 점을 강조했다. 이에 따라 개발자들이 본격적인 학습에 나서기 전 벤치마킹 도구로 자신의 모델 아키텍처에 맞는 정밀도 포맷을 미리 검증할 것을 권장했다.
이번 벤치마킹 방법론은 대규모 모델 학습 비용 절감이 업계 전반의 화두로 떠오른 가운데 나왔다. 모델 중복 다운로드나 저장 효율화를 다루는 다른 최적화 시도들과 마찬가지로, 저정밀도 학습 최적화 역시 GPU 자원을 더 효율적으로 활용하려는 업계의 노력을 보여준다.
