엔비디아가 AI 훈련 성능을 겨루는 산업 표준 벤치마크 ‘MLPerf 트레이닝 v6.0’에서 모든 항목을 석권했다고 밝혔다. MLPerf는 여러 기업과 기관이 참여하는 ML커먼스(MLCommons) 컨소시엄이 개발한 벤치마크로, 엔비디아는 이번 라운드에서 대규모 학습 기준 가장 빠른 훈련 시간을 기록했고 가속기(GPU) 한 개 단위로 환산한 성능에서도 전 항목 최고치를 냈다. 또 모든 시험 항목에 결과를 제출한 유일한 플랫폼이었다.
이번 라운드에서 ML커먼스는 최신 모델 흐름을 반영한 새 사전학습 벤치마크를 도입했다. 6710억 개 매개변수 규모의 전문가 혼합(MoE) 모델인 딥시크-V3(DeepSeek-V3)와 비교적 작지만 성능이 뛰어난 MoE 모델 GPT-OSS-20B가 새로 포함됐다. 엔비디아는 이 두 신규 워크로드 모두에 결과를 낸 유일한 참가자였다. 성능 기준을 세운 것은 GB300 NVL72 시스템으로, 이 구성은 72개의 블랙웰 울트라(Blackwell Ultra) GPU와 36개의 그레이스(Grace) CPU를 NV링크(NVLink) 및 NV링크 스위치로 하나처럼 연결한다.
대규모 확장성도 이번 결과의 핵심이다. 엔비디아의 클라우드 서비스 파트너들은 여러 클라우드 데이터센터에 걸쳐 최대 8192개의 블랙웰 GPU를 한 몸처럼 묶어 학습을 수행했다. 공개된 훈련 시간을 보면 8192개 GPU 기준 딥시크-V3 671B는 2.02분, 라마(Llama) 3.1 405B는 7.07분에 학습을 마쳤다. GPT-OSS 20B는 512개 GPU로 7.43분, 라마 3.1 8B는 1024개 GPU로 4.46분을 기록했다. 이 과정에서 엔비디아는 스펙트럼-X 이더넷(Spectrum-X Ethernet)과 퀀텀 인피니밴드(Quantum InfiniBand) 같은 스케일아웃 네트워크로 MoE 특유의 불규칙한 통신 부하를 실시간으로 분산해, 전용 링크 충돌로 대역폭이 떨어지는 문제를 완화했다고 설명했다.
엔비디아는 이번 성과가 하드웨어뿐 아니라 소프트웨어 최적화에서 나왔다는 점을 강조했다. MoE 모델의 동적 라우팅 때문에 그동안 어려웠던 전체 반복(iteration)의 쿠다 그래프(CUDA graph) 실행을 처음 구현했고, 쿠테 DSL(CuTe DSL) 기반 커널 융합과 어텐션 연산의 MXFP8 저정밀 적용 등을 통해 딥시크-V3와 GPT-OSS 성능을 끌어올렸다고 밝혔다. 실제로 최근 3개월간의 소프트웨어 개선만으로 블랙웰 울트라 GB300의 딥시크-V3 훈련 성능이 GPU당 1298테라플롭스(TFLOPS)에서 1648테라플롭스로 1.3배 향상됐다. 엔비디아는 이런 지속적인 최적화로 기존 인프라 투자에서 곧바로 훈련 효율을 끌어낼 수 있다고 설명했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
