NVIDIA가 블랙웰(Blackwell) 플랫폼에서 추론 소프트웨어 스택이 DeepSeek V4 모델 기준 약 한 달 만에 토큰 비용을 최대 5배 절감했다고 밝혔다. 단순한 하드웨어 성능이 아니라 소프트웨어 최적화가 토큰 경제성을 결정짓는다는 점을 실증한 사례다. NVIDIA TensorRT-LLM 라이브러리를 채택한 Baseten은 DeepSeek V4 Pro 서빙에서 초당 토큰 처리량을 최대 50% 높였고, DigitalOcean과 히포크라틱 AI는 블랙웰 기반 의료 AI에서 추론 처리량을 30% 높이면서 첫 응답 시간을 0.5초 미만으로 유지한 채 1,000만 건의 환자 통화를 처리했다. Together AI는 TensorRT-LLM을 활용해 Cursor의 실시간 코딩 경험을 위한 모델 최적화-프로덕션 전환 경로를 단축했다.
NVIDIA 추론 소프트웨어 스택은 세 계층으로 구성된다. 분산 서빙·오케스트레이션·오토스케일링·메모리 관리를 담당하는 운영 계층, 연산-통신 오버랩·커널 융합 등 런타임 최적화를 수행하는 가속 계층, GPU·네트워킹·메모리·시스템 역량을 직접 노출하는 인프라 접근 계층이다. 세 계층이 하나의 시스템으로 작동할 때 개별 최적화가 복합적으로 증폭된다. 분리형 서빙(Disaggregated serving)·NVLink 기반 대규모 전문가 병렬 처리·NVFP4 정밀도·다중 토큰 예측이 각각 유의미한 성능 향상을 가져오지만, 이를 결합하면 처리량이 최대 20배까지 늘어난다고 NVIDIA는 설명했다. NVIDIA Fleet Intelligence 대규모 GPU 클러스터 모니터링과 같이 소프트웨어 레이어가 하드웨어 가치를 극대화하는 방향으로 AI 인프라 전략이 진화하고 있다.
오픈소스 생태계도 이 흐름을 강화한다. 2016년 CUDA 네이티브 지원으로 출발한 PyTorch는 NVIDIA 아키텍처와 함께 진화하며 텐서 코어(Tensor Cores)·트랜스포머 엔진·NVFP4를 개발자에게 직접 제공한다. 기존 하드웨어에서 처리량을 최대 15배 높이는 DFlash 투기적 디코딩이나 1080p 영상을 5초 이내에 생성하는 FastVideo 같은 연구 성과가 PyTorch에 통합되면 블랙웰에서 즉시 실행된다. DeepSeek V4 같은 새 프런티어 모델이 공개됐을 때 vLLM·SGLang이 블랙웰 아키텍처용 배포 레시피를 당일에 제공할 수 있는 것도 이 오픈소스 플라이휠 덕분이다. NVIDIA는 더 많은 개발자가 CUDA 네이티브 추론 경로를 최적화할수록 생산 배포에서의 피드백이 다시 생태계로 흘러들어 토큰당 비용이 지속적으로 낮아지는 선순환이 형성된다고 설명했다.
