엔비디아가 블랙웰(Blackwell) GPU 아키텍처에서 DFlash 투기적 디코딩(speculative decoding) 기법을 적용해 대규모 언어 모델(LLM) 추론 성능을 최대 15배 높이는 기술을 공개했다. DFlash는 UC샌디에이고 연구팀이 2026년 2월 발표한 오픈소스 경량 블록 확산 모델로, 기존 순차적 토큰 생성 방식의 병목을 블록 단위 병렬 처리로 해소한다. 기존 투기적 디코딩은 소형 모델이 다음 토큰을 하나씩 예비 생성(draft)하고 대형 모델이 병렬로 검증하는 방식인데, DFlash는 드래프터가 한 번의 순전파(forward pass)로 후보 토큰 블록 전체를 생성해 GPU 병렬 활용도를 높인다.
엔비디아에 따르면 DGX B300 8대 시스템에서 TensorRT-LLM을 활용해 gpt-oss-120b 모델을 구동한 결과, 사용자당 500~600 토큰/초의 고속 응답 구간에서 자동 회귀 디코딩(autoregressive decoding) 대비 처리량이 15배 이상 증가했다. 동일 병렬 처리 수준에서 기존 투기적 디코딩 방식인 EAGLE-3와 비교하면 1.5배 더 높은 성능이다. Llama 3.1 8B 모델에서는 EAGLE-3 대비 대화형 응답 속도가 두 배 가까이 향상됐다. 코딩·RAG·추론·작문 등 6개 데이터셋 전반에서 DFlash는 gpt-oss-120b 기준 평균 2.3배, Llama 3.1 8B 기준 평균 2.8배의 응답 속도 향상을 보였다.
DFlash가 블랙웰 아키텍처에서 특히 효과적인 이유는 하드웨어 특성과의 정합성에 있다. 블랙웰 울트라(Blackwell Ultra) GPU는 다이 2개를 10TB/s 칩간 상호연결로 묶어 160개 SM과 640개 5세대 텐서 코어를 단일 도메인으로 통합한다. LLM 디코딩 단계에서는 연산보다 메모리 이동이 병목인데, DFlash의 블록 병렬 드래프팅이 이 제약을 완화해 블랙웰의 풍부한 연산 자원을 더 효율적으로 활용할 수 있다. 연구팀은 허깅페이스(Hugging Face)에 Qwen·Kimi K2.6·Llama·Gemma·gpt-oss 계열을 포함한 DFlash 체크포인트 20개를 공개했으며, SGLang과 vLLM 인퍼런스 프레임워크에서도 설정 변경만으로 적용할 수 있도록 통합 지원을 제공한다.
에이전틱 AI 시스템이 복잡한 멀티에이전트 워크플로우로 확장되면서 저지연 추론의 중요성이 높아지고 있다. DFlash는 코드 생성·추론·에이전트 태스크처럼 응답 지연에 민감한 워크로드에서 동일한 사용자 응답성을 유지하면서 더 많은 동시 사용자를 처리하는 것을 목표로 한다. 엔비디아는 DFlash가 블랙웰과 호퍼(Hopper) GPU 양쪽 레시피를 지원하므로 현재 엔비디아 인프라를 운영 중인 개발팀이 애플리케이션 코드 변경 없이 바로 도입할 수 있다고 밝혔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
