UC샌디에이고 z-lab 연구팀이 개발한 DFlash가 대규모 언어 모델(LLM)의 추론 속도를 기존 방식 대비 최대 6배 이상 높이는 새로운 투기적 디코딩(speculative decoding) 기법을 제시했다. 기존 투기적 디코딩은 소형 드래프트 모델이 토큰을 하나씩 순서대로 제안하고 대형 타깃 모델이 이를 병렬로 검증하는 방식이다. DFlash는 드래프팅 단계 자체를 블록 디퓨전(block diffusion) 모델로 대체해 토큰 블록 전체를 단일 순전파(forward pass)로 생성한다. 타깃 모델의 검증은 여전히 자동회귀 방식으로 유지해 출력 품질 손실이 없다.
연구팀이 Qwen3-8B 모델에서 측정한 결과, DFlash는 수학 추론 벤치마크 MATH-500에서 기존 자동회귀 방식 대비 6.08배, 7개 과제 평균 4.86배의 무손실 속도 향상을 기록했다. 동일 조건에서 현재 최고 수준 방법인 EAGLE-3은 평균 1.76배 향상에 그쳤다. 엔비디아는 블랙웰(Blackwell) GPU 8장을 탑재한 DGX B300 시스템에서 TensorRT-LLM 백엔드로 gpt-oss-120b 모델을 실행한 결과, 같은 사용자 응답성 기준에서 자동회귀 디코딩 대비 최대 15배 처리량 향상을 확인했다고 밝혔다.
DFlash의 핵심 구조적 차별점은 드래프트 모델에 타깃의 내부 표현을 주입하는 방식에 있다. 대형 타깃 모델의 여러 레이어에서 추출한 은닉 상태(hidden state)를 압축해 드래프트 모델의 모든 레이어 KV 캐시에 주입하는 방식을 택했다. 이를 통해 드래프트 깊이가 깊어질수록 수용 길이(acceptance length)도 함께 늘어나는 구조를 만들었다. 기존 방법들이 수십억 파라미터 규모의 대형 드래프트 모델을 사용해도 3~4배 이상 속도를 내기 어려웠던 반면, DFlash는 5레이어짜리 소형 드래프트 모델로 이를 넘어섰다. vLLM과 Transformers 프레임워크용 코드와 체크포인트가 공개돼 있어 기존 EAGLE-3 설정을 교체하는 방식으로 바로 도입할 수 있다.
DFlash는 코딩 에이전트, 장문 추론, AI 서비스 처리량이 중요한 환경에 유용하다. 코딩 에이전트처럼 짧은 지연이 중요한 작업에서 Gemma 4 31B 기준 최대 5.8배 향상을 보였으며, Qwen3 모델의 Chain-of-Thought(체인-오브-쏘트) 추론 모드에서도 약 4.5배의 속도 향상을 유지했다. 처리 동시성이 높아질수록 효과는 줄어들지만 양의 값을 유지해 서비스 운영 비용 절감에도 기여할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
