DFlash, 블록 단위 투기적 디코딩으로 LLM 추론 속도 최대 6배 향상
UC샌디에이고 z-lab 연구팀이 개발한 DFlash가 토큰 블록 전체를 한 번의 순전파로 생성하는 방식으로 LLM 추론 속도를 기존 대비 최대 6배 ...
[태그:] DFlash
NVIDIA Blackwell, DFlash 투기적 디코딩으로 LLM 추론 최대 15배 향상
엔비디아가 블랙웰 GPU에서 DFlash 투기적 디코딩을 활용해 LLM 추론 속도를 최대 15배 끌어올리는 방법을 공개했다. UC샌디에이고 연구팀이 개발한 오픈소스 블록 ...
