딥시크(DeepSeek)가 대규모 언어 모델 서빙 속도를 높이는 추측적 디코딩(speculative decoding) 프레임워크 DSpark를 오픈소스로 공개했다. 함께 공개된 `DeepSeek-V4-Pro-DSpark`와 `DeepSeek-V4-Flash-DSpark` 체크포인트는 기존 V4 가중치를 재사용하고 초안 모듈(draft module)만 추가한 구조로, 새 모델이 아닌 서빙 최적화 솔루션이다. 훈련·평가 코드를 담은 MIT 라이선스 오픈소스 라이브러리 DeepSpec도 함께 배포했다.
DSpark의 핵심은 병렬 초안 생성과 경량 순차 헤드를 결합한 반자기회귀(semi-autoregressive) 방식이다. 기존 Eagle3 같은 자기회귀 방식은 초안 품질이 높지만 블록 크기에 비례해 비용이 늘고, DFlash 같은 병렬 방식은 저비용이지만 블록 후반 토큰으로 갈수록 수락률이 급락하는 단점이 있었다. DSpark는 DFlash를 백본으로 삼아 전 위치를 한 번에 계산하고, 랭크 256의 경량 마르코프 헤드가 직전 토큰을 조건으로 각 위치의 편향을 조정해 후반부 수락률 하락을 억제한다. 오프라인 벤치마크에서 Eagle3 대비 수락 길이가 평균 26~31%, DFlash 대비 16~18% 늘었다.
생산 서빙에서는 신뢰도 헤드와 부하 인식 스케줄러를 추가해 GPU 유휴 시에는 더 많은 토큰을 검증하고, 부하가 높을 때는 줄이는 동적 검증 길이를 구현했다. 실제 DeepSeek-V4 트래픽을 대상으로 측정한 결과, Flash 모델에서 사용자당 생성 속도가 MTP-1 기준 60~85%, Pro 모델에서 57~78% 향상됐다. 출력 결과는 목표 분포를 정확히 보존하는 기각 샘플링(rejection sampling) 방식으로 검증해 품질 손실이 없다고 딥시크는 밝혔다. 기본 설정은 5토큰 블록과 마르코프 헤드를 쓰는 DSpark-5다.
이번 공개는 딥시크가 모델 자체보다 서빙 인프라 효율화로 비용 경쟁력을 확장하는 전략의 일환으로 풀이된다. 오픈소스 라이브러리 DeepSpec은 딥시크 자체 아키텍처 외의 모델(Qwen3, Gemma4 계열)에도 적용 가능하도록 설계되어, 대형 모델 추론 가속화 연구의 범용 플랫폼 역할을 겨냥하고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
