마스킹 확산 기반 대규모 언어모델은 토큰을 한 줄씩 내보내는 자기회귀 방식과 달리 여러 위치를 병렬로 갱신할 수 있다는 이점이 있다. 그러나 이 병렬성이 곧바로 체감 속도로 이어지지는 않는다. KAIST AI와 연세대 소속 저자들이 낸 동료검토 전 arXiv 프리프린트는 바로 이 간극에 주목해, dLLM 추론 효율을 알고리즘·구조·시스템 수준에서 나눠 읽는 방식으로 관련 연구를 정리했다. 핵심은 최종 지연을 하나의 숫자로만 보지 말자는 데 있다. 논문은 총 지연을 반복 정제 횟수 T, 각 단계의 모델 평가 횟수 Gt, 한 번의 전방 계산 비용 Cfwd, 정책·스케줄 오버헤드 Cpolicy, 서빙 오버헤드 Csys로 분해하는 식을 제안한다. 이 식에서 T를 줄이는 것만으로는 충분하지 않고, 같은 T라도 다중 패스 구조가 들어가면 총 평가 수 Nfwd=∑Gt가 크게 달라질 수 있다고 정리한다.
이 틀에 따라 가속 기법은 세 축으로 묶인다. 첫째는 스케줄·정책·증류처럼 반복 횟수 자체를 줄이는 알고리즘적 방법이다. 예를 들어 비균등, 지연(dilated), 점프 스케줄은 고정된 품질 목표에서 T를 낮추는 방향으로 작동하고, 확신도나 엔트로피에 따른 비마스킹 정책은 어려운 위치에만 계산을 몰아준다. 둘째는 희소성, 양자화, 경량 디노이저처럼 한 번의 forward 비용을 낮추는 구조적 최적화다. 셋째는 캐시 재사용과 전용 서빙 프레임워크처럼 반복 루프의 중복 계산과 오케스트레이션 비용을 줄이는 시스템 최적화다.
논문이 강조하는 부분은 캐시와 재사용의 대가가 분명하다는 점이다. 확산 디코딩은 매 단계 토큰 값이 바뀌므로, 일반적인 KV 캐시를 그대로 쓰기 어렵고 diffusion-aware refresh나 eviction이 필요하다. 이때 속도는 빨라질 수 있지만 메모리 사용량이 증가하고, 경우에 따라 병목이 연산에서 메모리 대역폭이나 캐시 관리로 옮겨간다. 그래서 단순한 토큰/초보다 실제 워크로드에서의 wall-clock 지연, 피크 GPU 메모리, p95 지연을 함께 봐야 한다고 제안한다.
또 다른 주제는 추론 시점 스케일링이다. 가이드나 검색, 파티클, 트리 서치처럼 테스트 단계에서 계산을 더 쓰는 방법은 품질과 제약 만족도를 끌어올릴 수 있지만, Gt와 Nfwd를 키워 지연과 메모리 압박을 동시에 높인다. 이런 계열에서는 같은 T를 가진 디코더라도 실제 실행 시간과 메모리 풋프린트가 크게 다를 수 있으므로, 단계 수만 맞춘 비교는 오해를 낳기 쉽다고 짚는다.
| 구분 | 주요 레버 | 원문에 명시된 효과 |
|---|---|---|
| 알고리즘 효율 | Schedules & policies / Decoding algorithm / Distillation | T ↓, Cpolicy ↑ 또는 Nfwd 감소 |
| 구조·시스템 효율 | Architecture & numerics / Caching & reuse / System-level serving | Cfwd ↓, Csys ↓, Mem ↑ 가능 |
| 추론 시점 스케일링 | Guidance & search | Gt ↑, Cpolicy ↑, Mem ↑ |
| 지연 분해 식 | Latency ≈ Σ(Gt·Cfwd + Cpolicy) + Csys | Equation (1), Section 3 |
자료: STORIUM 정리
이 서베이는 새로운 실험 결과를 내놓는 연구가 아니라, 기존 가속 기법들을 실제 배포 관점에서 다시 읽게 하는 정리 작업에 가깝다. 연구팀은 정확한 벤치마킹을 위해 T, Gt, Nfwd, 업데이트 sparsity, 품질 운영점을 명시해야 하며, 하드웨어·정밀도·배치 크기·동기화 포함 여부를 숨긴 채 속도 향상을 말하면 비교가 왜곡된다고 경고한다. 결국 이 논문이 제시하는 기준은 “얼마나 빨라졌는가”보다 “어느 항목이 얼마나 줄었는가”를 먼저 묻는 방식이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
