실시간 스트리밍 비디오 생성은 프레임을 하나씩 내보내면서도 긴 시간 동안 장면 일관성을 지켜야 한다. 그러나 기존 next-frame 생성은 중첩된 자기회귀·디노이징 루프 때문에 실시간 배치에 걸림돌이 된다. arXiv v1 프리프린트에서 제안한 Ms.Forcing은 이 문제를 롤링 윈도우 내부의 공간 해상도와 주의 연산 밀도를 잡음 수준에 맞춰 바꾸는 방식으로 다룬다.
핵심은 Multi-Scale Patchification(MSP)과 Multi-Scale Self-Attention(MSSA)이다. MSP는 더 노이즈가 큰 상태에 더 거친 패치를 배정해 활성 윈도우의 토큰 수를 45% 줄였고, 5-step RF 일정에서 디노이징 창의 토큰을 45% 감소시켰다고 보고했다. MSSA는 각 쿼리의 패치 크기에 맞춰 보이는 비-sink 키·값의 밀도를 맞추며, MSP 이후의 dot-product attention 계산을 추가로 12.9% 줄였다.
이 설계는 창 위치에 따라 고정되므로 계산 그래프가 정적이며 하드웨어 친화적이라고 설명한다. 또 Homogeneous-Noise-Level DMD(H-DMD)를 도입해, 같은 source noise level을 공유하는 clean prediction들만으로 fake video를 구성한다. 이는 RF의 이질적 DMD 조립이 학습과 추론 사이에 만드는 불일치를 줄이려는 목적이다.
정량 평가는 832×480 해상도에서 단일 H200 GPU로 수행됐다. Ms.Forcing은 22.84 FPS를 기록해 Rolling Forcing(RF)보다 39.6% 빨랐고, 5초 비디오에서는 VBench total과 semantic 점수가 각각 0.29, 1.25 향상됐다고 적었다. 60초 비디오에서는 quality drift가 2.227에서 1.700으로 낮아졌다고 보고했다. 비교군으로는 SkyReels-V2, CausVid, Self Forcing, LongLive, RF가 포함됐다.
긴 비디오 실험은 MovieGen benchmark의 처음 128개 프롬프트를 사용해 60초 영상을 생성하고, subject consistency, background consistency, motion smoothness, dynamic degree, aesthetic quality, imaging quality를 평가하는 방식이었다. 품질 드리프트는 각 영상의 30개 비중복 2초 구간에서 imaging-quality 점수의 표준편차를 전체 평균한 값으로 정의했다. 표와 본문은 Ms.Forcing이 짧은 구간과 긴 구간 모두에서 속도와 품질 지표를 함께 개선했음을 보여준다.
| 구성요소 | 원문 기능/효과 | 근거 위치 |
|---|---|---|
| MSP | 더 노이즈가 큰 상태에 더 거친 패치를 배정, 활성 윈도우 토큰 수 45% 감소 | p.1 abstract; p.2 introduction |
| MSSA | 쿼리 패치 크기에 맞춰 비-sink KV 밀도를 조정, MSP 이후 dot-product attention 계산 12.9% 추가 감소 | p.2 introduction; p.5 figure/eq.4 |
| H-DMD | 같은 source noise level의 clean prediction들로 fake video를 구성해 학습-추론 불일치 감소 | p.2 contributions; p.6 eq.8 |
| 성능 | 832×480, 단일 H200 GPU에서 22.84 FPS; RF 대비 39.6% 향상 | p.2 introduction; p.8 table 1 |
자료: STORIUM 정리
한편 학습에서는 겹치는 윈도우를 통해 역전파해야 하므로 추가 비용이 든다고 인정한다. 그럼에도 다층 패치와 어텐션, H-DMD를 결합한 구조가 그 비용을 상쇄해, 정적 계산 그래프를 유지한 채 롤링 윈도우 스트리밍의 병목을 줄였다는 것이 이 논문의 결론이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
