캘리포니아대 버클리 연구진이 공개한 2026년 7월 14일 공개된 arXiv v1 프리프린트은 비디오 확산모델이 연쇄적 사건을 따라가는 데 구조적 한계를 보인다고 주장했다. 논문은 이 현상을 ‘seriality gap’이라 부르며, 단순히 영상 길이가 길어서가 아니라 의존적 사건의 연결이 길어질수록 성능이 떨어진다고 설명한다.
연구는 128×128 해상도 hard-sphere 시뮬레이션 영상으로 검증했다. 공 5개(n=5)에서는 조건 이후 볼-볼 충돌 밀도가 최소 0.035를 넘도록 걸러, f=25·33·41·49프레임 클립을 만들었다. 비교용 단일 공(n=1)에서는 충돌이 없어 같은 길이여도 닫힌형 풀이 가능했다. 훈련은 20,000개 영상, 평가는 1,024개 57프레임 영상을 사용했다.
모델은 Wan2.1 VAE 잠재공간에서 동작하는 DiT형 비디오 확산모델이며, 5개 조건 프레임을 입력받았다. 기본은 양방향 디노이징이고, 동일 백본에 temporal latent frame 기준 FlexAttention 블록-인과 마스크를 넣어 Block-3, Block-2, Block-1(자기회귀)도 비교했다. 훈련은 200,000 iterations, batch size 64, AdamW, weight decay 0.01, 학습률 2×10^-4, EMA 0.9999로 진행했고 약 300 A100-80GB GPU-days가 들었다.
| 구분 | 설정 | 핵심 수치 | 방향 |
|---|---|---|---|
| multi-ball Bidir | n=5, f=49, d_model=1536, n_layers=30 | Δx(5)=0.883, IoU=0.704 | 낮을수록/높을수록 |
| multi-ball AR | n=5, f=49, d_model=1536, n_layers=30 | Δx(5)=0.607, IoU=0.733 | 낮을수록/높을수록 |
| single-ball Bidir | n=1, f=49, d_model=768, n_layers=30 | Δx(5)=0.246, IoU=0.810 | 낮을수록/높을수록 |
| single-ball AR | n=1, f=49, d_model=768, n_layers=30 | Δx(5)=0.220, IoU=0.815 | 낮을수록/높을수록 |
| denoising steps | n=5, f=49, Bidir, T=10/20/50/100/200 | Δx(5)=0.991/0.931/0.883/0.889/0.916 | 낮을수록 |
자료: STORIUM 정리
평가는 GT 전역 오차 Δx(GT), 롤아웃-5 로컬 오차 Δx(5), 시각 품질 IoU로 했다. n=5에서 양방향은 f가 길어질수록 악화됐지만, n=1 통제에서는 양방향과 자기회귀의 차이가 거의 사라졌다. 예를 들어 f=49, d_model=1536, n_layers=30에서 Bidir의 Δx(5)는 0.883, AR은 0.607이었다. 반면 디노이징 단계를 10·20·50·100·200으로 늘려도 Δx(5)는 f=49에서 0.991, 0.931, 0.883, 0.889, 0.916에 그쳐 격차를 닫지 못했다.
논문은 seriality gap이 hard-sphere 실험에만 국한된다고 보지 않지만, 결론은 결정론적 비디오 예측과 충분한 관측 가능성 같은 가정 아래의 이론이다. 연속된 단계가 필요한 태스크에서는 디노이징 반복이 백본이 이미 계산한 것을 넘어 확장 가능한 직렬 계산을 더하지 않는다고 본다. 다만 저자들도 정적·계산 복잡도·자연영상의 불확실성, 그리고 부록의 vibrating-wall 변형이 예비적이라는 한계를 분명히 적었다.
저작권자 © STORIUM 무단전재 및 재배포 금지
