자가회귀 비디오 확산모델은 미래 프레임을 조건으로 삼지 않아 이론상 길이 제약을 크게 낮추지만, 시간이 지나며 누적 오차가 커져 학습 때 보던 조건 분포에서 점차 벗어나는 문제가 남아 있다. 이 논문은 그런 흐름 속에서, 프레임 자체가 사실적 매니폴드에 가까워 보여도 더 이상 이어 갈 수 없는 ‘종결점’이 생긴다는 점에 주목한다. arXiv에 올라온 동료검토 전 프리프린트이며, 테스트 시점에만 적용하는 방법을 다룬다.
핵심 아이디어는 미래 궤적이 잘 모델링돼 있다면 예측 잡음의 분포가 전방 노이징 과정과 맞아야 한다는 가정이다. 이를 바탕으로 Terminal points Avoidance through Noise Guided Optimization, 즉 TANGO를 제안한다. TANGO는 확산모델을 자기 출력의 비평가처럼 사용해 한 단계 앞을 예측하고, 그때의 잡음 예측이 isotropic Gaussian이어야 한다는 제약을 둔다. 기대한 잡음 분포에서 벗어나는 정도를 이용해, 종결점으로 이어지지 않는 다른 경로를 탐색한다.
검증은 VBench와 FVD를 중심으로 이뤄졌다. 전체 비교에서 TANGO는 VBench에서 기존 최고 방법 대비 절대 3.1% 향상을 보였고, 길이 15초 비디오들에서 평균 Fréchet Video Distance를 28.3% 낮췄다. 표 1의 16개 시각 특성 비교에서 TANGO는 Total 0.863을 기록해 RollingForcing 0.804, SelfForcing 0.827, CausVid 0.828, RewardForcing 0.829, LongLive 0.832보다 높았다.
세부 분해에서도 차이가 드러난다. 표 2의 소거 실험에서 전체 FVD는 TANGO가 413.3이었고, 노이즈 항목을 뺀 기준선은 576.8이었다. 구간별로는 13~15초에서 438.8 대 715.6으로 벌어져, 긴 구간으로 갈수록 잡음 유도 최적화가 궤적 붕괴를 줄이는 방향으로 작동했음을 시사한다. 같은 표에서 규제항을 제거한 경우 총 FVD는 664.2로 더 악화됐다.
계산 자원 비교도 제시됐다. 표 4에 따르면 베이스라인 SelfForcing은 1.3B 파라미터, VBench 0.827, 런타임 1.2분, 메모리 23.4 GiB였고, TANGO는 같은 1.3B 규모에서 VBench 0.863, 런타임 8.6분, 메모리 37.6 GiB였다. 반면 더 큰 모델인 HunyuanVideo 13B는 0.832와 92.3분, 62.5 GiB, SVI-2.0-Pro 27B는 0.869와 43.2분, 68.4 GiB로 보고됐다. 이 결과는 성능과 자원 소모 사이의 교환관계를 함께 보여준다.
| 비교 항목 | TANGO(ours) | 비교 기준 |
|---|---|---|
| VBench 전체 점수 | 0.863 | RollingForcing 0.804, SelfForcing 0.827, CausVid 0.828, RewardForcing 0.829, LongLive 0.832 |
| 15초 비디오 평균 FVD 감소 | 28.3% | state-of-the-art 대비 |
| 전체 FVD(소거 실험) | 413.3 | w/o LN (baseline) 576.8 |
| 런타임 / 메모리 | 8.6 min / 37.6 GiB | SelfForcing 1.2 min / 23.4 GiB, HunyuanVideo 92.3 min / 62.5 GiB, SVI-2.0-Pro 43.2 min / 68.4 GiB |
자료: STORIUM 정리
이 자료만으로는 TANGO가 모든 길이, 데이터셋, 구현체에서 같은 폭의 개선을 낸다고 단정할 수 없다. 본문에서 확인되는 평가는 주로 15초 길이 비디오와 VBench, FVD 중심이며, 일부 하이퍼파라미터는 MSR-VTT 테스트셋에서의 예비 튜닝을 바탕으로 정해졌지만 그 데이터는 추가 평가에는 쓰지 않았다고 적었다. 논문은 후속 연구로 불확실성을 직접 추정하는 구조를 제안하면서도, 현재는 테스트 시점 최적화에 의존한다는 점을 남겨 둔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
