키프레임을 순서대로 제시해 영상을 만드는 흐름이 널리 쓰이지만, 정해진 장면을 얼마나 충실히 재현하는지와 전체 영상의 자연스러움을 함께 확인하는 평가는 여전히 부족했다. 2026년 7월 15일 공개된 arXiv 프리프린트는 이를 겨냥해 KeyFrame-Compass라는 벤치마크를 제안한다. 이 자료는 386개의 정제된 샘플을 바탕으로 세 개 응용 도메인, 두 가지 영상 구조, 두 가지 프롬프트 세분성, 두 가지 조건 형식, 네 가지 키프레임 밀도를 조합해 통제된 비교를 가능하게 했다.
핵심은 두 축을 동시에 재는 데 있다. 하나는 키프레임 실행으로, 존재 여부, 충실도, 시간적 순서, 위치, 지속성, 고유성의 여섯 지표로 나눠 본다. 다른 하나는 전체 영상 품질로, 증거에 근거한 MLLM 판단에 전문 인지 모델을 더해 평가한다. 논문은 이 자동 평가 틀을 통해 조건 준수와 영상 품질이 서로 어떤 긴장 관계를 보이는지 살핀다.
실험은 대표적인 영상 생성 시스템 9개에 적용됐다. 결과는 명확한 상쇄 관계를 보여준다. 키프레임을 더 충실히 따를수록 자연스러운 영상 합성이 약해지는 경향이 드러났고, 키프레임 제약이 촘촘해질수록 성능은 더 떨어졌다. 또 대부분의 오픈소스 모델은 스토리보드 격자 입력을 시간 순서가 있는 키프레임 시퀀스로 해석하는 데 실패했다.
벤치마크 구성도 평가 목적에 맞게 설계됐다. 영상 구조는 단일 샷과 멀티 샷으로, 키프레임 수는 3, 6, 9, 12로 나뉘며, 프롬프트는 최소형과 세그먼트 특화형, 입력 형식은 다중 이미지 목록과 스토리보드 그리드로 구분된다. 응용 도메인은 데일리 캡처, 제품 시각화, 시네마틱 내러티브의 세 갈래다. 이런 조합은 단순 평균보다 조건별 취약점을 드러내는 데 초점이 있다.
평가 틀의 구현도 구체적이다. 영상이 원래의 샷 구조를 보존하지 않을 수 있다는 점을 고려해, 실제 샷 구조를 복원한 뒤 입력 키프레임을 대응 세그먼트에 배정하는 절차를 둔다. 또 품질 평가는 MLLM 점수와 전용 모델을 결합하고, 오디오-텍스트 정합도만으로는 시점과 립싱크를 검증할 수 없다고 보아 CLAP 신호를 보조적으로 묶는다. 한편 긴 영상은 Kling-3.0-Omni와 Seedance 2.0의 에이전트 모드 워크플로만 다뤘다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 벤치마크 샘플 수 | 386개 | abstract / p.2 |
| 통제된 비교 축 | 도메인 3개, 영상 구조 2개, 프롬프트 세분성 2개, 조건 형식 2개, 키프레임 밀도 4개 | abstract / p.2 |
| 키프레임 실행 지표 | 존재, 충실도, 시간적 순서, 위치, 지속성, 고유성 | abstract / p.2 |
| 실험 대상 시스템 수 | 9개 대표 영상 생성 시스템 | abstract / p.9 |
| 대표 관찰 | 키프레임 충실도와 자연스러운 영상 합성 사이의 분명한 상쇄 관계 | abstract / p.12 |
자료: STORIUM 정리
종합하면 이 작업은 키프레임 조건부 영상생성을 단일 점수로 보지 않고, 실행 충실도와 시각적 품질을 분리해 관찰할 수 있는 진단 틀을 제시한다. 프리프린트 단계이지만, 386개 사례와 9개 시스템, 그리고 15개 지표 체계를 통해 조건이 복잡해질수록 모델이 어디에서 무너지는지 비교적 세밀하게 보여준다.
저작권자 © STORIUM 무단전재 및 재배포 금지
