비디오의 미학적 점수를 예측하는 과제는 영상 품질 평가보다 덜 다뤄져 왔고, 사람의 주관이 강하게 개입한다는 점 때문에 더 까다롭다. 이 논문은 그 문제를 심리학의 peak-end rule 관점에서 다시 보며, 프레임별 미학 단서와 시간적 요약 방식을 함께 다루는 Peak-End-Net을 제안한다. 동료검토 전 arXiv 프리프린트 상태다.
핵심 발상은 모든 프레임을 같은 비중으로 평균내지 않는 데 있다. 먼저 AVA로 사전학습한 이미지 미학 평가 헤드를 비디오 프레임에 적용해 프레임별 미학 prior를 얻고, 이 점수를 바탕으로 눈에 띄는 순간과 끝부분을 더 크게 반영한다. 여기에 미학 리듬 인코더를 더해 단순한 최고점·마지막 장면만이 아니라, 시간에 따라 미학이 어떻게 변화하는지도 함께 표현한다.
구조는 가볍게 설계됐다. 고정한 ViT-L/14가 각 프레임의 시각 특징을 뽑고, 프레임별 IAA 점수는 샘플링된 프레임 시퀀스에서 peak, valley, end 응답을 계산하는 근거로 쓰인다. 최종 비디오 표현은 이 가중합으로 얻는다. 별도로 리듬 인코더가 점수 시퀀스의 상승·하강 경향과 변동을 1차원 신호처럼 읽어 들이며, 동적 게이트는 VAA 헤드의 전체 점수와 전역 IAA 점수를 샘플별로 섞어 최종 overall을 보정한다.
평가는 두 벤치마크에서 진행됐다. VADB에서는 전체 7,881개 공개 비디오를 8:2로 나눠 학습과 테스트를 했고, 전체·6개 일반 속성·4개 인물 속성에 대해 RMSE, SRCC, PLCC, KRCC를 보고했다. 이 설정에서 Peak-End-Net은 overall score 기준 RMSE 0.4344, SRCC 0.8875, PLCC 0.8853, KRCC 0.7014를 기록해 비교군보다 앞섰다. 예를 들어 RMSE는 Q-Align의 0.6649, VADB-Net의 0.4998보다 낮았다.
| VADB in-domain test | 공개 7,881개 비디오, 8:2 분할, 테스트 분할 |
|---|---|
| VADB overall 성능 | RMSE 0.4344/0.4548, SRCC 0.8875/0.8784, PLCC 0.8853/0.8765, KRCC 0.7014/0.6925 |
| DIVIDE-3K zero-shot | 3,590개 in-the-wild 비디오, fine-tuning 없음 |
| DIVIDE-3K Stage 2 | RMSE 0.4905, SRCC 0.5427, PLCC 0.5773, KRCC 0.3745 |
교차도메인 시험인 DIVIDE-3K에서는 VADB로 학습한 모델을 fine-tuning 없이 그대로 적용했다. 이 zero-shot 조건에서 Peak-End-Net의 Stage 2는 RMSE 0.4905, SRCC 0.5427, PLCC 0.5773, KRCC 0.3745를 보였다. 같은 표에서 Q-Align은 RMSE 0.5151, SRCC 0.4695, PLCC 0.4842, KRCC 0.3266, VADB-Net은 RMSE 0.5772, SRCC 0.1799, PLCC 0.1968, KRCC 0.1228이었다. 논문은 Stage 2가 VADB 내부 성능을 약간 낮출 수 있지만, 과적합을 줄이며 전이 성능을 높이려는 의도라고 설명한다.
정성 결과도 같은 방향을 가리킨다. VADB 예시에서 이 방법은 프레임 간 변화가 큰 영상에서 실제 정답에 더 가까운 overall과 속성 점수를 내는 경우가 많았고, 반대로 미세한 의미 정보나 서사적 일관성처럼 드문 프레임만으로 파악하기 어려운 경우에는 한계가 드러났다. 전체적으로 이 연구는 비디오 미학 평가를 단순 회귀가 아니라, 인간의 기억과 판단 경향을 반영한 시간적 모델링 문제로 다룰 수 있음을 보여준다.
저작권자 © STORIUM 무단전재 및 재배포 금지
