심하게 열화된 영상 속에서 얼굴의 세부를 복원하면서도 시간적 일관성을 유지하는 새로운 확산 기반 프레임워크 ‘FADRA’가 제안됐다. 영상 얼굴 복원(VFR)은 화질이 크게 떨어진 영상 시퀀스로부터 고품질이면서 프레임 간 흐름이 매끄러운 얼굴 세부를 되살리는 것을 목표로 한다. 연구진은 기존 방법들이 복잡한 열화 상황에서 공간적 정확도와 시간적 일관성 사이의 균형을 맞추는 데 여전히 어려움을 겪고 있다고 진단했다. 한 프레임만 놓고 보면 선명해도 프레임이 이어질 때 얼굴이 흔들리거나 미세하게 튀는 현상이 발생한다는 것이다.
FADRA는 사전 학습된 텍스트-영상(text-to-video) 확산 모델이 지닌 강한 시간적 일관성을 활용한다. 여기에 경량 LoRA 어댑터와 저품질(LQ) 픽셀 정렬 특징 융합 모듈을 도입해, 얼어붙은 상태로 둔 생성 사전 지식을 영상 얼굴 복원 과제에 효율적으로 맞춘다. 즉 대규모 영상 생성 모델이 이미 학습한 시간적 특성을 그대로 살리면서, 복원이라는 별개의 목적에 맞게 최소한의 조정만 얹는 방식이다.
연구진은 LoRA 기반 적응을 넘어서기 위해 ‘반복 잔차 적응 헤드(RRAH)’라는 구성 요소를 추가로 도입했다. 이 헤드는 확산 백본 뒤에서 단계별로 잔차를 정제한다. 특히 RRAH는 저품질 잠재 표현과 현재의 속도 예측값을 함께 입력으로 받아, 모델이 저품질 단서를 거듭 다시 살펴보며 각 흐름 정합 단계마다 잔차 갱신을 예측하도록 한다. 이렇게 저품질 정보에 근거한 반복적 잔차 적응을 통해, 사전 학습 모델이 지닌 시간적 특성을 보존하면서도 미세한 얼굴 세부를 되살릴 수 있다는 설명이다.
여기에 더해 연구진은 지각적으로 중요한 세부의 구조적 완결성을 보장하기 위해 ‘주파수 인식 손실(Frequency-Aware Loss)’을 제안했다. 이 손실은 여러 주파수 대역에 걸쳐 명시적 감독을 제공해, 시각적으로 민감하고 프레임 간에 흔들리기 쉬운 주파수 성분을 강조한다. 연구진은 광범위한 실험을 통해 FADRA가 기존 최신 기법들보다 더 나은 얼굴 구조를 복원하고 시간적으로 더 일관된 영상을 만들어냈으며, 정량 지표와 시각적 지각 양쪽에서 뚜렷한 개선을 얻었다고 밝혔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
