음악을 단순한 영상 배경이 아니라 감정과 구조가 함께 보이는 장면으로 바꾸려는 시도가 나왔다. 국립양명교통대학 컴퓨터과학과 소속 연구진은 입력된 곡에서 감정의 변화를 추정하고, 이를 360도 영상 생성에 연결하는 파이프라인을 제안했다. 이 작업은 동료검토 전 arXiv 프리프린트로 공개됐다.
핵심은 곡 전체를 4마디 단위로 나눠 감정 궤적을 읽는 방식이다. 먼저 음악 정보 추출 모듈이 다운비트와 구간 구조를 잡고, 각 4마디 구간마다 valence-arousal 값을 예측한다. 이 값은 곡의 정서 흐름을 나타내는 조건으로 쓰이며, 이후 시각 생성 단계로 넘어간다.
다음 단계에서는 EmotiCrafter를 통해 감정 조건을 시각적 가이드로 바꾸고, SEGA를 이용해 프롬프트의 의미를 더 세밀하게 조절한다. 여기에 SDXL과 360도 LoRA가 결합되어 각 구간의 파노라마 키프레임을 만든다. 논문은 이 과정이 사용자가 넣은 장면 개념을 유지하면서도, 음악의 감정 변화에 맞춰 시각적 의미를 이동시킨다고 설명한다.
이렇게 생성된 키프레임은 이미지-투-비디오 모델로 움직임을 입는다. 첫 세 마디는 동적 장면으로, 마지막 한 마디는 다음 키프레임으로 이어지는 전환 클립으로 합성해 전체 360도 영상을 구성한다. 결과물은 VR 헤드셋에서 바로 볼 수 있는 형태라고 적혀 있으며, 곡의 시간적 구조와 정서 흐름이 장면 전환에 반영된다고 보고한다.
검증은 정량 지표보다 질적 비교에 가깝다. 서로 다른 장르의 곡들을 사용해 결과를 보였고, 오디오-투-비주얼 기준선인 From-Sound-To-Sight와 프로젝트 페이지에서 질적 비교를 제시했다. 논문은 또 기존 감정 이미지 생성 모델을 재학습해 원래 모델에서 보이던 인간 활동 아티팩트를 줄였다고 밝힌다.
| 구성 요소 | 역할 | 근거 단서 |
|---|---|---|
| MIR 모듈 | 다운비트 타임스탬프와 4마디 단위, valence-arousal 값을 추출 | p.2 1.3; p.3 2.1 |
| Emotion-guided 360° Keyframe Generation | EmotiCrafter와 SEGA로 감정 반영 키프레임 생성 | p.4 2.2 |
| 360° Video Generation | Wan-I2V와 Wan-flf2v로 동적 장면과 전환 클립을 연결 | p.4 2.3 |
| 검증 방식 | 서로 다른 장르의 곡과 From-Sound-To-Sight와의 질적 비교 | p.1 abstract; p.4 3 Results and Conclusion |
자료: STORIUM 정리
정리하면 이 연구는 음악의 감정 변화를 먼저 추정하고, 그 정보를 360도 키프레임과 영상 합성으로 이어 붙여 몰입형 음악 시각화를 만드는 방법을 제안한다. 논문은 해상도 제약, 경계 불연속으로 인한 이음새, 긴 프롬프트에 따른 성능 저하 같은 한계도 함께 적시했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
