장면의 감정과 진행을 따라가며 소리까지 설계하는 방식은, 단발성 효과음을 만드는 텍스트-투-오디오보다 훨씬 복잡하다. 인도공과대학 카라그푸르의 Ajitesh Jamulkar와 Aritra Hazra는 이런 긴 서사형 오디오를 위해 BackgroundMellow라는 프레임워크를 제안했다. 이 arXiv v1 프리프린트는 이야기 입력을 한 번에 합성하지 않고, 해설 음성·효과음·환경음·배경음악을 분해해 다시 맞물리게 하는 구조를 중심에 둔다.
핵심은 ‘마스터-전문가’ 방식이다. 마스터 LLM이 텍스트를 오디오 큐로 쪼개고, 각 큐를 Tango2 같은 환경음 합성 모델이나 전문 사운드트랙에서 찾은 Cinematic BGM Retriever, TTS 나레이션 모듈에 보낸다. 이어 시작 시점, 지속 시간, 상대 음량을 수치로 예측하는 NLP 기반 모듈이 믹싱을 돕는다. 논문은 이런 분리를 통해 이야기의 시간축과 소리 층위를 동시에 다루려 했다고 설명한다.
정렬 단계에서는 Whisper 기반 ASR로 나레이션의 단어별 타임스탬프를 얻고, 이를 기준 시계로 삼는다. 여기에 약 100편의 고품질 영화 예고편에서 추출한 1000개 클립 규모의 유튜브 트레일러 데이터셋을 맞춰 학습한 LLaMA 기반 Digital Sound Predictor(DSPred)를 더해, 시작 시점과 길이를 예측한다. 실험은 40개의 서로 다른 이야기 프롬프트를 대상으로 했고, 기준은 시간 동기화, 커버리지, 스펙트럼 풍부도였다.
정량 비교에서는 단일 생성 모델의 한계가 두드러졌다. Zero-shot AudioLDM2의 다이내믹 레인지는 68.153 dB, Tango2는 9.406 dB였고, 노이즈 플로어는 각각 -29.459 dB와 -1.548 dB로 제시됐다. 반면 BackgroundMellow의 기본 설정은 다이내믹 레인지 103.368 dB, Crest Factor 11.048, Audio Onsets 78.0을 기록했다. 유튜브 예고편을 기준으로 한 커버리지는 23.635, 동기화 점수는 5.46e-03으로 보고됐다.
설계 요소를 하나씩 끈 소거 실험도 실렸다. 배경음악 검색을 붙인 설정(B8)은 다이내믹 레인지 96.569 dB, 커버리지 17.353, 동기화는 ≈0으로 나타났고, DSPred만 쓴 설정(B6)은 109.584 dB, 19.833, 2.15e-03이었다. 또 기본 LLM 정렬만 쓴 경우(B7)는 117.623 dB, 21.869, 1.10e-04로 제시됐다. 논문은 인간 평가도 별도로 둬, 전문 STEM 단위와 최종 혼합본 단위로 나눠 Prompt Fidelity, Acoustic Naturalness, Sync Accuracy 같은 항목을 수집했다고 적었다.
| 구성/모델 | 지표 또는 설정 | 수치 |
|---|---|---|
| BackgroundMellow baseline (B0) | Audio Onsets / Dyn. Range / Crest Factor / YT Cov / YT Sync | 78.0 / 103.368 dB / 11.048 / 23.635 / 5.46e-03 |
| AudioLDM2 (Zero-Shot) | Dyn. Range / Noise Floor / YT Cov / YT Sync | 68.153 dB / -29.459 dB / 14.11 / 1.01e-03 |
| Tango2 (Zero-Shot) | Dyn. Range / Noise Floor / YT Cov / YT Sync | 9.406 dB / -1.548 dB / 17.95 / 1.99e-03 |
| YouTube Trailer Dataset | 영화 예고편 수 / 클립 수 | 약 100편 / 1000개 |
| Experimental setup | 평가용 이야기 프롬프트 수 | 40개 |
자료: STORIUM 정리
이 연구는 최종적으로 서사 기획과 오디오 합성을 분리한 뒤, 검색 기반 BGM과 타임라인 정렬을 결합하면 장면형 사운드스케이프를 더 정밀하게 만들 수 있다고 주장한다. 다만 결과는 curated YouTube trailer dataset과 내부 ablation, human-in-the-loop 평가에 근거해 제시됐으며, 실제 배포 환경의 일반화는 별도 검증이 남아 있다.
1차 출처: https://arxiv.org/abs/2607.11364
저작권자 © STORIUM 무단전재 및 재배포 금지
