KAIST(한국과학기술원)와 POSTECH(포항공과대학교), 소니AI 공동 연구팀이 영상 속 물체의 물리 특성을 분석·추론해 효과음(폴리)을 자동으로 생성하는 AI 시스템 ‘파바스’를 개발했다. 이 기술은 영상에 담긴 물체의 질량·속도·충돌 상황 같은 물리 정보를 3D 추론 과정을 통해 해석한 뒤, 10초 안에 장면에 어울리는 음향을 합성한다. 연구 결과는 세계 최고 권위의 컴퓨터 비전 학회 ‘CVPR 2026’에서 전체 제출 논문 상위 1% 이내에만 주어지는 구두 발표 논문으로 선정됐다.
파바스가 생성할 수 있는 음향의 범위는 폭넓다. 거대한 공룡이 발을 내딛는 묵직한 진동음부터 버스가 벽면에 충돌하는 굉음까지, 물리적 맥락에 따라 음향을 달리 합성한다. 무게가 다른 아령이 바닥에 떨어질 때의 미세한 음량 차이도 구현하며, 물체 재질이나 주변 환경, 화면 맥락에 따른 음색 변화까지 반영한다. POSTECH 통합과정 오현빈 연구원은 “물체에서 자동으로 추출한 질량·속도 물리량을 AI 모델이 이해할 수 있는 표현으로 변환해 모델에 입력하는 방식을 택했다”고 설명했다.
기존 영화·드라마 제작 현장에서 효과음 작업은 사운드 디자이너가 수작업으로 각 장면에 소리를 일일이 맞추는 노동집약적 공정이었다. KAIST 전산학과 오태현 교수는 “영상 제작자들이 가내수공업처럼 노동력으로 효과음을 만들어내는 작업을 많이 하는데, 이 기술로 그 작업의 품질을 더 높일 수 있다”고 밝혔다. 연구팀은 영화·드라마 후반 제작비 절감 외에도 VR(가상현실)·AR(증강현실)·게임 등 몰입형 미디어 분야에서 실감도를 높이는 데 활용될 것으로 기대하고 있다.
이번 연구는 영상 이해와 물리 추론, 오디오 생성을 하나의 파이프라인으로 통합한 멀티모달(multimodal) AI 기술의 실용화 사례라는 점에서 주목받는다. 사람이 눈으로 확인하는 시각 정보와 귀로 듣는 청각 정보 사이의 물리적 인과관계를 AI가 학습해 음향을 생성하는 접근은 기존 데이터베이스 매칭 방식과 차별화된다. 영상 콘텐츠 제작 자동화 수요가 높아지는 가운데, 물리 기반 추론을 결합한 음향 합성 기술이 미디어 제작 워크플로를 어떻게 바꿀지 업계의 관심이 모인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
