음성만 입력하면 감정이 담긴 표정으로 실시간 말하는 얼굴 영상을 만들어내는 새로운 기법이 아카이브(arXiv)에 공개됐다. 논문 “GaussianEmoTalker: Real-Time Emotional Talking Head Synthesis with Audio-Driven and Blendshape-Based 3D Gaussian Splatting”은 오디오 기반 말하는 얼굴 합성에서 자연스러운 감정 표현까지 실시간으로 구현하는 방법을 제시했다.
연구진은 감정 애니메이션 문제를 ‘중립에서 감정으로 향하는 잔차 변형(neutral-to-emotional residual deformation)’으로 새롭게 정의했다고 밝혔다. 즉 평상시의 무표정한 얼굴을 기준점으로 삼고, 여기서 특정 감정으로 변화하는 차이만을 예측하는 방식으로 문제를 단순화한 것이다. 이를 구현하기 위해 연구진은 ‘가우시안블렌드셰이프(GaussianBlendshapes)’라는 기법을 활용해 각 개인마다 고유한 중립 발화 공간을 먼저 구축했다.
이 시스템은 얼굴 메시(mesh)의 변위 정보와 오디오 특징, 감정 카테고리, 감정 강도를 나타내는 인코딩을 함께 결합해 감정이 반영된 잔차 변형을 예측한다. 서로 성격이 다른 이 여러 신호를 하나로 통합하기 위해 연구진은 ‘공간-오디오-감정 주의(spatial-audio-emotion attention) 모듈’이라는 새로운 구조를 도입했다고 설명했다. 이 모듈이 음성의 타이밍과 얼굴의 공간적 변화, 감정 신호를 동시에 고려해 자연스러운 결과물을 만들어내는 핵심 역할을 한다.
연구진은 실험을 통해 이 기법이 경쟁력 있는 영상 품질과 정확한 립싱크, 조절 가능한 감정 표현, 그리고 실시간 렌더링을 모두 달성했다고 밝혔다. 3D 가우시안 스플래팅 기술이 최근 실시간 렌더링 분야에서 주목받는 가운데, 이를 감정 표현이 가능한 디지털 아바타 제작에 접목한 사례로 눈길을 끈다. 가상 아나운서나 고객 상담 아바타처럼 감정 전달이 중요한 응용 분야에서 활용 가능성이 있을 것으로 보인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
