사회적 상호작용 로봇의 얼굴을 사람마다 다르게 만들려면, 표정뿐 아니라 안쪽 기구까지 새로 짜야 한다. 이번 논문은 그 수작업 병목을 줄이기 위해, 단일 2D 초상화를 입력으로 받아 3D 얼굴을 복원하고 충돌 없는 내부 메커니즘을 자동 합성하는 흐름을 제시한다. 연구진은 토폴로지와 액추에이터 배치를 매개변수화한 링크 구동 템플릿을 바탕으로, 다양한 얼굴 형태에 맞게 구조를 재배치할 수 있도록 설계했다.
핵심은 계층형 최적화다. 눈과 턱처럼 기하가 비교적 고정되는 모듈은 초기 단계에서 배치하고, 눈썹과 입은 해부학적으로 가능한 운동 범위와 Action Unit 기반 궤적을 함께 만족시키도록 정교화한다. 목적함수에는 표현 범위, 궤적 추종 오차, 조작성 항이 들어가며, 최종 조립 단계에서는 CAD 조합 뒤 FCL 충돌 검사를 돌려 간섭이 남으면 최소 변위 벡터와 QP로 배치 수정이나 진폭 축소를 반복한다.
실험은 얼굴 형상이 서로 다른 15개 헤드에 대해 진행됐다. 표 I에 따르면 제안법은 성공률 66.7%로, 외부 루프를 뺀 버전의 20.0%, 전역 공동 최적화의 0.0%, 지역 최적화+휴리스틱의 33.3%를 앞섰다. 성공한 경우의 평균 수렴 시간은 591.3초였고, 지역+휴리스틱은 1098.2초였다. 전역 공동 최적화는 최종 교차 부피가 9690.5 mm3로 가장 컸고, 제안법은 460.4 mm3까지 낮췄다. 표현성 점수는 성공 사례에서 각각 8.53, 8.69, 8.57으로 보고됐다.
하드웨어 설계와 별도로, 대화형 얼굴 움직임도 다뤘다. 오디오를 입력받아 말하는 역할과 듣는 역할을 함께 모델링하는 이중 정체성 프레임워크를 만들고, Blendshape 계열의 시계열을 예측해 실제 로봇 구동에 맞는 3D 표정을 생성했다. 학습용 데이터는 YouTube와 RealTalk의 대화 영상을 잘라 쌍방 오디오를 분리하고, MediaPipe로 Blendshape과 머리 회전을 추출해 구성했다.
대화 동작 평가에서는 speaker mode와 listener mode를 모두 비교했다. 표 II에서 제안법은 speaker에서 LVE 3.04, MSE 0.38, PDD 5.63을 기록했고, listener에서는 FDD 21.12, PDD 5.81로 제시됐다. 비교군으로는 FaceFormer, EmoTalk, SelfTalk, DualTalk이 포함됐다. DualTalk은 listener를 다루지만 실시간 처리가 아니었고, 제안법은 실시간 배포가 가능하다고 정리됐다. 또 Jetson AGX Orin에서 FPS를 측정한 표 III에서는 표현 방식별 매핑을 비교했으며, 본문은 세부 수치를 후속 표에서 제시한다.
| 구분 | 수치 | 근거 위치 |
|---|---|---|
| 자동 설계 제안법 성공률 | 66.7% | Table I |
| 자동 설계 제안법 평균 수렴 시간 | 591.3 s | Table I |
| 수작업 설계 평균 시간 | 22.8 h | 본문 Sec. V-B, Comparative efficiency against manual design |
| 하드웨어 구동 자원 | 21 independently actuated facial degrees of freedom, 3 NEMA 17 stepper motors for neck | Sec. V-A Experimental Setup |
자료: STORIUM 정리
사용자 연구도 포함됐다. 영화 대화 구간 네 편과 짧은 문장 세 개를 대상으로, 전체 상호작용 품질과 매핑 품질을 10점 척도로 평가했다. 본문 해설에 따르면 제안법은 네 개 구간에서 평균 7.9~8.3점을 받아 speaker-only보다 약 0.7~1.9점 높았고, 목 움직임을 무작위로 넣는 조건이나 mouth-only 조건보다도 우세했다. 연구는 현재 동료검토 전 arXiv 프리프린트이며, 저자들은 향후 기구 재구성성, 종단간 학습, 차등가능 시뮬레이션, 전신 embodiment를 한계로 들었다.
1차 출처: https://arxiv.org/abs/2607.11688
저작권자 © STORIUM 무단전재 및 재배포 금지
