알리바바 그룹 Wan Team이 실시간 음성·영상 상호작용 모델 Wan-Streamer v0.3를 내놓았다. 이 논문은 동료검토 전 arXiv 프리프린트로, 핵심 아이디어를 영상은 ‘세계(world)’와 ‘사건 흐름(event stream)’의 결합으로 읽는 데서 출발한다. 세계는 배경, 장면, 등장 주체, 주변 음향, 목소리 특성처럼 비교적 안정적인 맥락이고, 사건 흐름은 그 안에서 시간에 따라 바뀌는 행동, 장면 변화, 말소리, 기타 소리다.
이 분해는 단순한 설명틀이 아니라 학습 과제로 이어진다. 큰 규모의 일반 영상에서 세계와 입력이 주어지면, 모델이 실시간으로 세계가 어떻게 움직이고 바뀌며 반응하는지를 다음 단위별로 예측하도록 만드는 방식이다. 논문은 이 능력이 여러 실시간 하위 과제로 옮겨갈 수 있다고 본다. 이번 버전에서 실제로 구현한 대상은 풀듀플렉스 오디오-비주얼 상호작용이며, 에이전트의 응답은 말과 자유형 행동을 함께 담는 형태로 바뀌었다.
구체적으로는 역할극 채팅 형식을 택해, 괄호 안의 표현으로 행동 지시를 적고 그 밖의 텍스트로는 발화를 내보낸다. 예를 들어 손을 뻗어 물건을 집거나, 표정을 짓거나, 고개를 돌리는 식의 개방형 행동을 자연어로 기술할 수 있다. 모델의 멀티모달 이해 과정은 비전-언어-행동(VLA)처럼 기능하며, 사용자 입력을 언어형 발화와 행동 행동으로 바꾼 뒤 동기화된 오디오·비디오 생성을 조건부로 이끈다.
제시된 수치에서 v0.3는 v0.2의 동작점을 유지한다. 출력 해상도는 640×368, 프레임률은 25 FPS이며, 스트리밍 단위는 160 ms다. 모델 측 응답 지연은 약 200 ms, 양방향 350 ms 네트워크 예산을 포함한 총 상호작용 지연은 약 550 ms로 적었다. 실험 절에서는 이 지연 측정이 160 ms 사용자 스트리밍 단위를 기준으로 시작해, 대응하는 오디오·비디오 응답 단위가 디코딩되어 방출될 때 끝난다고 설명한다.
버전 비교 표에 따르면 v0.3가 바꾼 것은 개념적 틀, 사전학습 목표, 그리고 에이전트가 표현할 수 있는 범위다. 반면 엔드투엔드 스트리밍 구조, 해상도와 프레임률, 지연 예산, 서빙 토폴로지는 v0.2에서 그대로 이어받았다. 실험 부분의 질적 관찰에서는 생성된 640×368 대화에서 표정 변화, 자세 전환, 가까운 물체와의 상호작용이 말과 함께 실시간으로 동기화되며, 명시적 행동 이벤트가 없는 구간에서는 대기·청취 행동이 유지된다고 적었다.
| 항목 | v0.2 | v0.3 |
|---|---|---|
| 출력 해상도 | 640×368 | 640×368 |
| 프레임률 | 25 FPS | 25 FPS |
| 모델 측 지연 | ∼200 ms | ∼200 ms |
| 총 상호작용 지연 | ∼550 ms (350 ms network) | ∼550 ms (350 ms network) |
| 에이전트 사건 흐름 | Speech + listening behavior | Speech + open-vocabulary free-form behavior |
자료: STORIUM 정리
결국 이 작업은 자연영상 전반을 하나의 ‘세계+사건 흐름’ 문제로 다시 정의하고, 그 위에 실시간 음성·행동 응답을 얹은 형태다. 논문은 이 틀을 로밍, 오디오-비주얼 상호작용, embodied manipulation으로 확장 가능하다고 서술하지만, 이번 연구에서 체계적으로 다룬 다운스트림은 실시간 풀듀플렉스 오디오-비주얼 상호작용 하나다.
연구 원문은 arXiv:2607.15038에서 확인할 수 있다. 프리프린트 결과는 동료평가와 후속 재현을 거치며 달라질 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
