arXiv 프리프린트로 올라온 WanToFight는 키보드 입력만으로 2인 대전 격투 게임 The King of Fighters ’97의 진행 화면을 실시간으로 생성하는 엔진을 제시한다. 기존 생성형 게임 엔진이 단일 시점 1인 플레이나 비실시간 협동 상황에 머문 것과 달리, 이 시스템은 다중 플레이어 제어와 실시간 추론, 복잡한 물리 상호작용, 적대적 전투를 한 묶음으로 다루도록 설계됐다. 핵심은 Wan-1.3B 비디오 확산 트랜스포머 위에 얹은 세 구성요소다. 먼저 스트리밍 자기회귀 생성기는 블록 인과 주의와 롤링 KV 캐시로 연속 출력을 이어가며, 다음으로 Player Association 모듈은 각 플레이어의 입력을 참조 이미지로 정의한 캐릭터 정체성과 연결한다. 여기에 게이트가 달린 국소 인과 키보드 주입을 더해, 빠르게 몰아치는 입력 스트림에서도 시각적으로 의미 없는 신호를 걸러낸다.
연구팀은 입력-영상 쌍 데이터를 모으기 위해 세 단계를 썼다. 수 시간 분량의 수동 녹화로 시작해, 과거 키 상태를 바탕으로 다음 키 상태를 예측하는 소형 자기회귀 정책을 학습했고, 이를 실제 게임에 다시 주입해 프레임 정렬된 자동 재생·녹화를 수행했다. 학습 대상은 이동, 점프, 앉기, 기본 공격 등 기초 동작에 집중했고, 고급 콤보와 캐릭터 전용 특수기술은 제외했다.
모델은 세 단계로 훈련됐다. 161프레임, 대략 20개 청크 길이의 시퀀스로 양방향 사전학습을 한 뒤, 청크 단위 블록 인과 구조로 바꿔 스트리밍 추론을 가능하게 했다. 이어 4단계 DMD 증류와 VAE 디코더 구조적 경량화를 거쳐 512×384 해상도에서 단일 NVIDIA RTX 5090으로 30FPS를 유지했다고 보고한다. 논문은 2026년 7월 14일 공개된 동료검토 전 arXiv v1 프리프린트다.
실험은 두 축으로 나뉜다. 하나는 500개 입력 시퀀스에 대한 액션 정확도와 설계 절제 비교로, 기본 단일 행동 150개, 복합 단일 행동 100개, 접촉 없는 2인 시퀀스 100개, 접촉이 있는 2인 시퀀스 150개를 포함했다. 완전한 KOF ’97 렌더를 정답 영상으로 다시 생성한 뒤 LPIPS, SSIM, DINOv2 cosine similarity를 평균 비교했으며, 4단계 학생 모델은 다단계 교사와 LPIPS 0.02, SSIM 0.03, DINOv2 0.03 이내 차이를 보였다고 적었다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 실시간 생성 설정 | 2인 KOF ’97, 512×384, 30 FPS, 단일 NVIDIA RTX 5090 | Abstract; Sec. 4.1 |
| 액션 정확도 시험군 | 500개 시퀀스: 150 기본 단일 행동, 100 복합 단일 입력, 100 비접촉 2인, 150 접촉 2인 | Sec. 4.5 / Table 2 |
| 정체성 바인딩 시험군 | 500개 시퀀스: static 100, jump-over 100, chase 100, overlap/occlusion 100, >60초 long sessions 100 | Sec. 4.5 |
| 장기 생성 길이 | 약 2분 매치, 훈련 길이 161프레임(약 5.4초) 초과 | Sec. 4.4 |
자료: STORIUM 정리
다른 축은 2인 정체성 바인딩의 유지다. 500개 시험 시퀀스에서 static position, 점프 오버, 추적, 시각적 겹침·부분 가림, 60초를 넘는 장시간 세션을 포함해 점검했고, Player Association을 제거한 기준선은 위치가 고정된 경우에만 84% 수준을 보인 반면, 제안 기법은 교차·겹침·장시간 조건에서 91% 이상을 유지했다. 연구팀은 약 2분짜리 매치 동안 시각적 열화를 크게 보지 않았다고 보고하지만, 더 긴 구간에서는 누적 오차가 남는다고 제한점을 밝혔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
