3D 게임에서 여러 공간을 포털로 오가게 만드는 작업은 생각보다 손이 많이 간다. 문과 계단, 컷신 같은 전환 요소가 양쪽 장면에서 서로 맞아야 하고, 가구를 채워 넣은 뒤에도 통로가 막히지 않아야 하며, 파일이 여러 개로 나뉜 상태에서도 연결 관계가 어긋나지 않아야 해서다. 이 논문은 그런 다중 장면 내비게이션을 자연어 한 줄에서 출발해 자동으로 구성하는 시스템 MAGIC을 제안한다. 대상은 동료검토 전 arXiv 프리프린트이며, 단일 장면 생성이 아니라 서로 연결된 실행 가능한 멀티씬 프로젝트를 만드는 데 초점을 둔다.
MAGIC은 네 단계로 움직인다. 먼저 LLM이 사용자의 질의를 장면별 설명과 전환 인식 중간표현으로 나눈다. 이어 각 장면을 따로 구체화하면서, 2D 점유 격자 위 flood-fill 검사를 통해 포털까지 도달 가능한지 확인한다. 세 번째 단계에서는 Unity용 자산과 전환 스크립트를 생성하고, 마지막으로 장면별 프로젝트를 하나의 멀티씬 프로젝트로 합친다. 기존의 단일 장면 지표는 전환을 실행해 보지 않기 때문에, 연구진은 전환 중심 평가 에이전트도 추가했다. 이 에이전트는 패키징된 Unity 프로젝트에서 실제 전환을 실행하며 정밀도, 재현율, F1, 접근률, 포털 일치율을 계산한다.
실험은 MIT Indoor 67과 MMIS에서 구성한 100개 멀티씬 사례로 진행됐다. 논문은 단계별 평가와 종단간 평가를 나눠 확인했으며, 비교 대상으로는 LLM 기반 기준선과 Holodeck을 사용했다. 설정상 GPU는 필요하지 않았고, 실험은 macOS와 Windows에서 수행됐다. 한 장면당 중앙값 소요 시간은 33.35분, 평균은 46.36분으로 보고돼 일부 사례에서 시간이 길어지는 분포를 보였다.
핵심 수치는 종단간 전환 평가에서 나왔다. MAGIC은 100개 사례 모두에 대해 실행 가능한 프로젝트를 만들었고, 전환 식별에서 정밀도 0.99, 재현율 0.95, F1 0.96을 기록했다. 단계별 분석에서는 진짜 포털을 더 많이 복원하고, LLM 기준선과 Holodeck보다 더 이동 가능한 레이아웃을 산출했다고 정리했다. 장면 계획 단계에서는 장면 설명과 전환 그래프를, 장면 명세 단계에서는 포털의 정확성과 물리적 도달 가능성을, 장면 생성 단계에서는 Unity에서 실행되는 전환 스크립트를 각각 따로 점검했다.
방법론의 특징은 전환을 단순한 부가 정보가 아니라 생성 과정 전반에 걸친 제약으로 다룬다는 점이다. 전환 관계는 방향이 아닌 무방향, 효과가 붙은 간선으로 저장되고, 포털은 문과 창문처럼 연결 객체와 일반 객체로 나뉘어 검증된다. 또 포털이 벽 가까이에 있더라도 실제 Unity 씬에서 충돌체와 맞물리도록 위치를 보정하며, flood-fill로 막힘을 반복 점검해 도달 불가능한 배치를 걸러낸다. 논문은 이런 설계가 단일 장면 생성기들이 놓치던 장면 간 일관성, 장면 내부 이동성, 전환 검증의 세 문제를 함께 다룬다고 설명한다.
| 항목 | 수치/구성 | 근거 위치 |
|---|---|---|
| 평가 벤치마크 | 100개 멀티씬 사례; MIT Indoor 67과 MMIS를 결합 | IV.C Benchmark Test Cases |
| 종단간 전환 성능 | precision 0.99, recall 0.95, F1 0.96 | Abstract; Section IV-D.4 |
| 실험 시간 | median 33.35분/scene, mean 46.36분/scene | Section IV-B Experimental Setup |
| 도구·비교군 | MAGIC은 GPT-4.1-mini-2025-04-14 사용, LLM baseline은 GPT-4.1, Stage 2는 HOLODECK 비교 | Section IV-B, IV-D.2 |
자료: STORIUM 정리
다만 저자들 스스로도 적용 범위의 한계를 남겼다. 현재는 실내 장면과 두 가지 전환 효과(FadeInOut, IrisWipe)에 맞춰져 있고, 멀티모달 입력이나 사용자 개입, Unity 외 엔진 확장은 후속 과제로 제시된다. 그럼에도 이번 결과는 자연어에서 시작해 연결된 3D 게임 세계를 설계·생성·실행 검증까지 이어 붙일 수 있음을 보여준 사례로 읽힌다.
1차 출처: https://arxiv.org/abs/2607.11594
저작권자 © STORIUM 무단전재 및 재배포 금지
