KAIST·중앙대, 토큰별 접선공간 제어 3D 편집법 ‘TanGO’ 제안

3D 모델을 글로 고치는 일은 바꾸려는 부분만 건드리면서도 나머지 형상과 정체성을 지켜야 한다는 점에서 까다롭다. KAIST와 중앙대 소속 Siwoo Lim, Sunjae Yoon, Gwanhyeong Koo, Hyeonseo Yun, Chang D. Yoo의 논문은 2026년 7월 16일 arXiv v1으로 공개됐으며, arXiv Comments에는 ECCV 2026으로 표시돼 있다. 연구진은 VecSet 계열 3D 생성모델의 토큰 구조에서 이 문제를 다룬다.

논문은 기존 학습 없는 3D 편집이 소스와 타깃의 속도장 차이를 모두 같은 세기로 밀어 전체 토큰을 함께 흔들기 때문에, 보존할 영역까지 무너지거나 수정이 덜 되는 문제가 생긴다고 본다. 이에 TanGO는 생성 동역학의 접선공간에서 토큰별 제어를 수행하고, 소스와 타깃 속도장 사이의 방향 차이로 각 토큰의 제어 강도를 정한다.

연구진은 Hunyuan3D 2.1의 토큰이 전역적으로 상호작용하더라도 실제 기하학적 영향은 국소적이라는 점을 관찰했다. 이 모델은 N=4096개의 토큰을 사용하며, 여러 물체 범주에서 활성 토큰 수는 전체 예산보다 적고 국소성 점수는 대체로 0.96 이상에 모였다. 논문은 이 특성 때문에 수정 토큰은 강하게, 보존 토큰은 약하게 작동시키는 방식이 필요하다고 설명한다.

실험에서 TanGOEdit는 정확히 100개의 고품질 편집 샘플로 구성됐다. 주 평가에서 TanGO는 MVEdit, EditP23, FlowEdit, AnchorFlow와 비교해 DINO-I 0.6510, CLIP-I 0.7679, CLIP-T 0.2301을 기록했다. 추가 마스크 인지 3D 평가는 별도의 150개 샘플 벤치마크에서 진행됐으며, 그중 100개는 Edit3DBench, 50개는 Blender로 주석한 TanGOEdit 샘플이었다. 이때 TanGO는 MVEdit, EditP23, FlowEdit, AnchorFlow, VoxHammer, Nano3D와 비교해 DINO-I 0.6623, CLIP-I 0.7718, CLIP-T 0.2388, Uni3Dtxt 0.2593, CDpreserve 0.0295, NCpreserve 0.5835를 보였다.

사용자 연구는 22명이 참여했고, 20개의 text-driven 3D 편집 쌍을 2AFC 방식으로 평가했다. TanGO는 AnchorFlow보다 프롬프트 정합성 79%, 시각 품질 84%, 형상 보존 87% 선호를 얻었다. 편집 시간은 28.73초로 FlowEdit 28.13초와 비슷했고, AnchorFlow 28.76초, EditP23 59.32초, MVEdit 632.45초보다 짧았다.

한계도 분명하다. 이 방법은 사전학습된 3D 생성모델의 잠재공간 안에서만 작동하므로, 보존 세부의 상한은 VAE 복원 성능에 묶인다. 또한 풍차 날개나 파라솔처럼 매우 얇고 복잡한 구조에서는 구조 붕괴나 지시 미반영이 남을 수 있다. 논문은 같은 토큰별 접선공간 제어를 TripoSG에도 적용해 AnchorFlow보다 나은 결과를 얻었다고 보고했다.

자료: STORIUM 정리

저작권자 © STORIUM 무단전재 및 재배포 금지