텍스트-비디오 생성 모델의 사전학습 표현을 여러 시각 인식 작업에 재사용한 ‘GenCeption’ 연구가 공개됐다. 연구진은 비디오 생성 과정에서 학습한 시간·공간 정보와 텍스트 정렬이 깊이, 표면 방향, 카메라 자세, 분할, 3차원 키포인트 예측을 위한 공통 기반이 될 수 있는지 평가했다.
GenCeption은 사전학습된 비디오 확산 모델을 반복 생성기가 아닌 한 번의 순전파로 결과를 내는 인식 모델로 바꾼다. 작업별 별도 헤드 대신 텍스트 지시로 출력 종류를 지정하고, 주로 합성 데이터로 여러 작업을 함께 후속 학습했다. 하나의 구조와 손실 체계에서 서로 다른 픽셀·기하 작업을 처리하는 방식이다.
연구진은 깊이와 표면 법선, 카메라 자세, 표현 참조 분할, 3차원 키포인트 등 여러 데이터셋에서 Depth Anything 3, SAM 3, D4RT, VGGT-Ω, Sapiens 등 작업 특화 모델과 비교했다. 같은 모델 크기와 미세조정 데이터 조건에서는 V-JEPA와 VideoMAE V2 기반 표현보다 비디오 생성 사전학습 백본이 높은 성능을 보였다고 보고했다.
깊이 추정 비교에서는 D4RT·VGGT-Ω와 비슷한 결과를 7배에서 500배 적은 후속 학습 데이터로 냈다는 것이 논문의 주장이다. 또한 합성 인간 영상만으로 훈련한 모델이 실제 영상과 학습 밖의 동물·로봇 범주에도 반응하는 사례를 제시했다. 논문은 이를 초기 규모 확장성과 데이터 효율의 증거로 설명한다.
다만 7~500배는 서로 다른 선행 모델의 학습 데이터량을 기준으로 한 범위이며, 모든 작업의 동일 조건 비교를 뜻하지 않는다. 합성에서 실제 영상으로의 전이는 제한된 벤치마크 결과이고, 안전이 중요한 로봇 인식이나 개방 환경의 신뢰성을 입증하지 않는다. 생성 사전학습에 사용한 원자료와 계산량의 영향도 후속 학습량만으로는 비교하기 어렵다.
| 평가 축 | 논문에서 확인한 범위 |
|---|---|
| 시각 과제 | 깊이·표면 법선·카메라 자세·참조 분할·3D 키포인트 |
| 비교 백본 | V-JEPA·VideoMAE V2 |
| 데이터 효율 주장 | D4RT·VGGT-Ω 대비 7~500배 적은 후속학습 데이터 |
| 조건 | 과제·비교 모델별 범위이며 동일 조건 전체 비교가 아님 |
| 공개 상태 | 2026년 7월 arXiv v1·동료검토 전 |
논문은 ECCV 2026으로 표기됐으며 2026년 7월 10일 arXiv v1로 공개됐다. 정식 심사 결과와 독립 재현 전에는 비디오 생성 모델이 범용 시각 지능을 확립했다기보다, 하나의 공통 인식 백본으로 여러 작업에서 경쟁력 있는 결과를 낸 연구로 해석할 필요가 있다. 이 결과는 동료 검토 전 프리프린트에 담긴 연구진의 보고이므로 후속 검증이 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
