대규모 텍스트-이미지 생성모델이 학습 과정에서 축적한 시각 지식을, 이미지를 새로 그려내는 것이 아니라 각 픽셀의 정확한 값을 읽어내는 조밀 예측(dense prediction) 작업에 직접 활용하는 방법이 제시됐다. 연구진은 arXiv에 공개한 논문에서 ‘ReChannel’이라는 기법을 소개하며, 생성모델의 사전학습이 의미·구조·기하 정보를 폭넓게 담고 있어 깊이 추정이나 분할 같은 과제에 유용한 토대가 된다고 설명했다.
연구진은 기존 접근의 한계를 지적한다. 지금까지는 깊이, 표면 법선, 알파 매트, 마스크, 히트맵 같은 예측 결과를 생성모델처럼 다뤄, 이를 VAE 잠재 공간에 인코딩한 뒤 이미지 형태로 다시 디코딩하는 방식이 많았다. 그러나 조밀 예측은 새 이미지를 렌더링하는 것이 아니라 같은 이미지 평면 위에서 픽셀 단위로 정확한, 과제에 맞는 값을 요구한다는 것이 연구진의 문제의식이다. 생성 인터페이스를 지나치게 그대로 빌려 쓰면 이 요구와 어긋난다는 지적이다.
연구진의 착안점은 사전학습된 확산 트랜스포머(DiT)가 이미 이미지를 ‘패치-토큰-패치’ 격자 구조로 다룬다는 사실이다. 각 토큰이 고정된 패치를 나타내므로, 그 패치에 RGB 값 대신 과제 데이터를 담을 수 있다는 것이다. ReChannel은 VAE 인코더는 유지하되 디코더는 제거하고, 고정된 DiT에 과제용 LoRA를 붙인 뒤, 토큰을 출력 패치로 대응시키는 공유 토큰-지역 선형 헤드를 둔다. 이 헤드는 약 3만3천 개 수준의 파라미터만 쓰며 공간적 혼합을 하지 않는다.
연구진은 FLUX-Klein 모델을 기반으로 여섯 가지 조밀 예측 과제와 여러 벤치마크에서 시험한 결과, 트라이맵 없는 매팅, KITTI 깊이 추정, 참조 분할에서 최상위 성능을 냈고 법선·현저성·자세 추정에서도 경쟁력을 유지했다고 밝혔다. 특히 4B 규모 파라미터를 동일하게 맞춘 비교에서 편집 후 잠재 디코딩을 거치는 대안보다 성능이 앞섰고 실행 속도는 2.48배 빨랐다. 연구진은 조밀 인식이 생성 사전학습의 이점을 취하되, 그 출력 방식 전체를 그대로 따라갈 필요는 없음을 보여준다고 설명했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
