서로 다른 컴퓨터 비전 작업을 하나의 멀티모달 생성 모델로 통합해 처리하는 새로운 접근법이 공개됐다. 연구진은 arXiv에 게재한 논문에서 컴퓨터 비전을 ‘통합 멀티모달 생성’ 문제로 재정의한 ‘센스노바-비전(SenseNova-Vision)’을 소개했다. 기존처럼 작업마다 별도의 신경망 구조를 만드는 대신, 다양한 시각 과제를 하나의 멀티모달 모델이 다루는 텍스트·이미지 생성 공간 안에서 표현하도록 설계한 것이 핵심이다.
이 모델은 자연어 지시문과 선택적인 시각 프롬프트를 입력받아 어떤 작업을 수행할지, 어느 영역이나 시점을 대상으로 삼을지, 결과를 어떤 방식으로 내놓을지를 지정한다. 출력 형태도 유연하다. 기호적 결과가 필요하면 텍스트로, 조밀한 공간 예측이 필요하면 이미지로, 두 성질이 섞인 과제라면 텍스트와 이미지를 함께 생성한다. 별도의 예측 헤드나 구조 변경 없이 하나의 모델이 객체 탐지, 광학 문자 인식(OCR), 키포인트 추정, 분할, 깊이 추정, 표면 법선 예측, 포인트 맵, 카메라 자세 추정까지 폭넓게 다룬다.
대규모 학습을 위해 연구진은 다양한 컴퓨터 비전 주석 데이터를 이 생성 공간에 맞는 ‘지시-응답’ 형태로 변환했다. 그렇게 만들어진 ‘센스노바-비전 코퍼스’는 텍스트·이미지·혼합 목표를 아우르는 컴퓨터 비전 지시-응답 데이터 모음이다. 모델은 이미 사전학습된 범용 멀티모달 모델에서 출발해 주로 이 코퍼스로 학습되며, 능력 보존을 위한 보조 멀티모달 데이터가 섞여 들어간다. 연구진은 이 과정에서 작업별 예측 헤드나 구조적 수정이 필요하지 않다고 밝혔다.
연구진은 실험을 통해 단일 통합 모델이 구조적 시각 이해, 조밀한 기하 예측, 분할, 다시점 시각 기하 등 여러 영역에서 각 작업에 특화된 선도적 시스템에 필적하는 성능을 냈다고 설명했다. 이는 통합 멀티모달 생성이 컴퓨터 비전 능력을 범용 파운데이션 모델에 통합하는 확장 가능한 경로가 될 수 있음을 시사한다. 연구진은 모델과 코퍼스를 공개적으로 이용할 수 있도록 배포했다고 덧붙였다.
