중국 베이징 인공지능연구원(BAAI)이 ‘세계 파운데이션 모델(world foundation model)’을 표방한 오르카(Orca)를 공개했다. 오르카는 다음 토큰이나 다음 영상 프레임, 다음 로봇 동작을 예측하는 오늘날 주류 방식에서 벗어나, 세계의 다음 ‘상태’를 추상적인 내부 표현으로 예측한다. 연구팀은 기술 보고서에서 언어 모델이나 영상 생성기, 로봇 제어기 같은 특화된 예측 모델이 아니라, 세계가 어떻게 변하는지에 대한 일반적 이해를 쌓아 다양한 과제의 토대로 삼는 모델이 필요하다고 주장했다.
오르카는 두 가지 학습 방식을 결합한다. ‘무의식 학습’은 자막이 없는 원본 영상만 사용해, 한 이미지를 보고 다음 이미지가 어떤 모습일지를 픽셀이 아닌 추상 공간에서 예측하며 움직임 패턴과 가림 현상, 장면 변화를 익힌다. ‘의식 학습’은 영상을 구간별로 나눠 상태 변화 설명을 붙여, 특정 행동이 일어날 때 상태가 어떻게 바뀌는지를 배우게 한다. 사전학습된 언어·이미지 모델 Qwen3.5가 기반이 되며 학습 이후에는 이 핵심부를 고정한 채, 출력 형태별로 별도의 소형 모듈을 붙인다. 텍스트는 Qwen3.5의 언어 헤드를, 이미지는 스테이블 디퓨전 3.5를 그대로 쓰고, 로봇 동작은 ‘액션 익스퍼트(Action Expert)’라는 별도 제어 모듈이 담당한다.
학습에는 영상 12만5000시간, 사건 설명 1억6000만 건, 질의응답 쌍 1150만 건이 투입됐으며, 현재 버전에는 영상 데이터의 10분의 1만 사용됐다. 모델은 8억·40억 파라미터 두 규모로 학습됐다. 텍스트 벤치마크에서 오르카-4B는 MVBench·TemporalBench 등 4개 항목 평균 51.8%로 비교 대상 소형 VLM 가운데 가장 높은 성적을 냈고, 훨씬 큰 월드모델 Emu3(80억)·Emu3.5(340억)를 평균에서 앞섰다. 이미지 예측용 자체 벤치마크 PRICE-V0.1에서는 ‘전자레인지를 닫아라’ 같은 지시의 결과 이미지를 생성하는 과제에서 평균 59.8%를 기록해, FLUX.2 스몰(56.1%) 등 전용 이미지 생성기를 웃돌았다.
가장 주목받는 대목은 로봇 제어다. 바퀴 달린 양팔 휴머노이드 로봇으로 책 정리, 그릇 쌓기, 설탕 뜨기 등 5개 조작 과제를 수행한 결과, 오르카는 로봇 데이터로 특화 제작된 시스템 π0.5와 대등한 성능을 보였다. 오르카의 기반 모델은 사전학습 단계에서 어떤 움직임이 어떤 이미지에 대응하는지를 한 번도 본 적이 없으며, 실제 제어를 위해서는 과제당 200건의 실제 녹화 데이터로 별도 제어 모듈만 나중에 학습시켰다. 연구팀은 오르카가 잡기에 실패한 뒤 다시 시도하는 오류 복구 능력에서도 우위를 보였다며, 이 방식이 로보틱스가 겪는 만성적인 라벨 데이터 부족을 완화할 실마리가 될 수 있다고 봤다.
다만 한계도 뚜렷하다. 오르카는 아직 이미지와 텍스트만 학습해 소리·힘·촉각은 다루지 못하고, 시각 예측도 자체 세계 공간을 처음부터 학습하는 대신 기존 이미지 인코더의 공간에서 이뤄진다. 8억·40억 파라미터 규모는 완전한 세계 모델링에는 작다는 평가다. 월드모델을 어떻게 정의할지는 학계에서 여전히 논쟁 중이며, 칭화대 벤치마크에서는 소라 2와 비오 3.1조차 물리적으로 그럴듯한 장면 전개에 어려움을 겪는 것으로 나타났다. BAAI는 다양한 신호를 처음부터 학습하는 네이티브 월드모델을 최종 목표로 제시했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
