AI 스타트업 Zyphra가 12일 하이브리드 아키텍처 기반의 오픈 비전언어모델(VLM, Vision-Language Model) 패밀리 Zamba2-VL을 공개했다. 1.2B, 2.7B, 7B 세 가지 크기로 출시된 이 모델은 기존 순수 트랜스포머(Transformer) 계열 VLM 대비 첫 번째 토큰 생성 지연 시간(TTFT, Time-to-First-Token)을 약 10배 가량 낮춘 것이 핵심 특징이다.
Zamba2-VL의 언어 모델 백본은 맘바2(Mamba2) 상태공간(SSM, State-Space Model) 레이어와 소수의 공유 트랜스포머 어텐션 블록을 혼합한 구조다. 맘바2 레이어는 시퀀스 길이에 비례해 선형 시간으로 동작하고 고정 크기 재귀 상태를 유지하므로, 입력 길이에 따라 계산량이 제곱으로 늘어나는 전통적 어텐션 방식과 달리 긴 멀티모달 입력에서 효율이 크게 높아진다. 비전 인코더로는 Qwen2.5-VL의 비전 트랜스포머(ViT)를 채택했으며, 2D 회전 위치 임베딩과 동적 해상도 처리를 지원한다. 학습에는 공개 웹 데이터셋에서 수집한 1,000억 토큰 분량의 시각-텍스트 및 순수 텍스트 데이터가 사용됐다.
Zyphra가 VLMEvalKit 기반의 자체 평가 방식을 통해 14개 벤치마크에서 측정한 결과, 2.7B 모델의 DocVQA(문서 시각 질문 답변) 점수는 90.9, PixMoCount(시각적 객체 계수) 점수는 82.5로 같은 크기의 InternVL3.5-2B(각각 89.4·32.8)와 Qwen3-VL-2B(각각 93.3·55.7)에 비해 계수 과제에서 두드러진 강세를 보였다. 반면 지식 추론 영역에 해당하는 MMMU와 MathVista에서는 동급 및 대형 비교 모델에 뒤처져 고른 성능보다는 특화된 강점을 가진 것으로 평가된다. 32K 토큰 프리필 환경에서는 비교 대상인 어떤 트랜스포머 VLM도 Zamba2-VL과 유사한 지연 시간에서 동등한 점수를 기록하지 못했다는 것이 Zyphra의 설명이다.
모델 가중치와 추론 코드는 아파치(Apache) 2.0 라이선스로 허깅페이스(Hugging Face)에 공개됐다. Zyphra 측은 이 모델이 스마트폰과 엣지 디바이스를 겨냥한 1.2B 소형 모델부터 서버급 7B 모델까지 커버하며, 문서·청구서 파싱, 재고 계수, 멀티페이지 PDF 처리 등 현장 응용에 적합하다고 밝혔다. 다만 최적화된 맘바2 커널 구동에는 CUDA GPU가 필수이며, CPU 경로는 속도가 느리다는 점은 제한 사항으로 남는다.
저작권자 © STORIUM 무단전재 및 재배포 금지
