구글이 3일(현지시간) 온디바이스 멀티모달 오픈웨이트 모델 ‘젬마 4 12B(Gemma 4 12B)’를 출시했다. 약 119억5000만 개의 매개변수를 갖춘 디코더 전용 트랜스포머(Transformer) 모델로, 텍스트·이미지·오디오·비디오 입력을 단일 아키텍처 안에서 처리하며 일반 소비자용 노트북에서도 구동할 수 있도록 설계됐다.
이 모델의 가장 큰 기술적 특징은 별도의 비전 인코더와 오디오 인코더를 제거한 ‘인코더 없는(Encoder-Free)’ 통합 구조다. 기존 멀티모달 AI는 이미지와 음성을 각각의 인코더로 처리한 뒤 언어 모델에 전달하는 방식을 썼다. 젬마 4 12B는 이 중간 단계를 없애고, 이미지는 48×48 픽셀 단위 패치로 분할한 뒤 단 한 번의 행렬 곱셈으로 LLM(대규모 언어 모델) 임베딩 공간에 투영하는 방식을 택했다. 오디오 역시 16kHz 원시 음성 신호를 직접 텍스트 토큰과 같은 임베딩 공간에 투영하며, 시간 순서 정보는 모델이 기본으로 사용하는 RoPE(회전 위치 임베딩)가 담당한다. 이 구조 덕분에 추론 지연과 메모리 사용량이 줄고, 이미지·음성·텍스트 모듈을 따로 조정할 필요 없이 모델 하나만 미세조정하면 된다.
젬마 4 12B는 경량 모델 젬마 4 E4B와 고성능 전문가 혼합(MoE) 모델 젬마 4 26B A4B 사이를 잇는 위치다. 16GB VRAM 또는 통합 메모리 환경에서 로컬 실행이 가능하고, 25만6000 토큰의 대규모 컨텍스트 창을 지원해 장문 문서·코드 저장소·회의록을 한 번에 처리할 수 있다. 성능은 260억 매개변수 규모의 젬마 26B MoE에 근접한다고 구글은 밝혔다. 음성인식(ASR)·화자 구분·비디오 이해·코드 생성·함수 호출·단계별 추론(Thinking Mode) 등을 기본 제공하며, 에이전트 개발자를 위한 공식 스킬 저장소 ‘젬마 스킬(Gemma Skills)’도 함께 공개됐다.
젬마 4 12B는 아파치 2.0 라이선스로 배포되며 허깅페이스(Hugging Face)와 캐글(Kaggle)에서 가중치를 내려받을 수 있다. 인코더 제거라는 설계 선택은 LLM 본체가 더 무거운 연산 부담을 지게 되고 시각 정보의 세부 인식 능력이 저하될 수 있다는 트레이드오프를 수반하지만, 구글은 모델 백본 규모를 키워 이 한계를 만회했다고 설명했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
