구글 딥마인드(Google DeepMind)가 텍스트 확산(text diffusion) 방식을 도입한 실험적 오픈 모델 DiffusionGemma를 아파치 2.0 라이선스로 공개했다. 이 모델은 기존 자동회귀(autoregressive) 대규모 언어 모델(LLM)의 순차적 토큰 생성 방식 대신 256개 토큰 블록을 동시에 생성하며, 전용 GPU에서 최대 4배 빠른 텍스트 생성 속도를 달성한다.
DiffusionGemma는 총 260억 개 파라미터를 보유한 혼합 전문가(MoE) 아키텍처 모델로, 추론 시에는 38억 개 파라미터만 활성화된다. 양자화 적용 시 고급 소비자용 GPU의 18GB VRAM 내에서 구동 가능하다. 구글 Gemma 4 계열의 인텔리전스와 Gemini Diffusion 연구를 기반으로 설계된 새로운 확산 헤드를 결합해 생성 속도를 극대화했다. 단일 NVIDIA H100에서 초당 1,000개 이상, NVIDIA GeForce RTX 5090에서 초당 700개 이상의 토큰을 출력한다고 구글은 밝혔다. 이 속도 향상은 메모리 대역폭 병목을 컴퓨팅 병목으로 전환해 GPU 활용률을 높이는 원리에서 비롯된다.
기존 언어 모델이 왼쪽에서 오른쪽으로 한 토큰씩 생성하는 것과 달리, DiffusionGemma는 무작위 플레이스홀더 토큰 캔버스에서 시작해 여러 번의 반복적 정제 과정을 거쳐 텍스트로 수렴한다. 이 양방향 어텐션 구조는 인라인 편집, 코드 인필링(in-filling), 아미노산 서열, 수학 그래프처럼 순차적이지 않은 작업에 강점을 갖는다. 다만 구글은 출력 품질이 표준 Gemma 4보다 낮아 최고 품질이 요구되는 프로덕션 환경에는 표준 모델을 권장한다고 명시했다. 클라우드 고QPS(쿼리 초당 처리량) 서빙 환경에서는 오히려 비용이 높아질 수 있다는 점도 함께 밝혔다.
모델 가중치는 허깅페이스(Hugging Face)에서 즉시 내려받을 수 있으며, Hugging Face Transformers, vLLM, MLX와 호환된다. 파인튜닝은 구글의 JAX 툴박스 Hackable Diffusion과 Unsloth, NVIDIA NeMo를 통해 지원된다. llama.cpp 지원도 예정돼 있다. NVIDIA는 GeForce RTX 5090·4090용 양자화 최적화와 Hopper·Blackwell 서버 아키텍처 최적화를 담당했으며, NVFP4(4비트 부동소수점) 커널 지원을 통해 연산 처리량을 높였다. Gemini Enterprise Agent Platform Model Garden과 NVIDIA NIM을 통한 클라우드 접근도 가능하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
