구글이 10일 텍스트 디퓨전(text diffusion) 방식 대규모 언어 모델인 DiffusionGemma를 오픈소스로 공개했다. 회사 측에 따르면 이 모델은 기존 LLM(대규모 언어 모델) 대비 텍스트 생성 속도가 4배 빠르면서도 RAM 사용량이 적어 소비자용 고급형 GPU에서도 구동할 수 있다.
DiffusionGemma의 핵심은 이미지 생성 AI가 사용하는 디퓨전 방식을 텍스트에 적용한 아키텍처에 있다. 기존 LLM이 토큰(token)을 한 번에 하나씩 생성하는 반면, DiffusionGemma는 먼저 무작위 단어로 채운 플레이스홀더 응답을 생성한 뒤 점진적으로 실제 단어로 교체하는 방식을 반복한다. 이를 통해 256개의 토큰을 한 번에 병렬 생성할 수 있어 속도 우위가 생긴다. 구글에 따르면 엔비디아(NVIDIA)의 서버급 GPU인 H100 단일 카드에서 초당 1,000개 이상의 토큰을 생성하며, 소비자용 지포스 RTX 5090에서도 초당 700개 이상을 처리한다.
메모리 효율 역시 이 모델의 강점이다. DiffusionGemma는 260억 개의 파라미터를 보유하지만 실제 응답 시에는 38억 개만 활성화하는 전문가 혼합(MoE, Mixture-of-Experts) 아키텍처를 채택해 메모리 부담을 줄였다. 여기에 NVFP4라는 경량 데이터 포맷을 적용해 RAM 소비를 추가로 낮췄다. 모델 기반은 구글이 올해 4월 공개한 Gemma 4 26B A4B이며, 기존 어텐션(attention) 모듈을 양방향 문맥을 처리하는 새 모듈로 교체해 디퓨전 방식을 구현했다.
구글 연구과학자 브렌던 오도노휴(Brendan O’Donoghue)와 세바스티안 플레너한(Sebastian Flennerhag)은 공식 블로그를 통해 “AI 연구 커뮤니티는 수년간 디퓨전 기반 텍스트 생성을 탐구해 왔지만 대형 모델에 적용하는 것은 여전히 도전 과제였다”며 “DiffusionGemma는 모델이 하드웨어를 활용하는 방식 자체를 전환함으로써 이 문제를 해결한다”고 밝혔다. 해당 모델은 현재 허깅페이스(Hugging Face)에서 오픈소스 라이선스로 누구나 내려받을 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
