구글이 오픈 모델 젬마(Gemma) 4에 멀티토큰 예측(MTP) 기법을 결합해 추론 속도를 품질 저하 없이 최대 3배까지 끌어올렸다. MTP 드래프터는 추측적 디코딩(speculative decoding)을 활용해 여러 토큰을 한 번에 미리 생성하고, 본체 모델이 이를 단일 처리 과정에서 한꺼번에 검증하는 방식이다. 최종 검증은 젬마 4 본체가 맡기 때문에 답변 품질은 그대로 유지된다고 구글은 설명했다.
이 기법이 겨냥하는 것은 대규모 언어 모델(LLM)의 고질적인 메모리 대역폭 병목이다. 추론 과정에서 프로세서는 토큰을 하나 만들 때마다 수십억 개에 이르는 매개변수를 그래픽 메모리(VRAM)에서 연산 장치로 반복해 옮기는 데 대부분의 시간을 쓴다. 이 잦은 데이터 이동이 지연을 키우고 연산 자원을 놀게 만드는데, 특히 소비자용 하드웨어에서 문제가 두드러진다. 모델이 뻔한 계산이든 복잡한 논리 퍼즐이든 같은 양의 연산을 쓴다는 비효율도 여기에 겹친다. MTP 드래프터는 무거운 본체 모델 옆에서 작동하는 경량 보조 모델로, 본체가 토큰 하나를 처리하는 시간 안에 놀고 있는 연산력으로 여러 미래 토큰을 동시에 예측해 이 빈틈을 메운다.
구글은 다양한 기기 환경을 겨냥해 변형을 내놨다. 개인용 컴퓨터와 소비자용 그래픽처리장치(GPU)에서는 젬마 26B MoE와 31B 밀집 모델이, 모바일 기기에서는 E2B·E4B 변형이 MTP 드래프터와 함께 돌아간다. 구글은 본체 모델이 같은 정확도와 추론 능력을 유지하면서 응답만 훨씬 빨라진다고 강조했다. 이를 위해 일련의 아키텍처 개선과 하드웨어별 최적화를 적용했다고 밝혔다.
다만 기술 자체의 한계도 지적된다. MTP는 새로운 기법이 아니며 본체와 드래프터 두 모델을 메모리에 동시에 올려야 한다는 단점이 있다. 젬마 4 구현의 진전은 드래프터가 본체 모델의 KV 캐시를 공유해 이 부담을 효과적으로 줄였다는 점이라는 평가가 나온다. 또 MTP는 사용자가 한둘에 그쳐 연산이 남아도는 모바일·엣지 환경에서 이득이 크고, 대규모 응용프로그래밍인터페이스(API) 제공 사업자에게는 효용이 제한적이라는 분석도 제기됐다. MTP를 지원하는 젬마 4 변형은 허깅페이스, 캐글, 올라마(Ollama) 등 여러 플랫폼에서 내려받을 수 있다. 오픈 모델 진영에서 추론 효율을 높이려는 경쟁이 본격화하는 가운데, 한국 개발자와 온디바이스 AI 진영에도 의미 있는 선택지가 될 전망이다.
