엔비디아가 기존 대규모 언어모델(LLM)의 텍스트 생성 방식을 바꾸는 확산(diffusion) 기반 모델 ‘네모트론’을 공개했다. 토큰을 한 개씩 순차적으로 만들어내는 기존 방식의 속도 한계를 넘으려는 시도다. 텍스트 생성의 근본 구조에 손을 댔다는 점에서 의미가 있다.
현재 대부분의 LLM은 자기회귀(autoregressive) 방식으로 동작한다. 앞서 생성한 토큰에 의존해 다음 토큰을 하나씩 만들어내는 구조로, 학습이 안정적이고 서비스가 단순하다는 장점이 있다. 코드 생성, 수학 문제 풀이, 요약, 문서 이해 등 대부분의 작업이 이 방식 위에서 이뤄져 왔다. 그러나 토큰을 차례로 생성하는 만큼 속도에 본질적 제약이 따른다.
확산 방식은 이미지 생성에서 먼저 자리 잡은 기법으로, 결과 전체를 한꺼번에 두고 점진적으로 정제해 나가는 방식에 가깝다. 이를 텍스트 생성에 적용하면 순차 생성의 병목을 줄여 추론 속도를 끌어올릴 수 있다는 것이 핵심 아이디어다. 자기회귀 방식이 한 글자씩 받아쓰는 것이라면, 확산 방식은 윤곽을 잡고 다듬어가는 것에 비유할 수 있다.
텍스트 생성 속도는 AI 서비스 비용과 사용자 경험에 직결되는 요소다. 한 번의 요청이 내부적으로 수십 번의 추론을 부르는 에이전트형 AI가 늘면서, 생성 속도를 높이려는 아키텍처 차원의 시도가 활발해지고 있다. 단순히 모델을 키우는 경쟁에서 어떻게 효율적으로 생성하느냐의 경쟁으로 무게중심이 옮겨가는 흐름과도 맞닿아 있다.
국내 개발자와 서비스 기업으로서도 추론 효율을 좌우하는 생성 방식의 변화는 주목할 만하다. 같은 연산으로 더 빠른 응답을 끌어내는 기술은 AI 도입 비용을 직접 낮추기 때문이다. 다만 확산 방식이 모든 작업에서 자기회귀를 대체할지는 추가 검증이 필요한 단계다.
