엔비디아가 문장을 한 토큰씩 순차적으로 생성하는 기존 대규모 언어모델의 속도 한계를 해결하기 위해 확산(디퓨전) 방식의 새 언어모델을 오픈웨이트로 내놨다. 회사는 지난 1일(현지시간) ‘네모트론-랩스-투타워(Nemotron-Labs-TwoTower)’를 공개했다고 밝혔다. 이 모델은 사전학습된 오토리그레시브(자기회귀) 모델을 기반으로 만들어졌으며, 엔비디아의 네모트론 오픈 모델 라이선스에 따라 상업적 활용도 가능하다. 기존 언어모델이 문장을 한 단어씩 순서대로 만들어내는 것과 달리, 확산 언어모델은 여러 토큰을 동시에 생성한 뒤 반복적으로 다듬는 방식을 쓴다.
투타워라는 이름은 모델 구조에서 비롯됐다. 기존 확산 언어모델 대다수는 하나의 신경망이 문맥을 표현하는 역할과 노이즈가 섞인 토큰을 정제하는 역할을 동시에 수행했다. 반면 이번 모델은 두 개의 ‘탑(타워)’으로 역할을 나눴다. 하나는 프롬프트와 이미 확정된 토큰을 순차 처리하는 ‘문맥 타워’이고, 다른 하나는 노이즈가 낀 블록을 반복적으로 정제하는 ‘디노이저(잡음제거) 타워’다. 두 타워는 엔비디아의 오픈웨이트 하이브리드 모델인 ‘네모트론-3-나노-30B-A3B’를 기반으로 동일한 체크포인트에서 출발하되, 문맥 타워는 가중치를 고정한 채 디노이저 타워만 별도로 추가 학습시켰다. 이 덕분에 디노이저 학습에는 약 2.1조 토큰만 필요했는데, 이는 원본 백본 모델의 사전학습에 쓰인 25조 토큰의 일부에 불과하다.
회사가 공개한 벤치마크에 따르면 투타워는 MMLU, ARC-챌린지, 위노그란데 등 다양한 평가에서 기존 오토리그레시브 모델 대비 종합 품질의 98.7%를 유지하면서도 실제 체감 생성 속도는 2.42배 빨랐다. 다만 세부적으로는 편차가 있었는데, 코딩 능력을 측정하는 휴먼이밸 벤치마크에서는 79.27점에서 75.58점으로, 수학 문제풀이 능력을 보는 매스-500에서는 84.40점에서 80.60점으로 각각 하락해 코드·수학 영역의 품질 저하가 상대적으로 두드러졌다. 반면 상식 추론이나 다국어 이해 영역에서는 기존 모델과 비슷하거나 오히려 소폭 개선된 점수를 기록했다. 이번 벤치마크는 2개의 H100 GPU에서 BF16 정밀도로 진행됐다.
엔비디아는 이번 공개 체크포인트가 확산 방식뿐 아니라 기존의 순차 디코딩 방식으로도 구동 가능하도록 설계했다고 설명했다. 전체 두 개 타워를 모두 활용하는 확산 모드는 GPU 2개와 각 59GB의 메모리가 필요하지만, 오토리그레시브 전용 모드는 80GB급 GPU 1대만으로도 실행할 수 있다. 이런 유연성 덕분에 하나의 모델로 대량의 합성 텍스트를 빠르게 뽑아내는 배치 생성 작업부터, 품질과 속도 사이의 균형을 조정하는 세밀한 튜닝까지 다양한 활용이 가능하다는 것이 회사의 설명이다. 다만 이번에 풀린 체크포인트는 지시어 튜닝이나 안전성 정렬을 거치지 않은 기초(베이스) 모델 단계이며, 속도를 3배 이상으로 끌어올리면 품질 저하 폭이 그만큼 커진다는 한계도 함께 제시됐다.
확산 언어모델은 최근 몇 년간 오토리그레시브 방식의 생성 속도 병목을 해결할 대안으로 주목받아 온 연구 분야다. 엔비디아의 이번 발표는 대형 기술기업이 상용화 수준의 오픈웨이트 확산 언어모델을 내놓은 사례로, 추론 비용 절감이 화두인 업계에서 관련 기술 경쟁이 한층 가속화될 것으로 전망된다.
