엔비디아 AI 팀이 대규모 언어 모델(LLM) 네모트론 3 슈퍼(Nemotron-3-Super)를 압축한 변형 모델 ‘네모트론 랩스 3 퍼즐 75B A9B’를 공개했다. 원본 모델은 총 1207억 개, 활성 128억 개 파라미터를 갖고 있는데, 압축 모델은 총 753억 개, 활성 93억 개로 줄었다. 정확도가 높지만 서비스 비용이 큰 대형 혼합전문가(MoE) 모델의 부담을 낮추는 것이 목표다. 활성 파라미터와 KV 캐시, 맘바(Mamba) 상태가 한 노드에서 감당할 수 있는 동시 사용자 수를 제약하기 때문이다.
이번 압축은 배포 목표를 먼저 정한 뒤 구조 탐색에 들어간 점이 특징이다. 첫째 목표는 사용자당 초당 100토큰 속도에서 서버 처리량을 2배로 높이는 것이었고, 둘째는 단일 H100 GPU에서 100만 토큰짜리 요청 8건을 동시에 처리하는 것이었다. 8장짜리 B200 노드에서 동일 조건 처리량은 슈퍼 대비 1.60배에서 2.14배까지 올랐다. 특히 디코딩 비중이 큰 8K 입력·64K 출력 구간에서 이득이 가장 컸고, 프리필 비중이 큰 50K 입력·2K 출력 구간에서 가장 작았다.
메모리 절감 효과도 두드러진다. 슈퍼의 NVFP4 가중치가 80GB 메모리 중 약 70GB를 차지해 100만 토큰 맥락에서는 동시 요청이 1건에 그쳤으나, 퍼즐 모델은 가중치가 44.5GB로 줄어 같은 조건에서 동시 처리가 8건으로 늘었다. 어텐션 구조를 그대로 유지해 요청당 KV 캐시 비용은 변하지 않았다. 88개 블록(맘바 40개, MoE 40개, 어텐션 8개)으로 이뤄진 부모 모델의 배치도 그대로 보존됐다.
압축 기법으로는 ‘반복 퍼즐(Iterative Puzzle)’이 쓰였다. 목표 지점으로 한 번에 건너뛰는 대신, 제한된 압축과 짧은 지식 증류 복구를 번갈아 수행해 중간 모델들을 거치는 방식이다. 연구진에 따르면 이 방식은 동일 압축 목표에서 단일 단계 퍼즐보다 10개 벤치마크 평균 0.57점 높은 성과를 냈다. MoE 가중치와 맘바 상태를 단계적으로 줄이며 각각 240억·432억·528억 토큰 규모로 복구 학습을 진행했다.
다만 압축 대가도 명확하다. 지시 이행과 에이전트 평가에서 손실이 가장 컸는데, 아레나 하드 V2(Arena-Hard-V2)가 4.2점 하락해 최악의 사례였고 SWE 벤치도 2.6점 떨어졌다. 반면 초장문 처리 능력을 재는 RULER는 256K·512K·100만 토큰 구간에서 1~2점 내로 유지됐고, AA-LCR은 오히려 소폭 올랐다. 모델 가중치는 BF16·FP8·NVFP4 세 가지 형식으로 허깅페이스에 공개됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
