엔비디아가 장시간 작동하는 AI 에이전트의 반복 실행 업무에 초점을 맞춘 개방형 언어모델 ‘네모트론 3.5 라이트닝(NVIDIA Nemotron 3.5 Lightning)’을 공개했다. 엔비디아의 공식 모델 카드에 따르면 이 모델은 총 300억 개 매개변수 가운데 토큰 처리 때 30억 개를 활성화하는 혼합전문가(MoE) 구조다. Mamba-2·MoE·어텐션 레이어를 결합한 하이브리드 아키텍처로 최대 100만 토큰 문맥을 지원하며, OpenMDW 1.1 라이선스로 상업적 이용이 가능하다.
라이트닝의 핵심은 모든 단계에 거대한 추론 모델을 호출하는 대신 도구 호출, 결과 검증, 출력 형식화, 하위 에이전트 위임처럼 호출 빈도가 높은 실행 계층을 작고 빠른 모델에 맡기는 것이다. MoE 라우터가 토큰마다 일부 전문가만 선택하므로 큰 모델의 용량을 활용하면서 실제 계산량은 줄인다. 엔비디아는 다중 토큰 예측(MTP), DFlash·DSpark 추측 디코딩과 NVFP4·BF16 체크포인트를 함께 제공하며, 동급 규모 모델 대비 출력 속도가 최대 4배라고 밝혔다. 다만 이 수치는 엔비디아가 제시한 자체 비교 결과이므로 실제 성능은 하드웨어와 작업 구성에 따라 달라질 수 있다.
| 항목 | 공식 공개 내용 | 의미 |
|---|---|---|
| 모델 규모 | 총 300억 / 활성 30억 매개변수 | MoE로 토큰당 연산량 절감 |
| 아키텍처 | Mamba-2 + MoE + 어텐션 | 속도와 장문 처리의 균형을 겨냥 |
| 문맥 길이 | 최대 100만 토큰 | 장시간 에이전트 작업과 긴 기록 처리 |
| 공개 형식 | NVFP4·BF16 체크포인트, 데이터·레시피 | 배포 환경에 맞춘 조정 가능 |
| 라이선스 | OpenMDW 1.1 | 조건에 따른 상업적 이용 가능 |
함께 공개된 오픈소스 라이브러리 ‘네모 스위치야드(NeMo Switchyard)’는 요청의 난도와 성격에 따라 적합한 모델로 작업을 보낸다. 복잡한 계획은 프런티어 추론 모델에, 대량 실행은 라이트닝에 배분하는 ‘모델 시스템’ 전략이다. 엔비디아는 PinchBench에서 라이트닝이 86% 정확도를 기록하면서 비슷한 정확도의 Qwen3.6 35B보다 1만 개 작업을 30% 빠르게 완료했다고 설명했다. 모델은 DGX Spark부터 데이터센터까지 배포할 수 있으며, 실제 도입 전에는 업무별 정확도·비용·지연시간을 별도로 검증해야 한다.
이번 발표의 관전 포인트는 모델 크기 경쟁보다 에이전트 운영비와 응답 지연을 줄이는 실행 계층에 있다. 엔비디아는 모델 가중치와 학습 데이터·레시피를 공개해 개발자가 미세조정과 강화학습을 적용할 수 있도록 했다. 동시에 공식 모델 카드는 지시 이행 최적화로 프롬프트 인젝션과 탈옥 공격에 더 취약할 수 있다고 경고한다. 따라서 외부 웹이나 검색 결과를 다루는 에이전트에는 최소 권한, 입력 필터링, 가드레일과 작업별 평가를 함께 적용해야 한다. 기존 초안에 있던 ‘1조 개 매개변수 네모트론4 비밀 개발’ 주장은 엔비디아 공식 자료에서 확인되지 않아 제외했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
