AWS는 Amazon SageMaker AI의 서버리스 모델 맞춤화 대상에 NVIDIA Nemotron 3 Nano와 Super를 추가했다. 이용자는 SageMaker Studio나 Python SDK에서 작업을 시작하고 GPU 프로비저닝·분산학습·체크포인트·장애 복구를 관리형 기능으로 처리할 수 있다. 여기서 서버리스는 물리 서버가 사라진다는 의미가 아니라 이용자가 기반 인프라를 직접 구성하지 않는 운영 방식이다.
Nano는 전체 300억 매개변수 중 추론 시 30억 개를, Super는 1,200억 개 중 120억 개를 활성화한다. 두 모델은 Mamba-2, Transformer 어텐션과 Latent MoE를 결합하고 최대 100만 토큰 문맥을 지원한다고 소개됐다. AWS가 인용한 Nano의 4배 처리량은 NVIDIA의 세대 비교 결과로, 인스턴스 종류와 입력 길이, 동시 요청 조건에 따라 실제 차이는 달라질 수 있다.
지원 방식은 정답 입출력 쌍을 배우는 SFT, 검증 가능한 보상으로 최적화하는 RLVR, 별도 AI 평가자의 신호를 쓰는 RLAIF 세 가지다. RLVR는 코드 실행·정확 일치·수학 답 같은 기본 보상과 사용자 정의 Python 검증을 지원한다. 학습 자료는 기법에 맞춘 JSONL 구조로 준비하며 결과와 로그는 MLflow에서 추적하도록 구성됐다.
관리형 기능은 클러스터 설정 부담을 줄일 수 있으나 데이터 정제, 평가셋 설계와 실패 분석까지 자동으로 해결하지는 않는다. RLAIF는 사람 평가 비용을 낮출 가능성이 있지만 평가 모델의 선호와 오류가 학습 결과에 반영될 수 있다. 검증 가능한 보상도 형식적 정답을 최적화하면서 실제 업무 품질을 놓치는 보상 해킹을 점검해야 한다.
AWS 발표에는 맞춤화 전후 정확도, 동일 과제의 자체 클러스터 대비 총비용, 작업 대기시간을 한 조건에서 비교한 공통 실험이 포함되지 않았다. 따라서 운영 편의와 경제성을 구분해 평가할 필요가 있다. GPU 사용시간뿐 아니라 데이터 저장·전송, 실패한 실험, 평가와 추론 비용을 포함한 총소유비용이 비교 기준이 된다.
| 항목 | Nano | Super |
|---|---|---|
| 총·활성 매개변수 | 300억·30억 | 1,200억·120억 |
| 최대 문맥 | 100만 토큰 | 100만 토큰 |
| 맞춤화 방식 | SFT·RLVR·RLAIF | SFT·RLVR·RLAIF |
| 맞춤화 전후 정확도·총비용·대기시간 | 공통 비교 실험 미공개 | 공통 비교 실험 미공개 |
자료: STORIUM 정리
국내 기업은 민감 데이터가 처리되는 리전과 저장소, 암호화 키, 로그 보존 기간, 사용자 정의 코드의 실행 권한을 우선 확인할 수 있다. Nano와 Super의 선택도 총매개변수보다 품질·지연시간·학습비·추론비를 동일한 내부 평가셋에서 측정해야 한다. 이번 지원은 선택지를 넓혔지만 품질 향상과 비용 절감을 일반적으로 입증한 결과로 보기는 어렵다.
저작권자 © STORIUM 무단전재 및 재배포 금지
