엔비디아 모델 옵티마이저로 사후 훈련 양자화 구현하기
엔비디아 Model Optimizer를 이용한 사후 훈련 양자화(PTQ) 방법론을 소개한다. FP8·FP4·INT8 등 다양한 저정밀도 형식으로 추론 속도를 높이면서 정확도 손실을 최소화한다.
[태그:] TensorRT
엔비디아 Model Optimizer를 이용한 사후 훈련 양자화(PTQ) 방법론을 소개한다. FP8·FP4·INT8 등 다양한 저정밀도 형식으로 추론 속도를 높이면서 정확도 손실을 최소화한다.
