[태그:] 모델추론

아마존 FSx for Lustre와 NVIDIA GPUDirect Storage를 결합하면 Llama 405B 모델 로딩 시간이 18분에서 6.4초로 줄고, TurboQuant 적용 시 컨텍스트 ...