[태그:] 트랜스포머학습

NVIDIA Apex의 FusedAdam·FusedLayerNorm을 PyTorch 기본 torch.amp와 조합해 트랜스포머 학습 처리량을 높이는 실험적 구현 방법을 단계별로 설명한 튜토리얼이 공개됐다.