엔비디아가 대규모 언어모델(LLM) 훈련 도중 GPU 장애가 발생해도 처리량 손실을 최소화하는 ‘비균일 텐서 병렬화(Nonuniform Tensor Parallelism, NTP)’ 기술을 공개했다. 이 기법은 훈련 작업의 실질적 성과를 뜻하는 ‘굿풋(goodput)’—즉 수렴에 실제로 기여하는 유효 연산량—을 지키는 데 초점을 맞췄다.
수천 개의 GPU를 동원하는 대규모 훈련은 실행 시간이 길어질수록 예기치 않은 하드웨어 중단 위험이 커진다. 특히 GPU들이 촘촘히 연결된 클러스터에서는 드문 장애 하나가 전체 작업에 큰 영향을 미칠 수 있다. 기존에는 장애가 발생한 복제본을 통째로 제거하거나 체크포인트에서 재시작하고, 예비 노드로 전환하는 방식으로 대응해왔지만 이 과정에서 처리량 손실과 추가 비용이 뒤따랐다.
NTP는 텐서 병렬화(TP) 그룹의 GPU 하나가 사용 불가능해지면, 예를 들어 8개 GPU 그룹이 1개를 잃었을 때 이를 자동 감지해 남은 7개 GPU만으로 병렬화 정도를 즉시 재조정한다. 여기에 두 가지 보완 기법이 함께 작동한다. 첫째는 파워 부스팅으로, 가용 GPU가 줄어든 도메인의 남은 GPU에 전력을 일시적으로 높여 클럭 속도를 끌어올림으로써 성능 손실을 보완하고 데이터 병렬 복제본 간 동기화 지연을 방지한다. 둘째는 텐서 샤드 재분배를 역전파·파라미터 동기화 단계와 겹쳐서 수행하는 효율적 리샤딩으로, 엔비디아는 이 과정의 오버헤드를 1% 미만으로 억제했다고 밝혔다.
이 기술은 엔비디아의 블랙웰·블랙웰 울트라 시스템에서 최대 72개 GPU까지 초당 1,800GB의 단일 홉 all-to-all 통신을 지원하는 NV링크 인프라를 기반으로 한다. 스케일업 도메인 크기가 8개에서 72개 GPU 이상으로 커질수록 정상 작동하는 모든 장치의 가동 시간을 극대화하는 것이 굿풋 유지의 관건이라는 게 엔비디아의 설명이다. NTP는 현재 엔비디아 훈련 프레임워크 메가트론 코어(Megatron Core)의 개발 브랜치에 실험적 기능으로 추가됐으며, 이를 전문가 병렬화(MoE 모델용)로 확장한 ‘비균일 전문가 병렬화(NEP)’ 연구도 진행 중이다. 이번 기술은 GPU 클러스터 규모가 계속 커지는 가운데, 하드웨어 장애를 훈련 중단이 아닌 유연한 재구성으로 흡수하려는 업계의 대응으로 평가된다.
</content>
