엔비디아(NVIDIA)와 스케줄엠디(SchedMD)가 협력해 GB200 NVL72 랙 규모 시스템에 최적화된 Slurm 토폴로지 인식 잡 스케줄링 방법론을 공개했다. GB200 NVL72는 단일 랙에 72개의 블랙웰(Blackwell) GPU를 NVLink로 상호 연결해 130TB/s의 저지연 통신 대역폭을 제공하며, 랙 한 대로 엑사스케일 수준의 AI 및 HPC 연산을 처리할 수 있는 시스템이다.
문제는 기존 Slurm의 트리(tree) 플러그인이 랙 규모 시스템에 적합하지 않다는 점이다. 트리 플러그인은 스위치 경계를 기준으로 잡을 배치하기 때문에 NVLink 도메인을 고려하지 않고 작업을 분산시켜 GB200 NVL72의 고대역폭 연결 구조를 활용하지 못하는 단편화 문제가 발생했다. 이를 해결하기 위해 Slurm 버전 23.11에 새로 도입된 토폴로지/블록(topology/block) 플러그인을 적용하면 NVLink 도메인 경계에 맞춰 작업을 배치할 수 있다. 5,000노드 클러스터를 대상으로 한 시뮬레이션에서 이 방식은 토폴로지 인식 없이 달성 가능한 GPU 점유율 이론값과 약 1% 이내의 차이만 보이며 높은 활용률을 유지했다.
워크로드 유형에 따른 권장 세그먼트 구성도 구체적으로 제시됐다. 혼합 전문가(MoE) 모델 훈련에는 NVLink 최대 용량에 해당하는 128GPU(16노드) 세그먼트가 적합하고, 대형 밀집 모델 훈련은 32~64GPU(4노드 세그먼트), 소형 모델 훈련은 32GPU 미만(1노드 세그먼트)이 권장된다. 대형 작업은 NVLink 전용량을 활용하는 구성을 우선하고, 나머지 자원에 소형 작업을 유연하게 배치해 전체 GPU 활용률을 높이는 전략이다.
GB200 NVL72처럼 랙 전체가 하나의 고속 인터커넥트로 묶이는 랙 규모 시스템에서는 소프트웨어 스케줄러가 하드웨어 토폴로지를 정확히 이해하지 못하면 성능 병목이 발생한다. 이번 가이드는 HPC 및 대규모 AI 훈련 클러스터 운영자가 GB200 NVL72의 하드웨어 잠재력을 소프트웨어 계층에서 온전히 끌어낼 수 있는 구체적 설정 방법을 제공한다는 점에서 실용적 의의가 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
