엔비디아(NVIDIA)가 AI 팩토리(AI Factory)의 전력 효율을 극대화하는 풀스택(full-stack) 최적화 방법론을 공개했다. AI 팩토리 운영비의 최대 40%가 전력 비용으로 귀결되는 상황에서, 와트당 토큰 처리량을 핵심 효율 지표로 삼고 하드웨어부터 소프트웨어까지 전 계층에 걸친 개선 방안을 제시했다. 엔비디아는 6세대 아키텍처에 걸쳐 추론 처리량을 100만 배 끌어올렸으며, 최적화된 AI 팩토리는 메가와트당 초당 토큰 처리량을 2.6배 높인다고 밝혔다.
하드웨어 측면에서는 GB200 NVL72 랙 스케일 시스템이 핵심 역할을 한다. 이 시스템은 칩·열·시스템 수준의 공동 설계를 통해 45도 섭씨 고온 액체 냉각을 지원하며, 랙 내부 전력 스무딩 기술로 전류 피크를 평탄화해 동일 전력 예산 안에서 더 많은 GPU를 배치할 수 있도록 한다. 부동소수점 정밀도 면에서는 NVFP4 같은 저정밀 포맷이 FP8 대비 에너지 효율이 높으면서 동등한 정확도를 제공한다고 밝혔다. 소프트웨어 레이어에서는 엔비디아 다이나모(NVIDIA Dynamo)와 텐서RT-LLM(TensorRT-LLM)이 GPU 인프라 전반에서 추론 처리량을 높이고 비용을 낮추는 역할을 담당한다. 모델 아키텍처 차원에서는 딥시크-R1(DeepSeek-R1) 같은 전문가 혼합(MoE, Mixture-of-Experts) 모델이 토큰당 활성화 파라미터 수가 적어 밀집형 모델 대비 에너지 효율이 높다는 점도 언급했다.
대규모 학습 단계의 에너지 절감 방법도 소개됐다. 미시간대학교 ML.ENERGY 이니셔티브 연구진은 GPU별 처리 속도를 조율해 학습 에너지 낭비를 줄이는 기법을 제시했다. 핵심 경로에 있는 GPU는 최고 속도로 구동하되, 상대적으로 처리 부담이 적은 GPU는 속도를 낮춰 유휴 대기 시간 중 소비되는 전력을 줄이는 방식이다. 엔비디아는 이 접근법을 자사의 대규모 언어 모델 학습 오픈소스 구현체인 메가트론-LM(Megatron-LM)에 적용하기 위해 해당 연구팀과 공동으로 커널 및 병렬화 수준의 에너지 프로파일링 작업을 진행 중이다.
AI 팩토리 전체 운영을 통합하는 플랫폼은 엔비디아 DSX다. DSX는 컴퓨팅·랙·냉각·전력·워크로드 스케줄링에 걸친 실시간 텔레메트리 기반 최적화를 제공하며, DSX MaxLPS는 AI 팩토리 내부 처리량 극대화를, DSX Flex는 전력망과 팩토리 간 수급 조율을 담당한다. 엔비디아는 ISC 2026 전시 부스에서 이 같은 전력 제약 환경에서의 AI 팩토리 설계·시뮬레이션·운영 방법론을 추가로 공개할 예정이다.
