대규모 언어모델(LLM) 추론 작업이 데이터센터 전력 소비의 주요 원인으로 빠르게 부상하면서, 어떤 LLM을 어떤 GPU에 배치해야 가장 효율적인지 판단하는 문제가 중요한 과제로 떠올랐다. 그러나 지금까지 운영자들은 각 모델과 하드웨어 조합을 일일이 직접 프로파일링해보는 것 외에는 뚜렷한 대안이 없었다. 기존에 나온 일부 예측 모델도 실측 프로파일링 데이터에 의존해야 했고, 학습 과정에서 접하지 못한 새로운 하드웨어로는 일반화되지 못하는 한계가 있었다.
이런 문제를 해결하기 위해 연구진은 ‘왓GPU(WattGPU)’라는 새로운 예측 모델을 제안했다. 이 모델은 평균 GPU 전력 소비량과 토큰 간 지연시간(Inter-Token Latency, ITL)을 각각 예측하는 두 개의 하위 모델로 구성된다. 왓GPU의 핵심은 공개적으로 확인 가능한 LLM 메타데이터와 GPU 사양 정보만을 활용한다는 점이다. 이를 통해 실제 하드웨어에 대한 접근이나 사전 프로파일링 없이도, 학습 과정에서 한 번도 접하지 못한 엔비디아 서버급 GPU와 LLM 조합에 대해서까지 예측을 일반화할 수 있다.
연구진은 0.1B에서 27B 파라미터에 이르는 42개 오픈소스 LLM과 8종의 GPU로 구성된 데이터셋을 활용해, GPU 하나씩과 LLM 하나씩을 번갈아 제외하는 엄격한 교차검증 방식으로 모델 성능을 평가했다. 그 결과 평균 전력 소비 예측 모델은 오프라인 시나리오에서 중앙값 절대 백분율 오차(MAPE) 3.4% 이하, 서버 시나리오에서는 13.5% 이하의 오차를 기록했다. 지연시간 예측 모델은 서버 모드에서 8.5% 이하의 오차를 보였으며, 두 모델 모두 서버 시나리오에서 강한 GPU 순위 상관관계(켄달 타우 0.76 이상)를 유지했다.
연구진은 왓GPU를 전력 소비 예측의 물리 기반 표준 기법인 부하조정 열설계전력(TDP)과 지연시간 예측의 루프라인(roofline) 모델과 비교했다. 그 결과 처음 보는 LLM-GPU 조합에서 서버 시나리오 기준 중앙값 절대 백분율 오차를 약 4배, 완전히 새로운 GPU에 대해서는 약 2배 줄이는 성과를 보였다. 연구진은 데이터와 코드를 깃허브에 공개해 다른 연구자들이 데이터센터 운영 효율화 연구에 활용할 수 있도록 했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
