인공지능(AI) 데이터센터의 전력 소모가 급격히 늘면서 반도체 시장의 경쟁 축이 성능에서 에너지 효율로 옮겨가고 있다는 분석이 나온다. 블룸버그 통신에 따르면 미국 데이터센터 인근 지역의 전기 요금은 5년 전보다 267% 급등했으며, 이런 현상이 나타나는 주는 미국 50개 주 가운데 13개 주로 계속 확대되는 추세다. 데이터센터를 운영하는 빅테크 기업들이 전력을 도매로 저렴하게 구매하는 반면, 일반 가정은 상대적으로 높은 요금 부담을 지게 되는 구조적 문제도 함께 지적된다.
전력 소모 문제의 핵심은 연산 자체보다 데이터 이동 과정에 있다는 게 업계 전문가들의 설명이다. 엔비디아 수석 과학자 빌 댈리(Bill Dally)는 AI 연산에서 외부 메모리 반도체인 HBM(고대역폭메모리)과 연산장치(GPU) 사이의 데이터 전송에 훨씬 많은 전력이 소모된다고 밝힌 바 있다. AI 시스템의 전력 소모를 부문별로 나누면 데이터 전송이 40%, 발열 냉각이 35%, 순수 계산이 15%, 데이터 저장·유지가 10%를 차지하는 것으로 분석된다. 이 때문에 GPU 내부에 탑재된 SRAM을 활용해 데이터 이동 거리를 줄이려는 시도가 늘고 있다. 계산 자체에 드는 전력을 1이라고 할 때 SRAM에서 데이터를 꺼내 쓰는 전력은 5~10 수준인 반면, 외부 HBM에서 데이터를 가져올 경우 100~1000에 달하는 전력이 소모된다는 설명이다.
그록(Groq), 세레브라스(Cerebras) 등은 SRAM의 용량 한계와 높은 비용에도 불구하고 저전력·저발열을 위해 외부 HBM 연결 없이 반도체 칩 전체를 SRAM으로 구성하는 설계를 채택했다. 나아가 메모리와 연산장치를 하나로 합친 ‘칩인메모리(CIM)’ 구조로 전송 거리를 최소화하려는 움직임도 있는데, 이 분야에서는 마벨 테크놀로지(Marvell Technology)가 강점을 보유한 것으로 평가된다. 마벨은 2021년 반도체 간 신호 연결 기술을 보유한 인피(Inphi)를 인수했으며, 구리선 대신 레이저 광통신으로 데이터를 전송하는 기술에서도 앞서 있어 구글·마이크로소프트·아마존 등 빅테크의 맞춤형 반도체(ASIC) 설계에 필수적인 기술을 공급하고 있다는 평가를 받는다.
전문가들은 AI 시장이 정치적 규제 리스크와 높은 반도체 가격이라는 이중 부담 속에서도 계속 성장하려면 스스로 전력 소모를 줄이는 방향으로 진화해야 한다고 진단한다. 빅테크 기업들이 차별화된 AI 서비스 경쟁에서 승자독식 구도를 형성하고 있는 가운데, 메모리 반도체 가격 상승이 삼성전자와 SK하이닉스 같은 국내 기업에는 호재로 작용하고 있지만, 장기적으로는 HBM 의존도를 낮추는 기술이 확산되면서 반도체 시장의 무게중심이 저전력·저발열 솔루션 쪽으로 이동할 가능성이 제기된다.
