생성형 AI 시대를 이끈 엔비디아의 그래픽처리장치(GPU)는 그동안 AI 인프라 시장을 장악한 핵심 부품으로 통했지만, 최근 글로벌 빅테크와 반도체 업계에서는 GPU 못지않게 메모리 반도체의 중요성이 커지고 있다는 흐름이 감지되고 있다. AI 모델의 연산 능력이 아무리 뛰어나도 데이터를 실어 나르는 메모리 대역폭이 이를 뒷받침하지 못하면 전체 시스템 성능이 저하되는 이른바 ‘메모리 월(Memory Wall)’ 문제가 부각되고 있어서다.
업계에서는 AI 모델 규모가 기하급수적으로 커지고, AI가 스스로 계획을 세워 외부 도구를 활용하는 ‘에이전트’ 형태의 서비스가 늘어나면서 고대역폭메모리(HBM)와 첨단 패키징 기술 수요가 급증하고 있다고 본다. 여러 개의 D램을 수직으로 쌓고 미세한 관통 전극(TSV)으로 연결하는 HBM은 기존 DDR D램보다 훨씬 넓은 데이터 이동 통로를 제공해 고성능 컴퓨팅과 AI 연산에 최적화된 것으로 평가받는다. 메모리 제조사들은 HBM 칩을 GPU 패키지 바로 옆에 배치하는 첨단 패키징 기술로 데이터 이동 거리를 최소화하며 지연 시간을 줄이고 있다. 현재 HBM 시장은 삼성전자와 SK하이닉스가 글로벌 공급을 사실상 주도하고 있으며, 엔비디아의 최신 가속기인 블랙웰(B200)에는 192GB 용량의 5세대 HBM3E가 탑재됐고 차세대 아키텍처 루빈부터는 6세대 HBM4가 쓰일 예정이다.
이런 흐름은 한국 정부가 추진하는 ‘3대 메가프로젝트’와도 맞물려 있다. 정부는 반도체, 피지컬 AI, AI 데이터센터를 국가 성장의 핵심 축으로 삼아 삼성전자, SK하이닉스 등과 함께 대규모 투자를 단행하기로 했으며, 수도권 메모리 반도체 생산 거점의 완공 시기를 최대 12년 앞당기고 충청권을 HBM 등 첨단 패키징 특화 거점으로 육성한다는 청사진을 내놓았다. AI 반도체 경쟁이 심해질수록 HBM 공급 능력이 국가와 기업의 경쟁력을 좌우하는 핵심 변수로 떠오르면서, 관련 산업의 투자·기술 확보 전략도 재조명받고 있다.
업계 관계자는 최고급 엔진을 단 슈퍼카라도 연료 공급관이 막히면 제 속도를 낼 수 없듯, 생성형 AI 역시 초당 방대한 데이터를 읽고 써야 하는 만큼 이 흐름이 끊기면 값비싼 GPU가 그대로 멈춰 전력만 낭비하게 된다고 설명한다. 국내 AI 업계 관계자도 GPU 성능이 충분해도 HBM 용량이나 데이터 이동에서 병목이 발생하면 AI 서버의 처리량이 크게 떨어진다며, AI 경쟁력은 결국 GPU뿐 아니라 메모리와 패키징 기술까지 함께 갖춰야 확보된다고 말했다. 이제 AI 인프라 경쟁이 GPU 확보 경쟁을 넘어 메모리와 초고속 연결까지 아우르는 데이터 이동 생태계 전체의 싸움으로 확장되고 있다는 분석이 나온다.
