AI 모델을 구동할 컴퓨터 수요가 폭발하면서, 이 분야에 뛰어든 누구나 두 가지 큰 난관에 부딪힌다. 적합한 칩을 확보하는 것과 그 칩을 수익을 낼 수 있는 데이터센터에 들여놓는 것이다. GPU 수요가 천정부지로 치솟았지만, 학습이 끝난 모델을 실제로 구동하는 ‘추론’ 단계에는 GPU가 최적이 아니라는 인식이 굳어지고 있다. 추론은 학습과 계산 요건이 달라, 이에 특화된 새로운 칩 부류가 설계되고 있다.
신생 클라우드 업체 제너럴컴퓨트의 공동창업자 핀 푸클로프스키(CEO)와 제이슨 굿디슨(CTO)은 또 다른 선택지를 찾았다. 인텔이 투자한 추론 특화 반도체 기업 샘바노바(SambaNova)다. 샘바노바의 새 아키텍처는 더 유연하고 추론 계산 중 맥락을 저장하기 위해 더 많은 메모리를 쓰며, GPU뿐 아니라 그록(Groq)이나 세레브라스(Cerebras)의 특화 칩까지 능가한다고 주장한다. 신형 칩은 초당 600~700개 토큰을 생성하는데, GPU의 약 250개와 대비된다.
제너럴컴퓨트는 샘바노바의 SN50 칩을 3억 달러어치 주문했으며, 이를 배치하는 최초의 신생 클라우드가 될 것이라고 밝혔다. 이 칩은 수냉식이 아닌 공랭식이고 전력 소비도 적어, 새 인프라 투자 없이 기존 데이터센터 시설에 설치할 수 있다는 점에서 ‘어디에 둘 것인가’라는 두 번째 난제도 해결한다. 푸클로프스키는 데이터센터 사업자뿐 아니라, 채굴 비용이 비트코인 가격을 자주 웃돌게 된 암호화폐 채굴업체의 유휴 인프라를 활용하는 코로케이션 계약도 추진하고 있다.
2021년 그록에 초기 투자해 추론 붐의 초입에 올라탔던 벤처투자자 조 하셀만은 올해 새 펀드 에버크레스트 캐피털 파트너스를 출범하고 제너럴컴퓨트를 첫 투자처 중 하나로 삼았다. 그는 샘바노바와 제너럴컴퓨트의 제휴를 코어위브(CoreWeave)와 엔비디아의 관계에 빗대며 “제너럴컴퓨트가 샘바노바에 베팅하는 만큼, 샘바노바도 제너럴컴퓨트에 베팅하는 셈”이라고 말했다. 푸클로프스키는 1시간짜리 코딩 에이전트 작업을 5~10분으로 줄이고, 빠른 응답이 필요한 고객서비스용 음성 에이전트를 더 경제적으로 만들겠다는 목표를 제시했다.
추론 속도와 비용이 AI 경쟁의 핵심 변수로 떠오르는 흐름은 한국 AI 인프라 전략에도 직접적인 함의를 준다. 단일 거대 사업자가 지배하지 않고 여러 모델과 에이전트가 공존하는 세계에서는, 추론을 얼마나 빠르고 저렴하게 처리하느냐가 서비스 경쟁력을 좌우한다. 국내 데이터센터와 클라우드 사업자도 GPU 일변도에서 벗어나 추론 특화 칩, 공랭식 저전력 설계, 기존 시설 재활용 같은 대안에 주목할 필요가 있으며, 이는 전력·냉각 인프라 제약이 큰 국내 환경에서 특히 유효한 전략이 될 수 있다.
