미국 AI 반도체 스타트업 삼바노바(SambaNova)가 110억 달러(약 15조 원) 기업가치를 인정받으며 10억 달러(약 1조4000억 원) 규모의 투자를 유치했다. 시리즈 F 라운드는 제너럴 애틀랜틱(General Atlantic)이 주도했고 인텔 캐피털, 비스타 에쿼티 파트너스, JP모건 체이스 등 10여 곳이 참여했다. 지난 2월 3억5000만 달러를 조달한 데 이은 후속 투자다.
삼바노바는 2월 라운드와 함께 주력 제품인 추론 전용 칩 ‘SN50’을 공개했다. 회사에 따르면 이 가속기는 엔비디아 B200 그래픽카드보다 처리량이 3배 이상 높고, 최고 속도는 5배 빠르다. AI 모델이 답변을 생성할 때는 프롬프트를 분석하고 예비 답변을 만들어 메모리에 저장한 뒤 다시 불러와 다듬는 과정을 여러 차례 반복하는데, 이 과정에서 메모리를 오가는 데이터 이동이 응답 생성 시간의 상당 부분을 차지한다.
SN50은 칩 내부 데이터 이동을 빠르게 하는 구조로 이 병목을 줄였다. 칩은 ‘타일(tile)’이라 불리는 수십 개 모듈로 구성되며, 각 타일은 연산 회로와 고속 SRAM 메모리를 결합한다. 메모리를 연산 회로 가까이 배치해 데이터 이동 시간을 줄이고, 한 타일이 계산을 마치면 결과를 다음 타일로 넘긴다. 여기에 활성 가중치와 KV 캐시를 담는 HBM 메모리 풀, 비활성 신경망을 저장하는 DRAM 모듈이 더해져 세 가지 메모리를 함께 쓴다. 모델을 교체해야 할 때는 DRAM에서 HBM으로 수 밀리초 만에 불러올 수 있다.
전력 효율도 강점으로 꼽힌다. 삼바노바는 SN50을 16개 칩으로 묶은 ‘삼바랙 SN50’ 시스템 형태로 공급하는데, 시스템 소비 전력이 약 20와트 수준이다. 발열이 적어 고급 그래픽카드 서버에 흔히 쓰이는 복잡한 수랭 방식 대신 표준 공랭 장비로 냉각할 수 있다.
이번 라운드에 참여한 JP모건은 SN50 도입 계획을 함께 발표했다. 이전 세대 칩인 SN40도 함께 활용해 이들 프로세서를 자체 온프레미스 추론 인프라에 통합할 예정이다. 삼바노바는 조달한 자금을 칩 라인업과 랙 설계, 소프트웨어 강화에 투입하고 시장 진출을 가속할 방침이다. 로드리고 량(Rodrigo Liang) 공동창업자 겸 최고경영자는 파리에서 열린 레이즈 서밋(RAISE Summit)에서 이 같은 계획을 밝혔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
