설립 2년차 스타트업 마인드빔(Mindbeam AI)이 대규모 언어 모델(LLM)을 GPU 없이 일반 CPU 위에서 효율적으로 실행하는 오픈소스 추론 프레임워크 Litespark-Inference를 공개했다. 이 프레임워크는 가중치를 -1, 0, +1 세 값으로만 제한하는 삼치(ternary) 신경망 모델을 대상으로 설계됐으며, 곱셈 연산의 부하를 대폭 줄여 CPU 처리 효율을 높이는 방식이다. 회사가 공개한 벤치마크에 따르면 애플 M5 프로세서에서 표준 PyTorch 대비 약 17배 빠른 처리량을 달성했고, 인텔의 AVX-512 VNNI(벡터 신경망 명령어 집합)를 지원하는 시스템에서는 최대 96배 향상된 처리량을 기록했다. 초당 토큰 처리량은 각각 약 40개, 약 34개 수준이며, 메모리 사용량은 기존 4.6기가바이트에서 800메가바이트 미만으로 80% 이상 줄었다고 마인드빔은 밝혔다.
이 프레임워크는 애플 실리콘(NEON SDOT 명령어 집합), 인텔·AMD 프로세서(벡터 신경망 명령어)의 SIMD(단일 명령 다중 데이터) 기능을 활용하는 전용 커널을 탑재했다. 배포 방식은 두 가지로, 하나는 GPU 없이 로컬 하드웨어에서 언어 모델을 완전 실행하는 형태이고, 다른 하나는 클라우드 환경에서 CPU와 GPU가 분리된 추론 아키텍처로 협력 동작하는 형태다. 창업자 겸 최고경영자 니 오세는 CPU가 현재 추론 파이프라인에서 GPU로 입력을 전달하는 역할에 머물러 있다며, CPU를 추론 스택에 직접 참여시키면 GPU가 더 많은 토큰을 처리할 수 있게 된다고 설명했다. 소스코드는 깃허브에 공개됐으며 누구나 자체 벤치마크를 수행할 수 있도록 했다.
AI 추론 비용이 계속 오르는 가운데 GPU가 비싸고 공급도 불안정한 상황에서, CPU를 보조 가속기로 활용하는 접근은 엣지 컴퓨팅과 메모리 제한 환경에 특히 주목받고 있다. 마인드빔은 올해 안에 AWS 인퍼렌시아(Inferentia) 등 클라우드 전용 하드웨어를 지원하는 버전을 상용화할 계획이며, 장기적으로는 로보틱스와 엣지 디바이스용 액션 모델로도 기술을 확장하겠다는 방침이다. 국내 기업들도 온프레미스 또는 엣지 환경에서 LLM 비용을 낮추려는 수요가 높아지고 있어, 이 같은 CPU 기반 경량 추론 기술의 동향이 주목된다.
