마인드빔, CPU 기반 LLM 추론 프레임워크 오픈소스 공개…최대 96배 속도 향상
마인드빔이 삼치(ternary) LLM을 표준 CPU에서 고속 실행하는 오픈소스 추론 프레임워크 Litespark-Inference를 공개했다. PyTorch 대비 최대 96배 빠른 처리량을 주장한다.
[태그:] 삼치모델
마인드빔이 삼치(ternary) LLM을 표준 CPU에서 고속 실행하는 오픈소스 추론 프레임워크 Litespark-Inference를 공개했다. PyTorch 대비 최대 96배 빠른 처리량을 주장한다.
