튜링상 수상자 얀 르쿤이 지지하는 프랑스 AI 스타트업 ZML이 다양한 칩에서 오픈소스 대규모 언어 모델(LLM)을 구동하는 추론 성능 소프트웨어를 내놨다. 이번에 출시된 LLM 추론 서버 ‘ZML/LLMD’는 엔비디아, AMD, 구글 TPU, 애플 메탈(Metal), 인텔 아크(Arc) 등 여러 종류의 칩을 지원한다. 창업자 스티브 모랭은 테크크런치에 “서로 다른 칩을 최대 속도로, 때로는 그보다 더 빠르게 AI에 활용할 수 있게 해 기존의 벽을 허무는 것이 목표”라고 밝혔다.
모랭은 AI가 업무와 일상에 스며들면서 프롬프트를 처리하는 추론 최적화가 모델 훈련보다 중요해지고 있지만, 뒤에서는 소프트웨어·아키텍처 장벽 탓에 특정 업체에 종속되는 경우가 많다고 지적했다. ZML은 기업과 클라우드가 더 저렴하거나 에너지 효율이 높은 칩을 섞어 쓸 수 있게 해, 비용 부담을 줄이는 것을 지향한다. 이런 소프트웨어는 아셀레라, 프랙타일, 칼레이, Q.ANT, 시피얼, 스핀클라우드 같은 유럽 신생 칩 기업들에도 도움이 될 수 있다고 그는 덧붙였다. 다만 모랭은 엔비디아에 대해 부정적이지 않으며, 이 회사와도 좋은 관계를 유지하고 있다고 말했다.
추론 분야는 이른바 ‘추론 골드러시’로 불릴 만큼 투자가 집중되는 영역이다. ZML의 경쟁자로는 최근 130억 달러 가치를 인정받은 베이스텐, 오픈소스 프로젝트 vLLM 개발진이 만든 인퍼랙트, SGLang을 상용화한 라딕스아크 등이 거론된다. 모랭은 “우리는 실리콘을 공동 설계하는 단계에 이르렀다”며 더 넓은 야심을 드러냈고, 20명 규모의 소수 정예 팀 덕분에 빠르게 움직일 수 있었다고 설명했다.
ZML은 스냅챗이 2017년 아홉 자릿수 금액에 인수한 젠리에서 모랭이 엔지니어링 부사장을 지낸 이력을 바탕으로 2000만 달러를 유치했다. 하지 스테빙스의 20VC, 자비에 니엘의 키마 벤처스 등이 투자에 참여했다. 2024년 공개한 첫 오픈소스 ML 프레임워크와 달리 ZML/LLMD는 오픈소스가 아니지만, 우선 사용 실태를 파악하기 위해 무료 제품으로 출발한다. 캡테이블에는 도커 창업자 솔로몬 하이크스, 허깅페이스 공동창업자 클레망 들랑그와 쥘리앵 쇼몽, 그리고 르쿤 등이 이름을 올려 유럽 AI 스타트업의 자립 가능성을 뒷받침했다.
