엔비디아(NVIDIA)가 11월 9일 한국 기업의 오픈모델 4종을 위한 다이너모(Dynamo) 최적화 배포 레시피를 공개했다. 대상은 SK텔레콤(SK Telecom)의 A.X K2, LG AI연구원(LG AI Research)의 K-EXAONE 2.0, 업스테이지(Upstage)의 Solar Open 2, 모티프테크놀로지스(Motif Technologies)의 Motif-3다. 레시피는 각 모델을 서비스 환경에 배포할 때 활용하는 구성으로, 엔비디아 B200 GPU에 맞춰 최적화됐다.
다이너모는 데이터센터 규모의 다중 노드 환경에서 모델 추론 서비스를 운영하도록 만든 오픈소스 프레임워크다. 모델이 GPU 한 장의 수용 규모를 넘으면 여러 GPU에 나누어 배치해야 한다. 엔비디아는 이때 요청을 어느 장치로 보낼지 정하는 라우팅과 장치 사이 통신을 조율해야 성능을 유지할 수 있다고 설명했다. 다이너모는 이 요청 분배와 통신을 처리하는 역할을 맡는다.
| 개발사 | 모델 |
|---|---|
| SK텔레콤 | A.X K2 |
| LG AI연구원 | K-EXAONE 2.0 |
| 업스테이지 | Solar Open 2 |
| 모티프테크놀로지스 | Motif-3 |
이번 레시피는 한국 오픈모델을 실제 서비스에 투입하려는 개발자의 배포 구성을 돕는 데 초점을 맞췄다. 엔비디아는 B200에 최적화한 설정을 적용하면 초기 배포 상태에서 최대 2배의 성능을 제공한다고 밝혔다. 이는 회사가 제시한 최대치이며, 공개 글에는 네 모델 각각의 측정 결과가 나뉘어 실리지 않았다. 따라서 이 수치를 모든 대상 모델의 동일한 성능 향상으로 볼 근거는 제시되지 않았다.
엔비디아는 개발자가 한국 오픈모델을 더 빠르게 운영 환경에 올리고 폭넓게 접근할 수 있는 AI 서비스로 제공하도록 지원하겠다고 설명했다. 다만 발표에는 최대 2배라는 수치의 비교 기준과 세부 시험 조건, 모델별 필요 GPU 수가 공개되지 않았다.
저작권자 © STORIUM 무단전재 및 재배포 금지
