싱가포르국립대와 저장대 연구진이 약 50%의 비정형 희소성을 가진 대규모 언어모델 가중치를 GPU에서 빠르게 처리하는 저장 형식과 희소 행렬곱 커널을 제안했다. LLM은 가중치를 절반가량 잘라내면 품질을 비교적 유지할 수 있지만, 위치 메타데이터와 디코딩 비용 때문에 기존 희소 커널이 조밀 행렬곱보다 느려지는 문제가 있었다.
연구진의 형식은 세 층으로 구성된다. Sparse-TC 층은 비정형 행렬 일부를 GPU의 2:4 희소 텐서 코어가 처리할 수 있게 배열하고, Slot-Filling 층은 남는 원소를 거리 차이로 압축한다. Residual 층은 앞 단계에 담기지 않은 원소를 보존해 계산 결과를 맞춘다. 커널은 희소 텐서 코어와 CUDA 코어의 작업을 나누고 메모리 읽기와 온칩 계산을 겹치도록 설계했다.
평가는 80GB HBM3를 탑재한 엔비디아 H100 SXM5에서 진행했다. OPT-30B·OPT-66B에서 나온 행렬 형상과 배치 16·32, 희소성 50~70%로 Sputnik·SparTA·FlashLLM·SpInfer와 커널을 비교했다. 종단 추론은 Wanda로 가지치기한 두 OPT 모델에서 배치 8·16·32, 입력과 출력 길이 각각 512토큰 조건으로 측정했다.
논문에 따르면 50% 희소성에서 커널은 SpInfer보다 최대 1.64배 빨랐고, CUDA 코어 기반 Sputnik보다 평균 처리량이 3.92배 높았다. OPT-30B·배치 16 종단 추론 처리량은 FlashLLM보다 41.4%, SpInfer보다 26.1% 높았다. OPT-66B에서는 FlashLLM 대비 최대 37.6% 개선됐으며, OPT-30B의 같은 조건에서 조밀 기준 GPU 메모리 사용량은 약 21.4% 줄었다.
| 평가 범위 | 비교 기준 | 보고된 결과 | 조건 |
|---|---|---|---|
| 커널 | SpInfer | 최대 1.64배 | H100, 50% 희소성 |
| 종단 추론 | FlashLLM | 최대 1.41배 | OPT-30B·66B |
| OPT-30B 종단 | FlashLLM / SpInfer | +41.4% / +26.1% | 배치 16, 50% 희소성 |
| 형식 변환 | OPT-30B / OPT-66B | 41.1초 / 92.6초 | Xeon Platinum 8460Y+ |
효과 범위는 메모리 대역폭 병목이 큰 디코딩과 중간 희소성에 맞춰져 있다. 희소성이 매우 높으면 FlashLLM을 앞서지 못했고, 입력 행렬 폭 N이 커지는 프리필의 계산 병목 구간에서는 cuBLAS보다 느렸다. 실제 서비스의 모델 종류와 시퀀스 구성은 OPT 두 모델보다 다양하며, 형식 변환에도 OPT-30B 41.1초, OPT-66B 92.6초의 일회성 CPU 비용이 들었다.
논문은 DAC 2026 게재 정보를 제시하지만 현재 자료는 arXiv에 공개된 저자본이다. 보고된 최대 속도 향상은 H100과 정해진 행렬·배치 조건의 측정치여서 다른 GPU나 최신 모델로 일반화하려면 추가 시험이 필요하다. 이번 결과는 높은 희소성만 좇지 않고 품질 보존에 쓰이는 약 50% 비정형 희소성을 텐서 코어에 맞추는 시스템 설계가 실효성이 있는지를 보여준 사례다. 이 결과는 동료 검토 전 프리프린트에 담긴 연구진의 보고이므로 후속 검증이 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
