프랑스 릴대·보르도대와 네덜란드 암스테르담 자유대 연구진이 vLLM의 설정이 추론 에너지, 지연시간, 정확도에 미치는 영향을 통제 실험으로 분석했다. 연구 대상은 어텐션 커널, 프리픽스 캐싱, 청크드 프리필 세 항목이다. 연구진은 어느 한 설정도 모든 모델과 작업에서 최적이 아니었다고 보고했다.
실험은 30억~320억 파라미터 규모의 오픈웨이트 모델 5개와 AssistantTraces, EvoEval, LongBench-v2, Natural Questions, WildChat 등 5개 작업을 조합했다. FlashAttention-2·3와 FlashInfer, 프리픽스 캐싱 켜기·끄기, 청크드 프리필 켜기·끄기의 전 조합을 각각 30회 반복했다. 총 9,000회 실행에서 9만3,600개 측정치를 모았다.
측정 항목은 CPU·GPU 에너지, 첫 토큰까지 시간, 요청 전체 추론시간, pass@k 또는 항목별 점수였다. 전용 클러스터의 A100-SXM4 40GB GPU 4개 노드에서 vLLM 0.10.2의 오프라인 배치 인터페이스를 사용했다. 연구진의 통계 분석에서는 모델과 작업이 전체 차이를 가장 크게 설명했고, 설정 조정은 파레토 전선 안에서 국소적인 개선을 제공했다.
에너지 우선 조건에서는 FlashInfer가, 지연시간 우선 조건에서는 FlashAttention-3가 자주 유리했다. 프리픽스 캐싱은 다수 조건에서 에너지와 지연을 줄였지만 효과가 어텐션 백엔드와 상호작용했다. 어텐션과 캐싱의 상호작용은 25개 조합 가운데 지연시간 10개, 첫 토큰 시간 11개에서 유의했다. 청크드 프리필은 5개 작업 중 4개의 평균 프롬프트가 기본 8,192토큰보다 짧아 대부분 실제로 작동하지 않았다.
| 실험 항목 | 논문 설정·결과 |
|---|---|
| 모델·과제 | 오픈웨이트 모델 5개·과제 5개 |
| 설정 조합 반복 | 각 30회 |
| 총 실행·측정 | 9,000회·93,600개 |
| 어텐션×캐싱 유의 상호작용 | 지연시간 10/25·첫 토큰 시간 11/25 |
| 정확도 평가 가능 과제 | 5개 중 2개 |
설정에 따라 정확도도 달라졌지만 연구진은 원인을 확정하지 않았다. 부동소수점 연산 순서가 샘플링 토큰을 바꿨을 가능성과 유한 표본의 잡음을 함께 제시했다. 에너지 측정에 쓴 nvidia-smi는 A100에서 짧고 급격한 부하를 놓칠 수 있고, 정확도 평가는 5개 작업 중 2개에만 가능했다. 특정 GPU·vLLM 버전·오프라인 모드 결과여서 다른 서버와 하드웨어로 일반화하기 어렵다. 논문은 arXiv 사전논문이며 독립 재현은 아직 확인되지 않았다. 이 결과는 동료 검토 전 프리프린트에 담긴 연구진의 보고이므로 후속 검증이 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
