LLM 추론 속도 최대 3배 향상, 다중 계층 추측 디코딩 기법 제안
연구팀이 LLM 추론 비용을 줄이는 추측 디코딩에 다중 계층 검증 구조를 도입한 VIA-SD를 제안해 비드래프팅 디코딩 대비 최대 3배의 가속을 ...
[태그:] 모델효율화
AdaPLD: 어휘·의미 결합으로 추론 속도 3.1배 가속
AdaPLD는 어휘 매칭과 의미 유사도를 함께 활용해 추가 모델 없이 LLM 생성 속도를 높이는 투기적 디코딩 방법으로, 최대 3.10배의 속도 ...
