K-포싱, 한 번에 여러 토큰 생성해 LLM 추론 속도 최대 3.5배 향상
대규모 언어 모델(LLM)의 추론 속도를 높이기 위한 새로운 디코딩 패러다임 'K-포싱(K-Forcing)'이 제안됐다. 연구팀은 기존 자기회귀(AR) 모델의 학생 모델에 진보적 자기 ...
[태그:] 서빙
대규모 언어 모델(LLM)의 추론 속도를 높이기 위한 새로운 디코딩 패러다임 'K-포싱(K-Forcing)'이 제안됐다. 연구팀은 기존 자기회귀(AR) 모델의 학생 모델에 진보적 자기 ...
