LLM 추론 속도 최대 3배 향상, 다중 계층 추측 디코딩 기법 제안
연구팀이 LLM 추론 비용을 줄이는 추측 디코딩에 다중 계층 검증 구조를 도입한 VIA-SD를 제안해 비드래프팅 디코딩 대비 최대 3배의 가속을 ...
[태그:] 추론가속
파인튜닝으로 손상된 LLM 안전성, 추론 시점에 복원하는 기법 등장
연구팀이 도메인 파인튜닝으로 안전성이 저하된 LLM에 추론 시점 안전 정렬을 전이하는 훈련 불필요 기법 ALIGNBEAM을 발표했다. 어휘 체계가 다른 모델 ...
확산 언어모델 장문 추론 속도, 9~28배 빠르게 만드는 기법 등장
확산 대규모 언어 모델(dLLM)의 장문 추론 속도를 크게 높이는 새로운 프레임워크가 제안됐다. 연구팀은 'Prefilling-dLLM'이라는 이름의 학습 없는 프리필-디코드 분리 기법을 ...
