대규모 언어 모델(LLM)의 추론 속도를 높이기 위한 새로운 디코딩 패러다임 ‘K-포싱(K-Forcing)’이 제안됐다. 연구팀은 기존 자기회귀(AR) 모델의 학생 모델에 진보적 자기 강제 증류(progressive self-forcing distillation)를 적용해 한 번의 순전파로 k개 토큰을 동시에 생성하는 방식을 구현했으며, k=4 설정에서 다양한 배치 크기에 걸쳐 약 2.4~3.5배의 속도 향상을 확인했다.
기존 자기회귀 언어 모델은 토큰을 하나씩 순차 생성하기 때문에 추론이 메모리 대역폭에 의존적이어서 처리량이 제한된다. 투기적 디코딩(speculative decoding)이나 확산 언어 모델 같은 가속 접근법이 있지만, 산업 규모 배포에서 가장 중요한 고부하 배치 서빙 시나리오에서는 직접적인 개선 효과가 제한적이었다. K-포싱은 독립적인 균일 잡음 변수들을 미래 토큰 여러 개의 결합 샘플로 변환하는 조건부 푸시포워드 매핑을 학습한다. 이 설계는 고정 길이 출력을 유지하고, 기존 자기회귀 교사 모델의 백본을 재활용하며, 표준 자기회귀 서빙 인프라와 호환된다는 장점이 있다.
검증은 LM1B와 OpenWebText 데이터셋에서 표준 인과 트랜스포머 백본을 사용해 진행됐다. k=4 토큰을 한 번에 생성하도록 공격적으로 설정하면 교사 AR 모델 대비 약간의 품질 저하가 있지만, 속도는 배치 크기 전반에 걸쳐 약 2.4~3.5배 빨라졌다. 연구팀은 추론이 현대 LLM 전체 수명 주기 컴퓨팅 비용에서 점점 더 큰 비중을 차지하는 상황에서, K-포싱이 실제 고부하 배포 환경의 자기회귀 생성 가속에 유망한 경로를 제공한다고 밝혔다.
LLM 서빙 비용 절감은 AI 업계의 핵심 과제다. 기존 가속 기법들이 품질을 희생하지 않으면서 소규모 배치에서만 효율적인 경우가 많았던 반면, K-포싱은 대규모 배치 서빙 환경에서도 효과적인 속도 향상이 가능함을 보였다. 기존 자기회귀 인프라와 호환성을 유지한다는 점도 실용적 도입 장벽을 낮추는 요소로 평가된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
