[태그:] KV캐시

KV-PRM은 텍스트 PRM 대비 채점 FLOPs 최대 5000배, 지연 최대 37배 감소를 보고했다. 최대치는 특정 길이·하드웨어 조건이다.

바이두가 장문서 파싱에 특화된 3B 파라미터 OCR 모델 'Unlimited OCR'을 공개했다. 독자 설계한 참조 슬라이딩 윈도우 어텐션으로 KV 캐시를 고정해, ...

엔비디아가 Dynamo 추론 서버에서 멀티턴 에이전트 워크플로를 위한 스트리밍 도구 호출 파싱과 KV 캐시 재사용 최적화를 추가했다.

TetherCache 연구팀이 학습 없이 사용 가능한 캐시 관리 전략으로 장기 영상 생성 시 누적되는 시각적 드리프트를 VBench-Long 기준으로 7.84에서 1.33으로 ...

반복 입력 구간을 접두어가 달라도 재사용할 수 있는 위치독립 KV 캐시 구현체 MiniPIC이 제안됐다. 핵심 엔진 변경 100줄 미만으로 vLLM에서 ...

확산 대규모 언어 모델(dLLM)의 장문 추론 속도를 크게 높이는 새로운 프레임워크가 제안됐다. 연구팀은 'Prefilling-dLLM'이라는 이름의 학습 없는 프리필-디코드 분리 기법을 ...

긴 입력을 짧은 잠재 임베딩으로 변환하는 인코더-디코더 압축 모델 LCLM이 품질·속도·메모리 효율을 동시에 개선하는 것으로 확인됐다.

멀티턴 LLM 에이전트 서빙 환경을 하드웨어 가속기 없이 일반 CPU에서 실제 시스템 오차 6% 이내로 재현하는 시뮬레이터 AGENTSERVESIM이 제안됐다.

QCFuse는 쿼리 인식 압축 뷰를 활용해 RAG 프리필 속도를 전체 프리필 대비 평균 1.7배 단축하면서도 동등한 품질을 달성한 캐시 융합 ...

멀티턴 LLM 서빙에서 KV 캐시의 비균일 압축을 실용화하는 Tangram 시스템이 기존 대비 최대 2.6배의 처리량 향상을 달성했다.

트랜스포머의 쿼리·키·밸류 투영 중 일부를 공유해도 성능이 유지되며, Q-K=V 방식은 KV 캐시를 50% 줄이면서 언어 모델 복잡도 저하가 3.1%에 그친다는 ...

AURA-Mem은 로봇 정책의 메모리 문제를 해결하기 위해 행동 변화 여부에 따라 선택적으로 기록하는 학습된 게이트를 도입해, KV 캐시 대비 최대 ...