Tangram, 비균일 KV 캐시로 멀티턴 LLM 서빙 처리량 최대 2.6배 향상 작성: STORIUM 편집부 2026년 06월 06일 19시 54분 0 멀티턴 LLM 서빙에서 KV 캐시의 비균일 압축을 실용화하는 Tangram 시스템이 기존 대비 최대 2.6배의 처리량 향상을 달성했다.
