대규모 언어 모델(LLM)의 장문 처리 능력이 높아질수록, 모델 가중치가 아닌 전혀 다른 곳에서 메모리 병목이 발생한다는 사실이 드러나고 있다. 바로 KV 캐시(Key-Value Cache)다. 트랜스포머는 디코딩 과정에서 매 토큰·매 레이어의 키-값 벡터를 저장해 어텐션 재계산을 회피하는데, 이 캐시는 시퀀스 길이와 배치 크기에 비례해 선형으로 팽창한다. 2026년 현재 이 문제를 정면 돌파하는 세 가지 접근법인 TurboQuant, OSCAR, EpiCache가 각자 다른 방향에서 경쟁하고 있다.
KV 캐시의 규모를 구체적으로 살펴보면 문제의 심각성이 명확해진다. Llama-3.1-70B를 BF16 정밀도로 구동할 경우, KV 캐시는 토큰 1개당 약 0.31MB를 소모한다. 맥락 길이 128K 토큰에서는 약 40GB, 100만 토큰에서는 300GB를 초과하는데, 이는 모델 가중치 자체인 140GB를 훌쩍 넘는 수치다. 더 심각한 문제는 새 토큰이 디코딩될 때마다 전체 캐시를 고대역폭 메모리(HBM)에서 스트리밍해야 하므로, 연산이 컴퓨팅이 아닌 메모리 대역폭에 묶이게 된다는 점이다. KV 캐시 압축은 비용과 지연 시간을 동시에 줄이는 가장 직접적인 레버가 된다.
현재 KV 압축 기법은 토큰 제거(H2O, SnapKV), 양자화(KIVI, GEAR), 저랭크 투영(Palu), 병합(KVMerger), 아키텍처 공유(MLA) 등 다섯 계열로 구분된다. 2026년 연구는 특히 초저비트 양자화 영역에서 새로운 돌파구를 열었다. 구글·NYU의 TurboQuant(ICLR 2026 채택)와 Together AI의 OSCAR는 같은 문제를 반대 방향에서 공략하고, 애플의 EpiCache는 이 둘 모두가 다루지 못하는 영역을 겨냥한다.
TurboQuant의 핵심 아이디어는 데이터를 보지 않고도 작동하는 ‘데이터 비의존적’ 압축이다. 1단계에서 각 벡터를 무작위 회전해 좌표를 거의 독립적인 가우시안 분포로 만들고, 최적화된 스칼라 양자화기(Lloyd-Max 방식)를 적용한다. 2단계에서는 잔차에 1비트 양자화된 존슨-린덴스트라우스(QJL) 변환을 적용해 어텐션 로짓의 편향 없는 추정치를 얻는다. 이론적으로 TurboQuant의 왜곡은 정보이론적 하한치의 약 2.7배 이내임이 증명된다. 4배 압축에서 Needle-in-a-Haystack 태스크의 리콜이 사실상 전정밀도와 동일하며, 3.5비트에서 품질 중립, 2.5비트에서 미미한 저하를 보인다고 보고된다. 캘리브레이션이 불필요하므로 어떤 모델에도 바로 적용할 수 있는 범용성이 강점이다. 단, 일부에서 언급되는 “H100에서 어텐션 8배 속도 향상”은 구글 블로그의 좁은 마이크로벤치마크 수치이며 논문 본문의 결과가 아니므로 이를 전체 성능 대표값으로 받아들여서는 안 된다.
OSCAR는 반대 방향으로 접근한다. INT2(4개 레벨)처럼 정밀도가 극도로 낮은 상황에서는 데이터를 무시한 회전이 충분하지 않다는 전제에서 출발한다. OSCAR는 한 차례의 오프라인 캘리브레이션을 통해 ‘어텐션 인식’ 회전을 계산한다. 키는 쿼리 공분산의 고유 기저로, 값은 스코어 가중 값 공분산으로 회전되며, 하다마르 변환과 비트 역순 치환으로 채널 중요도를 균등하게 분산한다. OSCAR가 단순한 알고리즘이 아닌 완결된 시스템으로 평가받는 이유는 혼합 정밀도 페이지드 캐시(싱크·최근 토큰은 BF16, 나머지는 INT2), SGLang 완전 통합, Qwen3-4B/8B/32B·GLM-4.7-FP8·MiniMax-M2.7 등 주요 모델용 사전 계산 회전 행렬(RotationZoo)을 함께 제공하기 때문이다. 유효 2.28비트에서 Qwen3-8B 대비 BF16과 1.42포인트 차이를 보이며, Qwen3-32B에서는 0.02포인트 차이로 사실상 동등한 성능을 기록했다. GLM-4.7-FP8에서 단순 INT2가 정확도 0으로 붕괴되는 환경에서도 OSCAR는 BF16에 견주는 결과를 내며 우위를 보인다. Together AI는 100K 토큰 맥락에서 최대 7.83배 처리량 향상과 약 8배 KV 캐시 메모리 절감, 최대 3배 빠른 디코딩을 보고했다.
OSCAR 보고서에서 TurboQuant가 비교 가능한 비트 예산에서 40포인트 이상 하락했다는 수치가 제시됐으나, 이 평가는 OSCAR 자체 프레임워크 내에서 진행됐고 모든 레이어에 양자화를 적용했으며 단일 무작위 시드를 사용하고 TurboQuant의 의도된 비트폭 범위(3~4비트) 이하에서 수행된 것이다. 이는 양 기술의 우열을 확정짓는 근거로 삼기에 한계가 있다. 두 기술이 경쟁이 아닌 상호 보완 관계가 될 수 있다는 가능성이 더 흥미롭다. 캘리브레이션 기반 회전과 최적 스칼라 양자화를 결합하면 시너지를 낼 수 있다는 아이디어는 양쪽 연구팀 모두 공개적으로 인정한 방향이다.
세 번째 접근법인 애플의 EpiCache는 앞선 두 기술이 전혀 다루지 않는 문제를 겨냥한다. TurboQuant와 OSCAR는 단일 긴 맥락에 최적화돼 있는 반면, EpiCache는 다회전 대화에서 역사가 누적되는 상황을 다룬다. EpiCache는 네 가지 메커니즘으로 구성된다. 블록 단위 프리필로 피크 메모리를 제한하고, 에피소드 클러스터링으로 대화를 의미 있는 에피소드 단위로 분할하며 각각 압축 캐시를 붙인다. 추론 시에는 쿼리와 가장 관련 높은 에피소드를 찾아 라우팅하고, 레이어별 적응형 예산 배분으로 각 레이어의 제거 민감도에 따라 메모리를 차등 분배한다. LongMemEval, RealTalk, LoCoMo 벤치마크에서 제거 기반 기준선 대비 최대 40% 정확도 향상, 4~6배 압축에서 전체 캐시 수준의 정확도 유지, 최대 3.5배 피크 메모리 감소 및 약 2.4배 지연 감소가 보고됐다. 어떤 토큰을 보관할지(EpiCache)와 얼마나 정밀하게 저장할지(OSCAR·TurboQuant)는 직교하는 문제이므로, EpiCache는 두 기술과 결합해 누적 절감 효과를 낼 수 있다.
세 기술의 선택 기준은 제약 조건에 따라 명확하게 갈린다. 배포 가능한 INT2 수준의 극한 압축이 필요하고 지원 모델이 일치한다면 OSCAR가 현재 유일하게 실증된 선택지다. 모델 종류를 가리지 않는 범용 압축에서 3~4비트 고품질을 원한다면 TurboQuant가 더 넓은 적용 가능성을 제공한다. 긴 대화 이력을 다루는 에이전트·챗봇 등 다회전 시스템이라면 EpiCache가 다른 두 기술로는 해결할 수 없는 문제를 정면으로 다룬다. 이 세 접근법은 경쟁 관계보다 서로 다른 차원의 해법으로 보는 것이 합리적이다.
산업 관점에서 이 기술 경쟁은 단순한 학술 논쟁을 넘어선다. LLM 서비스의 운영 비용에서 GPU 메모리 점유율은 핵심 원가 요소이며, KV 캐시 압축 기술의 실용화는 장문 맥락 서비스의 경제성을 직접 결정한다. 국내에서도 네이버, 카카오, LG AI연구원 등이 자체 모델 기반의 서비스를 운영하고 있어, 이러한 효율화 기술의 도입이 서비스 경쟁력과 직결된다. LLM 추론 최적화 흐름에서 KV 캐시 압축은 모델 경량화와 함께 가장 주목받는 기술 방향 중 하나다.
2026년 하반기 관전 포인트는 두 가지다. 첫째, OSCAR와 TurboQuant의 보완 결합이 실제로 구현돼 배포 가능한 시스템으로 등장할 것인가. 둘째, EpiCache의 에피소드 기반 관리가 다회전 에이전트 시장에서 실질적인 채택으로 이어질 것인가다. 세 기술이 개별 경쟁보다 조합으로 쓰이는 생산 환경이 늘어날수록, LLM 서비스의 메모리 비용 구조는 현재와 전혀 다른 모습이 될 것으로 보인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
