검색 증강 생성(RAG) 및 에이전트 워크로드에서 반복적으로 등장하는 문서·코드 파일 같은 구조화된 입력 구간을 접두어 조건 없이 캐시로 재사용할 수 있는 기법 MiniPIC(미니픽)이 arXiv:2606.13126으로 공개됐다. 기존 vLLM의 접두어 캐싱은 요청 간 동일한 토큰 접두어를 공유할 때만 KV 항목을 재사용할 수 있어, 위치가 달라지면 동일한 문서라도 재계산해야 했다. 위치독립 캐싱(PIC) 기법은 이 문제를 해결하지만, 기존 구현체들은 서버 코드를 크게 바꾸거나 KV 상태를 서버 외부에 두어 호스트-디바이스 전송 오버헤드가 발생하는 문제가 있었다.
MiniPIC은 두 가지 핵심 요소로 이 문제를 해결한다. 첫째, 비회전(unrotated) K 벡터를 KV 캐시에 저장하고 RoPE(Rotary Position Embedding)를 어텐션 연산 안에서 요청별 논리 위치에 맞게 적용한다. 둘째, 블록 정렬 패딩(block-aligned padding), 구간 구분자(SSep), 프롬프트 의존(PDep) 세 가지 토큰 수준의 사용자 프리미티브를 노출해 해시 동작과 블록 수준 어텐션 구조를 제어한다. 이 두 가지를 결합하면 Block-Attention, EPIC, Prompt Cache 등 여러 PIC 방법을 동일한 vLLM 인스턴스 안에서 구현할 수 있으며, KV 캐시 CPU 오프로드와도 자연스럽게 통합된다. 핵심 엔진 변경이 100줄 미만이라는 점이 설계의 특징이다.
2WikiMultihopQA 벤치마크에서 인터리브 스케줄링을 적용한 MiniPIC은 기준 vLLM 대비 프리필 처리량이 49% 향상됐다. 캐시된 구간의 최초 응답 시간(TTFT)은 최대 100배 단축됐으며, 캐시되지 않은 구간의 선형 프리필 확장성은 유지됐다. 최악의 경우에도 오버헤드는 5.7%에 그쳤다. 이 결과는 동일 문서를 여러 질문에 반복 사용하는 멀티홉 질의응답처럼 반복 구간이 많은 워크로드에서 특히 의미가 있다.
RAG 시스템과 에이전트 워크플로에서 컨텍스트 재사용 효율은 추론 비용과 응답 속도에 직결된다. 기존 접두어 캐싱이 위치 의존성 때문에 한계를 보이는 상황에서, 최소한의 코드 변경으로 여러 PIC 방식을 지원하는 MiniPIC의 접근은 실제 서빙 환경에서의 채택 문턱을 낮춘다는 점에서 주목된다. 위치독립 캐싱이 vLLM 생태계 내에서 표준화되는 흐름을 이끄는 연구로 자리매김할 수 있을지 관심이 모인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
