검색 증강 생성(RAG, Retrieval-Augmented Generation)의 핵심 한계를 해결하는 새로운 아키텍처 ‘Grokers’가 arXiv에 발표됐다. 기존 RAG 방식은 사용자가 쿼리를 날릴 때마다 언어 모델(LM) 호출 비용이 발생하지만, Grokers는 이 처리 비용을 쓰기(write) 시점으로 앞당겨 이동시켜 쿼리 시의 LM 비용을 없애는 구조를 제안한다. 오픈소스 Qbix/Safebox/Safebots 스택에 참조 구현이 공개됐다.
Grokers 아키텍처의 핵심 동작 원리는 타입 지정 지식 그래프의 의존성 하위 그래프를 상향식(bottom-up)으로 귀납적으로 순회하는 것이다. 자율적인 Groker 에이전트는 스트림 그래프의 각 노드를 분석하고, 관리 언어 모델 호출을 통해 구조화된 속성을 추출한 뒤, 의존 관계를 따라 상위 노드로 그 이해를 합성해 나간다. 이렇게 작성된 풍부한 타입 속성은 이후 모든 쿼리에서 추가 LM 호출 없이 재사용된다. 연구팀은 이 설계에 대해 세 가지 형식적 속성을 증명했다.
첫 번째는 ‘바이트 동일성 정리(Byte-Identity Theorem)’로, 트랜잭션 방식으로 유지되는 역정규화 인덱스로부터 조립된 문맥 블록이 의미론적 변화 사이 구간에서 LM 턴 전반에 걸쳐 바이트 단위로 동일하다는 것이다. 이는 KV 캐시 히트율을 100%에 가깝게 끌어올릴 수 있다는 의미다. 두 번째는 ‘누적 단조성 정리(Accumulation Monotonicity Theorem)’로, 관리된 지식 라이브러리 성장 프로토콜 하에서 LM 호출 없이 해소되는 상호작용 비율이 완성된 상호작용 수에 따라 비감소 함수임을 보인다. 세 번째는 ‘이중 순회 순서 정리(Dual-Traversal Ordering Theorem)’로, 하향식 생성과 상향식 이해가 의존성 유향 비순환 그래프(DAG)에 대한 유일하게 올바른 순회 순서이며, 두 순서의 합성이 완전한 생성-이해 사이클을 형성한다는 것이다.
Grokers는 임베딩 기반 의미 검색의 대안으로 동의어 캐싱 프로토콜을 제시하는데, 이 캐시의 LM 폴백 비율은 유한 어휘 영역에서 0으로 수렴한다. 쿼리 성능 비용을 쓰기 시점에 선불로 지불하고 이후 쿼리 비용을 실질적으로 제거하는 이 접근은, LM 호출 비용이 서비스 규모에 따라 선형으로 증가하는 기존 RAG의 경제적 한계를 구조적으로 돌파하려는 시도로 평가된다.
