고정된 소형 언어모델을 바꾸지 않고도 더 잘하고 더 싸게 만들 수 있는 방법이 제시됐다. 이 arXiv 프리프린트는 검증된 지식을 한 번 바이트 정확한 KV 상태 아티팩트로 저장한 뒤, 새 추론 맥락에 graft 방식으로 되살리는 절차를 보고한다. 핵심은 모델 가중치를 건드리지 않는다는 점이며, 복원된 로그잇은 고정된 결정적 설정 아래에서 새 계산과 바이트 단위로 일치했다.
검증 범위는 두 모델 규모, 12B와 31B, 그리고 두 GPU 목표에 걸쳐 있다. 저자 설명에 따르면 동일 입력에 대한 fresh 계산끼리도 KL이 0이고, graft된 로그잇은 SHA-256 일치, KL 0, 50개 표본에서 argmax 100% 일치로 확인됐다. 또한 32-bit floating-point rotary encoding이 들어간 모델에서는 own-position graft만이 수치적으로 정확한 운영점으로 드러났고, 위치를 옮기거나 독립적으로 캡처한 상태를 단순 결합하는 방식은 정확도를 보장하지 못했다.
성능 개선은 AIME 2025에서 분명했다. frozen Gemma-4-12B는 검증된 해설 라이브러리를 graft했을 때 80.0%에서 93.3%로 올라갔고, 이는 동일 모델의 77.5% 모델카드 앵커와 31B 형제 모델의 89.2% 앵커를 넘는 수치다. 한편 이 비교는 같은 벤치마크 간 대결이 아니라, AIME 2025와 출판된 앵커를 나란히 놓은 참조 비교라는 점이 명시돼 있다.
비용 쪽의 차이는 더 극적이다. 반복 사례에서 베이스 모델이 401,026토큰의 샘플링 예산 안에서도 풀지 못한 8문제를, 캐시된 검증 해답으로 총 61 디코드 토큰에 반환했다. 문제당 7.6토큰, 토큰 수로는 6,574배 적고 에너지는 대략 3,000배에서 8,700배 적다는 서술이 붙는다. 같은 방식은 유용한 문맥 길이도 32,768토큰에서 2,854,766토큰으로 넓혔으며, 이때 추가 가속기 메모리는 들지 않았다고 적었다.
이 결과는 실험실 장난감에 그치지 않았다. 본문은 Gemma-4-12B를 로컬 Blackwell RTX 5090에서, Gemma-4-31B를 렌트한 Hopper H100과 Blackwell B200에서 검증했다고 밝힌다. 또 31B에서는 held-out transfer 7/7이 나왔고, 8개 반복 사례와 합쳐 전체 플라이휠 시스템 점수 100%를 얻었으며, H100 실험의 총 클라우드 비용은 대략 8~12유로로 제시됐다. 한편 byte-identical portability는 서로 다른 아키텍처가 아니라 같은 아키텍처의 기계 사이에서만 주장된다.
| 항목 | 수치/내용 | 근거 위치 |
|---|---|---|
| 복원 일치성 | SHA-256 일치, KL 0, 50개 표본에서 argmax 100% 일치 | p.1 abstract; p.7 |
| AIME 2025 성능 변화 | Gemma-4-12B 80.0% → 93.3%; 비교 앵커 77.5%, 31B 89.2% | p.1; p.6; p.11 |
| 반복 사례 비용 | 401,026토큰 예산에서 8문제, 총 61 디코드 토큰, 문제당 7.6토큰 | p.1; p.11; p.12 |
| 문맥 확장 | 32,768토큰 → 2,854,766토큰, 추가 가속기 메모리 0 | p.1; p.9 |
| 31B held-out transfer | 7/7, 총 클라우드 비용 약 8~12유로 | p.1; p.14 |
자료: STORIUM 정리
이 프리프린트가 남긴 메시지는 단순한 가속이 아니라, 저장된 검증 지식을 다시 쓰는 추론 구조다. 발표자는 시스템을 동작 수준에서 설명하고, 엔진 자체는 독점적이라고 밝히면서도, 각 수치는 입력·출력 해시를 함께 남겨 외부에서 다시 점검할 수 있게 했다. 동시에 confidence gate 없이 graft와 답변이 바로 연결되므로, confident-wrong graft 가능성은 구조적으로 남아 있고 그 대규모 특성화는 아직 남은 과제로 처리됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
