언어모델이 사실 지식을 자기 가중치 속에 통째로 욱여넣는 대신, 외부 지식베이스에 따로 저장해 두었다가 필요할 때 불러오도록 하는 접근이 한 단계 나아갔다. 야이르 펠드만 등 공동 연구진은 연속형 질의를 쓰는 제한 메모리 언어모델 ‘Co-LMLM(Continuous-Query Limited Memory Language Models)’을 제안하는 논문을 arXiv에 사전 공개했다. 동료심사 전 원고다.
제한 메모리 언어모델(limited memory language model)은 사전학습 과정에서 사실 지식을 모델 가중치가 아니라 별도의 지식베이스로 외부화하고, 생성 시점에 필요한 만큼 검색해 온다. 연구진은 이런 구조가 일반적인 대규모 언어모델(LLM)로는 얻기 어려운 지식 통제 능력을 제공한다고 설명한다. 어떤 지식을 쓰는지 추적하고 관리할 수 있다는 뜻이다.
Co-LMLM은 지식베이스가 연속형 키(continuous key)와 텍스트 형태의 지식 값을 짝지어 저장하도록 설계됐다. 관계형 지식베이스에 의존하던 기존 방식에서 벗어난 것이다. 모델은 낮은 비용으로 유연한 벡터 질의를 생성하면서도, 불러온 지식이 사람이 읽을 수 있고 출처를 밝힐 수 있는(attributable) 형태로 결과에 반영되도록 한다. 연구진은 또한 임의의 텍스트에서 자유 형식의 사실 구간을 태깅하는 주석 파이프라인을 함께 제시해, 위키피디아 기반 자료로만 분석이 제한되던 종전의 한계를 풀었다.
실험에서는 위키피디아와 FineWeb-Edu로 여러 모델 규모에 걸쳐 사전학습한 결과, Co-LMLM이 기존 제한 메모리 모델과 표준 LLM을 모두 앞질러 혼란도(perplexity)와 사실 정확도 지표에서 우위를 보였다고 연구진은 밝혔다. 특히 360M 파라미터 규모에서는 40배 더 많은 데이터로 학습한 모델보다 낮은 혼란도를 기록했고, SimpleQA로 검증한 성능은 gpt-4o-mini와 비슷한 수준으로 클로드 소네트 4.5(Claude Sonnet 4.5)를 웃돌았다고 보고했다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
