개인 노트북에서 작동하는 4B 심층 연구 에이전트의 인용 품질을 두 지표로 나눈 실험이 공개됐다. 독립 연구자 Vinay Kumar Chaganti는 인용한 문장이 실제 출처의 지지를 받는지 보는 ‘인용 충실도’와, 필요한 정답 근거를 얼마나 빠짐없이 인용했는지 보는 ‘신뢰 가능한 포괄성’을 분리했다. 논문은 arXiv에 공개된 프리프린트이며 동료평가나 실제 배포 검증을 거치지 않았다.
실험은 24GB 메모리의 Apple M4 Pro 노트북에서 8비트 Qwen3-4B-Instruct-2507을 실행했다. BM25와 nomic 임베딩 검색을 RRF로 결합하고 63개 과제를 각 조건에 동일하게 적용했다. 출처 품질은 정답 논문을 주는 오라클과 검색 결과를 주는 나이브 조건으로, 모델에 보여주는 출처 분량은 문서당 400·800·1200·1500자로 바꿨다.
출처 노출량을 400자에서 1500자로 늘리자 나이브 조건의 인용 충실도는 0.446에서 0.581로 올랐다. 오라클 조건도 0.367에서 0.580으로 상승했다. 주 평가기에서 두 조건은 1500자일 때 사실상 같은 수준이었지만, 별도 HHEM 평가에서는 오라클 0.645와 나이브 0.607로 완전히 같지는 않았다.
신뢰 가능한 포괄성은 다른 흐름을 보였다. 나이브 조건의 인용 재현율이 약 0.40에 머물면서 포괄성은 400자 0.179에서 1500자 0.222로만 증가했다. 1500자 오라클 조건은 인용 재현율 0.604, 포괄성 0.328을 기록했다. 추가 노출에 따른 출력 비용은 나이브 기준 약 235토큰 늘었다.
| 출처 조건 | 노출량 | 인용 충실도 | 인용 재현율 | 신뢰 가능한 포괄성 |
|---|---|---|---|---|
| 오라클 | 400자 | 0.367 | 0.625 | 0.225 |
| 오라클 | 1500자 | 0.580 | 0.604 | 0.328 |
| 나이브 | 400자 | 0.446 | 0.403 | 0.179 |
| 나이브 | 1500자 | 0.581 | 0.396 | 0.222 |
자료: STORIUM 정리
이 결과는 고정된 단일 4B 생성기, 63개 과제, 자동 NLI 평가기에 기반한다. 논문도 해당 체제를 “개선 가능하지만 배포 가능한 수준은 아니다”라고 제한한다. 출처를 더 보여주는 조정은 인용문과 주장 사이의 일치를 높일 수 있지만, 검색 단계가 놓친 정답 문서는 복구하지 못한다는 구분이 이번 실험의 핵심이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
