긴 문맥을 이해하고 추론하는 능력은 대규모 언어 모델(LLM, 대규모 언어 모델)을 실제 서비스에 적용하는 데 핵심 요건으로 꼽혀 왔다. 최근 모델들은 갈수록 긴 문맥 창을 지원하지만, 정작 입력에 이미 담긴 관련 근거를 제대로 활용하지 못하는 경우가 많다는 지적이 이어지고 있다. 이는 모델이 긴 텍스트에 ‘접근’할 수는 있어도 그 정보를 실제로 ‘활용’하는 능력과는 별개라는 문제로 이어진다.
연구진은 이 문제를 해결하기 위해 ‘리컨텍스트(RECONTEXT)’라는 학습이 필요 없는 추론 기법을 제안했다. 정식 명칭은 ‘장문맥락 추론을 위한 LLM 하니스로서의 반복적 증거 재생(Recursive Evidence Replay as LLM Harness for Long-Context Reasoning)’이다. 이 기법은 모델 내부의 관련성 신호를 활용해 질의에 맞춘 증거 풀(evidence pool)을 구성하고, 최종 답변을 생성하기 전에 원본 문맥 전체를 그대로 유지한 채 이 증거 풀을 다시 재생하는 방식으로 작동한다.
리컨텍스트의 핵심은 증거를 정리하는 과정과 답변을 생성하는 과정을 분리한다는 점이다. 별도의 학습이나 외부 메모리, 문맥 자르기(pruning) 없이도 이러한 반복적 선택 과정을 수행할 수 있다는 게 연구진의 설명이다. 연구팀은 이 방식의 작동 원리를 연상 기억(associative memory) 이론에 근거해 설명하는데, 문맥은 기억 저장소로, 질문은 검색 단서로, 어텐션은 단서와 흔적 간의 연결로, 재생 과정은 흔적의 재활성화로 각각 대응시켜 개념화했다.
연구진은 긴 문맥 길이를 다루는 여러 장문맥락 데이터셋으로 실험을 진행했다. 그 결과 리컨텍스트는 서로 다른 여러 모델 기반에서 모두 증거 활용도를 일관되게 개선했으며, 실험한 모델 전반에서 가장 우수한 평균 순위를 기록했다고 밝혔다. 연구팀은 구현 코드를 깃허브에 공개했으며, 학습 과정 없이도 기존 모델의 장문맥락 추론 성능을 끌어올릴 수 있다는 점에서 실용적인 적용 가능성이 주목된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
