추론 사슬을 길게 확장해 복잡한 문제 해결 성능을 끌어올린 추론 언어모델(Reasoning Language Model, RLM)이 사실관계 오류에 취약하다는 문제를 겨냥한 새로운 검증 프레임워크가 공개됐다. 연구진은 이를 ‘체크RLM(CheckRLM)’으로 명명했으며, 관련 논문을 arXiv에 게재했다. 코드와 데이터는 깃허브(GitHub)를 통해 공개돼 있다.
연구진에 따르면 추론 언어모델은 사고 과정을 길게 확장함으로써 복잡한 과제에서 성능 향상을 이뤄냈지만, 이 과정에서 특히 지식 집약적인 과제일수록 추론 사슬 안에 사실 오류가 섞여 들어가기 쉽다는 문제가 있었다. 한 번 오류가 발생하면 이후 추론 단계에 그대로 반영돼 누적되는 경향도 있었다. 이를 해결하기 위해 연구진은 검색증강생성(Retrieval-Augmented Generation, RAG) 기법을 활용해 추론 과정에서 발생하는 사실 오류를 적시에 점검하고 교정함으로써 추론의 신뢰도를 높이는 체크RLM을 제안했다.
체크RLM의 작동 방식은 추론 사슬에서 사실에 관한 주장을 추출해, 추론 도중 미묘한 지식 불일치를 식별하고 그 위치를 정확히 짚어내는 것에서 시작한다. 오류가 감지되면 외부 지식을 활용해 최소한의 비용으로 정밀한 교정을 수행하는 정제 메커니즘이 작동하며, 이를 통해 추론 사슬과 올바른 지식 사이의 정합성을 유지한다. 연구진은 이 접근이 기존 방식처럼 추론 전체를 다시 생성하지 않고도 오류만 국소적으로 바로잡을 수 있다는 점에서 효율적이라고 설명했다.
연구진은 광범위한 실험을 통해 체크RLM이 기존 비교 대상 기법들의 성능을 상당한 격차로 앞섰으며, 특히 오랜 시간에 걸친 장기 추론 과정에서 오류가 누적되는 문제를 낮은 비용으로 효과적으로 억제하는 능력을 보였다고 밝혔다. 추론형 AI가 의료·법률·과학 연구 등 사실관계 정확성이 중요한 분야로 확산되는 가운데, 이번 연구는 추론 과정 자체의 신뢰성을 실시간으로 점검하는 기법으로서 관련 분야 후속 연구에 참고할 만한 사례로 평가된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
