GRAPHEVAL 연구진이 대규모언어모델의 여러 추론 과정을 그래프로 바꿔 불확실성과 충실도를 평가하는 방법을 제안했다. 2026년 7월 공개된 arXiv 프리프린트이자 COLM 2026 심사 중 논문이다. 최종 답의 다수결만 보는 자기 일관성은 잘못된 중간 논리로 우연히 정답에 도달한 경우와 같은 오류가 반복되는 ‘자신감 있는 환각’을 가려내기 어렵다는 문제에서 출발했다.
방법은 각 질문에서 생성한 사고 경로를 인과적 유향 비순환 그래프로 분해하고, 의미·구조 그래프 편집거리로 경로 사이 거리를 계산한다. 그래프 추론 일관성 점수 GRCS는 이 공간의 합의와 붕괴를 불확실성으로 나타낸다. 그래프 자기 일관성 GSC는 가장 흔한 답 대신 경로 집합의 중심에 있는 메도이드 추론을 선택한다.
실험은 Llama 3.1 8B, Phi-4, DeepSeek R1과 GSM8K·BoolQ·StrategyQA·MedQA·GPQA를 조합한 15개 조건에서 진행됐다. 논문에 따르면 GRCS는 15개 중 14개, 약 93%에서 추론 충실도와 음의 상관을 보였고 8개 조건에서 가장 강한 음의 상관을 기록했다. 음의 상관은 불확실성이 클수록 충실도가 낮아지는 방향을 뜻한다.
GSC와 기존 다수결이 다른 사례를 비교하면 13개 비교 가능 조건 중 7개에서 GSC가 더 높은 충실한 경로 비중을 보였다. MedQA에서 Llama 3.1 8B의 기존 방식만 맞힌 사례는 40%가 충실하고 60%가 허위 추론이었지만, GSC만 맞힌 사례는 100%가 충실했다고 연구진은 보고했다. 이는 특정 모델·데이터셋의 사후 분석이며 전체 의료 추론 성능으로 일반화할 수 없다.
평가에는 질문당 20개 추론 경로와 별도 모델의 그래프 분해가 쓰여 계산 비용과 판정 편향이 생길 수 있다. GPQA 같은 어려운 조건에서는 GRCS도 약하거나 양의 상관을 보였다. 논문은 아직 동료 검토와 독립 재현이 끝나지 않았으며, 실제 서비스에서는 외부 정답과 인간 평가를 함께 사용해야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
