미래 사건을 예측하도록 미세조정한 언어모델은 정답률이 높아도 자신감이 실제 성공률과 맞지 않을 수 있다. 생성한 사고과정도 어떤 근거가 예측을 움직였는지 충실하게 설명한다는 보장이 없다. 연구진은 모델의 중간 활성 표현이 출력된 설명보다 보정과 충실도를 더 직접적으로 보여줄 수 있는지 시험했다. Eternis-Forecaster 8B와 OpenForesight를 중심으로 중간 활성을 모아 표현 풀링 프로브를 학습했다.
프로브는 모델이 말로 낸 확률보다 예측 신뢰도를 더 잘 보정했고, 같은 경향은 GLM-4.7-Flash와 GLM-4.5-Air에서도 확인됐다. 사고과정 충실도는 영향력 있는 출처를 입력에서 제거하거나 주의를 돌리는 정보를 삽입하는 방식으로 평가했다. 중요한 근거를 빼면 최종 예측은 자주 달라졌지만 추론 문장은 그대로 남는 경우가 있었다. 표면 설명이 실제 결정 변화를 반영하지 못한 것이다.
내부 활성 기반 프로브는 이런 행동 변화를 사고과정보다 잘 추적했고, 설명이 교란의 영향을 숨긴 경우를 포함해 변화 방향을 84%의 사례에서 예측했다. 강제 답변 실험에서는 예측과 확신이 추론 생성 전에 상당 부분 고정돼 있음을 관찰했다. 한 번의 사전 추론 패스로 이미 결정된 답과 확신을 복원할 수 있었고, 이 분포의 퍼짐에 따라 질문을 라우팅하자 정확도 손실 없이 생성 토큰을 30~47% 줄였다고 논문은 보고한다.
이 결과는 사고과정을 곧바로 모델 결정의 인과적 설명으로 취급해서는 안 된다는 경고다. 내부 프로브도 완전한 진실 탐지기는 아니며 특정 모델과 자료에서 학습한 판별기가 다른 분포에서 같은 의미를 유지하는지 검증해야 한다. 폐쇄형 API처럼 활성에 접근할 수 없는 환경에는 직접 적용하기 어렵다. 그럼에도 예측 시스템의 감사와 비용 제어에서 출력 설명 외에 내부 신호를 활용할 실용적 가능성을 제시한다. 프로브가 경고한 사례를 사람이 재검토하고 근거 변경 실험을 반복하면 단순 정확도 평가보다 더 강한 회귀 시험을 만들 수 있다.
원문: arXiv 2607.08046
저작권자 © STORIUM 무단전재 및 재배포 금지
