대규모 언어 모델(LLM)이 스스로 내놓은 답을 얼마나 믿을 수 있는지 판단하는 신뢰도 추정은 모델을 실제 서비스에 배치할 때 핵심 과제로 꼽힌다. 사힐 케일(Sahil Kale)이 arXiv에 공개한 연구는 이 신뢰도가 답변이 완성된 뒤에만 존재하는 고정된 값이 아니라 답을 생성하는 과정에서 점진적으로 형성된다는 점에 주목했다. 이 논문은 동료 심사를 거치기 전 단계의 arXiv 공개본이다.
연구진은 시간의 흐름에 따라 신뢰도를 나눠 보는 관점을 택했다. 답을 내놓기 전에 형성되는 ‘앎의 느낌(Feeling-of-Knowing)’ 추정과, 답을 마친 뒤 형성되는 ‘학습에 대한 판단(Judgement-of-Learning)’ 추정을 여러 모델에 걸쳐 비교한 것이다. 그 결과 답변을 마친 뒤 표현된 신뢰도가 답하기 전에 표현된 신뢰도보다 일관되게 더 잘 보정돼 있고, 정답과 오답을 가르는 변별력도 높은 것으로 나타났다.
또한 모델이 겉으로 말하는 신뢰도보다 내부 표현을 직접 탐침(probe)했을 때 신뢰도와 관련된 정보가 훨씬 풍부하게 담겨 있다는 사실도 확인했다. 모델은 자신이 얼마나 확신하는지에 대한 단서를 내부에 이미 상당 부분 갖고 있으면서도, 이를 밖으로 온전히 표현하지는 못한다는 의미다.
연구진은 이 관찰을 바탕으로 ‘미래 신뢰도 증류(future confidence distillation)’라는 기법을 제안했다. 답을 내놓기 전 단계의 내부 표현을 입력으로 삼아 예측기를 훈련하되, 답을 마친 뒤 정답 여부를 탐침해 얻은 교사(teacher) 신뢰도 추정값을 학습의 지침으로 삼는 방식이다. 이렇게 훈련된 예측기는 추론 시점에는 답변 전 데이터만 사용하면서도, 답변 후 신뢰도가 달성하는 보정 개선 효과의 상당 부분을 되살려냈다.
연구진은 이 방법이 제한된 표본만으로도 효율적으로 작동하고, 같은 도메인 안의 여러 데이터셋에 걸쳐 일반화된다고 밝혔다. 신뢰도와 관련된 신호가 생성 과정에서 점차 발달하며 답변이 완성되기 전에 미리 예측될 수 있다는 결론은, 더 저렴하면서도 믿을 만한 신뢰도 추정 방법으로 이어질 가능성을 시사한다. 원문 초록 보기
