대규모 언어 모델(LLM)의 만성적 문제인 환각(hallucination)을 줄이기 위해 컨포말 예측(conformal prediction) 기법과 사후 샘플링(posterior sampling)을 결합한 연구가 arXiv에 발표됐다. 공동 저자들은 기존 컨포말 예측 기반 방법들이 생성 샘플에 사후적으로 수술적 수정을 가하는 방식에 근본적 한계가 있다고 지적하고, 샘플링 절차 자체를 수정하는 새로운 접근법을 제안했다.
기존 사후 처리 방식은 샘플링을 원자적 단계로 취급한 뒤 환각된 주장을 외과적으로 제거하는데, 이 과정에서 생성물이 비일관적이거나 모델의 확률 분포 아래 낮은 가능성을 가진 응답이 되는 문제가 발생한다. 또한 더 유용하고 도움이 되는 응답 쪽으로 확률 질량을 이동시키기 어렵다는 한계도 있다. 연구팀은 이를 해결하기 위해 교정된 고점수 영역에 해당하는 사건을 조건으로 하는 LLM 사후 분포의 근사치에서 샘플링하는 방법을 개발했다. 조건부 순차 생성 환경에 맞는 교정 절차도 함께 제시해 목표 위험 제어를 달성하게 했다.
전기 인물 정보 생성과 수학 문제 풀이라는 두 사례 연구에서 실험을 수행한 결과, 이 방법은 기존 연구와 동일한 통계적 보장을 제공하면서 하류 유용성이 더 높은 결과를 냈다. 사후 처리 방식 대비 응답의 일관성과 유용성이 개선됐다고 연구팀은 밝혔다.
컨포말 예측은 분포 자유 방법론으로 머신러닝 모델의 불확실성을 통계적으로 다루는 기법이다. 최근 LLM의 신뢰성 향상을 위해 컨포말 예측을 적용하는 연구들이 활발해지고 있으며, 이번 연구는 생성 단계 자체를 교정된 분포에 따라 안내하는 방향으로 접근 범위를 넓혔다. 환각 감소와 유용성 향상이라는 두 목표를 동시에 달성하는 방법론 연구는 LLM 실용화에 있어 핵심 과제 중 하나로 남아 있다.
