언어모델 합의 연구진 “같은 답이 정확도 보장 못해”…과학·수학 문항 분석
과학·수학 문항 분석에서 모델 합의는 조건부 신호에 그쳤고 최전선 모델의 높은 일관성이 과신으로 이어질 수 있다고 나타났다.
[태그:] 자기 일관성
GRAPHEVAL 연구진 “추론 일관성 지표, 15개 조건 중 14개서 음의 상관”
GRAPHEVAL 연구진은 그래프 기반 지표가 15개 모델·데이터 조건 중 14개에서 추론 충실도와 음의 상관을 보였다고 보고했다.
과학·수학 문항 분석에서 모델 합의는 조건부 신호에 그쳤고 최전선 모델의 높은 일관성이 과신으로 이어질 수 있다고 나타났다.
GRAPHEVAL 연구진은 그래프 기반 지표가 15개 모델·데이터 조건 중 14개에서 추론 충실도와 음의 상관을 보였다고 보고했다.
