언어모델 평가에서 여러 번 같은 답이 나오거나 서로 다른 모델 심판이 같은 결론을 내리면 신뢰도가 높다는 가정이 널리 쓰인다. 한 연구팀은 자기 일관성과 모델 간 합의가 실제 정확도를 얼마나 설명하는지 과학 질의와 수학 문제를 이용해 분석했다. 모델 등급과 규모, 프롬프팅 조건을 바꿔 합의와 정답의 관계를 비교했다.
연구진은 합의가 전반적으로 정확도와 양의 관계를 보였지만 독립적인 정답 보증 지표는 아니었다고 보고했다. 성능이 아직 포화되지 않은 중간 등급 모델에서는 추가 계산을 어디에 배분할지 정하는 조건부 신호로 비교적 유용했다. 반면 가장 일관된 최전선 모델에서는 높은 합의가 높은 정확도로 이어지지 않는 과신 사례가 나타났다.
다른 모델 계열을 확인한 탐색 분석에서도 공급자를 넘어 자신감 있는 오류가 반복됐다. 모델들이 유사한 학습 자료, 문제 풀이 요령이나 선택지 위치 선호를 공유하면 겉보기의 다수결이 독립된 증거가 되지 못한다. 같은 편향에서 나온 여러 답을 서로 다른 관측으로 계산하면 신뢰도를 과대평가할 수 있다.
연구가 다룬 표본은 과학·수학 문항과 저자들이 선택한 모델·프롬프트 조건에 한정된다. 합의와 정확도의 관계는 과제 형식, 채점 방식과 모델 세대가 바뀌면 달라질 수 있다. 공개된 결과는 연구진의 분석이며 다른 평가 집단이 동일한 실행 조건에서 재현한 독립 검증으로 보기는 어렵다.
실무에서는 합의 점수를 불확실성의 보조 신호로만 쓰고, 출처 근거와 코드 실행, 외부 도구 검사, 사람 검토를 함께 적용해야 한다. 특히 여러 심판이 정말 독립적인지와 문제 유형별 보정이 됐는지를 공개할 필요가 있다. 연구의 결론은 합의를 버리라는 것이 아니라 반복된 답을 정답 검증과 동일시하지 말라는 경고에 가깝다.
저작권자 © STORIUM 무단전재 및 재배포 금지
