터키어·영어 LLM 판정 코퍼스에서 생성 결함이 정확도를 32점 흔든 사례와 검증 프로토콜

LLM-as-judge 체계의 편향을 다루는 연구는 보통 정답과 함께 환각 답안을 합쳐 합성 코퍼스를 만들고, 이를 심판 모델에 판정시키는 방식에 기대 왔다. 이 논문은 그 생성 단계가 조용히 실패한 실제 사례를 추적해, 문제를 우발적 오류가 아니라 구조적 취약성으로 본다. 터키어·영어 이중언어 충실성 판정 코퍼스에서, 판정과 생성 호출이 같은 디코딩 예산 파라미터를 공유한 탓에 한 생산자의 환각 답변이 몇 단어로 잘려 나갔고, 그 결과가 통계적으로 매우 강한 효과를 만들어냈다.

관측된 현상은 한 심판의 선택 정확도가 32포인트 떨어진 것으로, N=50에서 시작된 패턴이 N=500에서도 재현됐다. 세 층의 기계적 설명과 생산자 교체 실험으로 뒷받침된 것처럼 보였지만, 실제 원인은 데이터 생성 결함이었다. 공유 파라미터를 바로잡자 효과는 상한 수준으로 사라졌고, 집계 통계가 아니라 원시 생성문을 손으로 읽는 과정에서만 결함이 드러났다. 저자 표기 기준으로 첫 저자는 Serkan Ballı이며, 이 글은 동료검토 전 arXiv에 공개된 첫 원고 상태다.

터키어·영어 LLM 판정 코퍼스에서 생성 결함이 정확도를 32점 흔든 사례와 검증 절차 논문의 Figure 1 — Figure 1: The two generation designs sit on opposite sides of the oracle line. In (a) the hallucinated answer is sampled from a producer LLM, so no mechanical check distinguishes a degenerate item from a merely short one. In (b) the hallucinated answer is derived from a gold answer by a deterministic perturbation, so the gold-to-negative relation is a free item-level oracle. 출처: arXiv:2607.13707

문제는 한 가지 편향에 그치지 않았다. Markdown 형식 선호라는 두 번째 측정 편향은 완전히 조작된 것은 아니었지만, 같은 결함 때문에 크기와 경우에 따라 부호까지 바뀌었다. 자극 길이에 따라 값이 흔들렸고, 이런 형태의 왜곡은 집계 지표만으로는 앞선 ‘붕괴’와 구분되지 않는다고 정리한다. 영어 HaluEval과 비교했을 때 터키어 데이터에서만 나타난 차이도 처음엔 언어 성능 저하처럼 보였으나, 실제로는 DeepSeek 생성물이 평균 약 2.1단어, Gemini 생성물은 약 46.9단어였다는 길이 차이가 핵심이었다.

핵심 비교는 결함이 있는 파이프라인과 수정된 파이프라인 사이였다. 수정 전에는 GLM의 DeepSeek 생성물 판정 정확도가 N=200에서 0.61이었고, 같은 조건에서 사실 정확도는 0.845였다. 분리 후에는 생성 유효성이 0%에서 98.8%로 올랐고, GLM의 선택 정확도는 1.00으로 회복됐다. DeepSeek의 자체 성능도 사실 정확도 0.88에서 1.00으로 바로잡혔다. N=500의 초기 터키어 항목에서는 GLM 선택 정확도가 약 0.64, 영어 기준선은 0.96이었고, 세 심판의 Fleiss’ κ는 0.041로 제시됐다.

이 사례를 바탕으로 논문은 시험 오라클 문제를 전면에 둔다. LLM이 음성 예시를 생성하는 코퍼스는 항목 무결성을 기계적으로 확인할 길이 없지만, 정답을 결정적으로 변형해 만든 코퍼스는 gold와 negative 사이의 문자열 비교만으로 항목 수준 오라클을 공짜로 얻는다는 설명이다. 실제로 최소 변형 코퍼스에 유사한 결함을 주입했을 때는 gold-to-negative 문자열 비교가 100% 정확도로 잡아냈고, 이 점검은 API 호출도 인간 판독도 필요 없었다. 분석 실무를 위해서는 세대 조건마다 원시 생성문 15~20개를 먼저 읽고, 길이 분포와 붕괴율을 함께 보고하라는 절차를 제안한다.

항목	수치/결과	근거 위치
GLM 선택 정확도, 수정 전	DeepSeek 생성 터키어 항목에서 0.61 (N=200)	p.10 \| controlled experiment
GLM 선택 정확도, 수정 후	같은 DeepSeek 생성 과제에서 1.00	p.10 \| controlled experiment
생성 유효성	0.0% → 98.8%	p.10 \| controlled experiment
N=500 터키어에서의 GLM 선택 정확도	약 0.64; 영어 기준선 0.96	p.9 \| anatomy of an artifact

자료: STORIUM 정리

이 논문은 약 17,800회의 LLM 호출과 함께 저장된 로그와 스크립트만으로 재현된다고 적시한다. 동시에, 대부분의 현대 다국어 LLM-as-judge 코퍼스가 이런 오라클 없는 영역에 속한다고 보며, 기존 집계 통계가 생성 결함과 측정 편향의 왜곡을 분리하지 못한다는 점을 경고한다. 실제로 같은 fault가 하나는 효과를 새로 만들어 내고, 다른 하나는 기존 효과를 비틀 수 있다는 점이 이번 사례의 요지다.