여러 개의 대규모 언어모델(LLM)을 평가자로 동원해 합의된 점수를 산출하는 ‘LLM 배심원단(LLM Jury)’ 방식, 이른바 PoLL(Panel of LLM evaluators)이 단일 심사위원 평가의 현실적 대안으로 널리 쓰이고 있지만, 그 통계적 작동 방식은 제대로 규명되지 않았다는 연구가 나왔다. 연구진은 이 PoLL 방식을 통계학의 후버 오염 모델(Huber contamination model) 틀로 분석해, 배심원단 규모를 아무리 키워도 한 명의 심사위원이 모드 붕괴(mode collapse)나 아첨 성향(sycophancy), 안전 거부 같은 전형적으로 편향된 방식으로 오작동하면 오염이 조금이라도 존재하는 한 편향이 무한정 커질 수 있다는 사실을 밝혀냈다.
연구진은 이 문제를 해결하기 위해 배심원단 합의를 통계학의 고전적 문제인 강건 평균 추정(robust mean estimation)의 틀로 재구성하고, RoPoLL(Robust Panel of LLM-as-Judge)이라는 새로운 방법을 제안했다. RoPoLL은 기존 PoLL의 패널 구조는 그대로 유지하되, 점수를 합산하는 방식을 강건 평균 추정기로 교체한 것이 핵심이다. 구체적으로는 별도의 파라미터 조정이 필요 없고 유한 표본에서 이론적으로 최적인 붕괴점(breakdown point) 1/2을 갖는 기하중앙값(geometric median)을 채택했다. 붕괴점이란 추정치가 무너지지 않고 버틸 수 있는 오염 데이터의 최대 비율을 뜻하는 개념으로, 값이 클수록 이상치에 강하다는 의미다.
연구진은 이론적으로 유한 표본 오차 한계와 이에 상응하는 정보이론적 최소최대(minimax) 하한을 함께 도출했다. 두 한계는 모수적 수렴 속도(시그마 곱하기 차원수를 표본수로 나눈 값의 제곱근)에서는 일치하지만, 붕괴점 측면에서는 차원수의 제곱근에 해당하는 격차를 보였다. 연구진은 이를 계산이 사실상 불가능한 튜키 반공간 중앙값(Tukey halfspace median) 대비, 다항 시간 안에 계산 가능한 RoPoLL이 감수해야 하는 통계-계산 간 트레이드오프로 설명했다.
실증 실험에서는 40억에서 6750억 파라미터에 이르는 13개의 오픈웨이트 심사위원 모델과 세 가지 보상모델 벤치마크, 최대 50%에 달하는 오염률을 적용한 네 가지 손상 시나리오를 대상으로 검증이 이뤄졌다. 그 결과 RoPoLL은 편향된 모든 손상 유형에서 기존 PoLL 방식을 능가했다. 계산량을 동일하게 맞춘 조건에서 교차 차원 공격에는 약 19% 우위를 보였고, 꼬리가 두꺼운 비잔틴(Byzantine) 적대적 손상 상황에서는 그 격차가 수십 배에 달했다. 특히 380억 파라미터급 모델 세 개로 구성된 RoPoLL 심사위원단은 헬프스티어-2(HelpSteer-2) 벤치마크에서 30%의 이중분포(bimodal-random) 오염 조건일 때, 6750억 파라미터의 미스트랄-라지-3(Mistral-Large-3) 단일 모델보다 1.31배 높은 정확도를 기록했다. 이는 파라미터 수 기준 18배 작은 모델 조합이 더 나은 성능을 낸 셈이다. 연구진은 오염이 없는 ‘노이즈-정답(Noisy-GT)’ 대조군 실험을 통해 이 같은 성능 우위가 단순한 노이즈가 아니라 실제로 편향된 오염 데이터에 대응한 결과임을 확인했다고 밝혔다.
