이 arXiv 프리프린트는 LLM 하니스에서 후보 답을 k개의 검증 게이트에 모두 통과시켜야만 반환하는 구조를 다룬다. 조건부 독립을 가정하면 posterior log-odds는 k에 따라 직선적으로 늘고 실패는 지수적으로 줄지만, 이 논문은 검증기들이 상관될 때 그 그림이 어떻게 달라지는지에 대한 최소 이론을 제시한다. 핵심은 같은 모델 계열이나 프롬프트 습관처럼 공유된 blind spot이 생성기의 오류와 검증기의 놓침을 함께 묶을 수 있다는 점이다.
원논문에서 정확한 식은 latent 변수 α∼G를 두었을 때 cascade posterior가 ℓk=ℓ0−ln mk, mk=E[αk]로 주어진다는 것이다. G가 퇴화하지 않으면 ℓk는 k에 대해 오목하고, Odds Law의 직선은 첫 번째 게이트에서의 접선이자 상한이 된다. 즉 게이트를 더 붙일수록 매 게이트가 주는 추가 증거는 줄어든다. 이는 하나의 게이트가 아니라 이미 살아남은 오류들만 다음 게이트에 남는 survivorship effect 때문이라고 논문은 설명한다.
| 항목 | 값 | 근거 |
|---|---|---|
| 독립 가정 대비 k=5 실패율 저평가 | 20× | Table 1 |
| 독립 가정 대비 k=10 실패율 저평가 | ≈3000× | Table 1 |
| 합성 실험 표본 수 | N = 4000 instances | Section 6 |
| 상관계수 식별에 필요한 반복 판정 수 | R = 2 | Proposition 5.1 |
자료: STORIUM 정리
상관 구조가 있으면 실패율의 꼬리도 바뀐다. G가 Beta(a,b)일 때 failure는 지수적으로 줄지 않고 1−rk≍k−b로 다항식적으로 감소한다. 이때 한 개의 상관 파라미터는 ρv=Var(α)/(ᾱ(1−ᾱ))=1/(a+b+1)이며, 두 번의 verdict만으로도 식별 가능하다고 논문은 제시한다. 여기서 말하는 것은 상관계수가 첫 번째가 아니라 두 번째 검증부터 새로 드러난다는 뜻이 아니라, 반복 판정의 통계만으로 그 값을 추정할 수 있다는 뜻이다.
blind-spot atom도 따로 다룬다. α=1에 질량 1−π가 있으면 어떤 게이트를 얼마나 더 붙여도 전체가 만들어내는 추가 증거는 −ln(1−π) nats에서 포화되고, 최종 신뢰도는 1에 도달하지 못한다. 정답 쪽 true-accept rate β까지 latent로 두면, 게이트가 결국 항상 도움이 되는지, 정체되는지, 아니면 오히려 해가 되는지는 G와 H의 상단 꼬리 지수 bα, bβ 비교로 갈린다. 평균 gate quality ¯Λ>1만으로는 장기적 방향을 보장하지 못한다.
검증은 전부 합성 실험으로 이뤄졌다. N=4000 instances, fixed seeds였고, 독립 가정으로 외삽한 곡선은 k=5에서 실패율을 20배, k=10에서 약 3000배 낮게 잡았다. 반대로 R=8 수준의 accept counts로 맞춘 상관 모형은 held-out depths를 따라갔다. 또 별도의 recovery 실험에서는 R=5와 R=50에서 blind-spot atom의 식별 가능성이 크게 달라졌지만, 이는 논문이 제시한 synthetic validation의 범위 안에 있는 결과다.
논문의 결론은 게이트를 무작정 늘리는 쪽이 아니라, 검증기와 생성기의 공통 blind spot을 줄이는 쪽에 있다. 저자는 모델 계열, 모달리티, 증거 출처를 바꾸는 decorrelation을 실제 레버로 제시하며, 같은 계열의 반복보다 서로 덜 얽힌 검증을 섞는 편이 상한을 끌어올린다고 정리한다. 현재 이 연구의 실제 데이터 검증은 아직 진행 중이며, 본문과 실험은 전부 synthetic recovery를 바탕으로 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
