불확실성 정량화(UQ)를 둘러싼 여러 지표를 하나의 관점으로 묶으려는 이론적 제안이 나왔다. 이 논문은 불확실성을 독립된 원시 개념으로 두지 않고, 모델링 선택과 엄격 적절 손실(strictly proper loss)에 따라 생겨나는 분해 항으로 본다. 이 연구는 2026년 7월 16일 arXiv에 제출된 v1 프리프린트이며, 학회·저널 게재 여부는 명시되지 않았다. 논문은 주관적 위험(subjective risk)을 기준으로 에피스테믹과 알레아토릭 항이 어떻게 유도되는지 설명한다.
핵심은 역방향 기대손실을 분해하는 방식이다. 연구진은 실제 데이터 생성 분포가 아니라 모델의 신념 분포 아래에서 평가하는 주관적 위험을 정의하고, 여기에 Bregman 발산과 일반화 엔트로피를 결합한다. 이때 역 교차엔트로피(reverse cross-entropy)를 쓰면, 익숙한 정보이론적 항인 상호정보량과 조건부 엔트로피가 그대로 되살아난다. 같은 절차로 기존 문헌에서 따로 제안된 여러 UQ 지표도 공통 기반 위에 놓을 수 있다고 본다.
이 관점은 단순한 재명명에 그치지 않는다. 논문은 기대 주관적 위험이 바이어스, 분산, 일반화 엔트로피로 나뉜다는 정리를 제시하고, 카테고리 분류에서는 Gal(2016)의 정보이론적 분해를, 가우시안 회귀에서는 평균과 분산에 대한 대응식을 복원한다. 예를 들어 가우시안의 경우 분산 항은 상호정보량 I(Ŷ;Θ)로, 알레아토릭 항은 Eθ[1/2 ln(2πeσ²_θ)] 형태의 기대 미분 엔트로피로 나타난다.
손실의 기하도 중요하게 다뤄진다. 손실 함수가 유도하는 생성함수의 곡률이 확률 단체의 경계 근처에서 커질수록, 현실적으로 불가능하거나 낮은 확률의 사건에 모델이 확신을 둘 때 더 큰 벌점을 준다. 로그 손실, Brier 손실, pseudo-spherical 손실을 비교한 논의에서는 이런 차이가 왜 어떤 UQ 지표는 민감하고 어떤 지표는 둔감한지를 설명하는 근거로 쓰인다. 결국 “모형이 얼마나 맞는가”를 묻는 objective risk와 “모형이 얼마나 현실적인가”를 묻는 subjective risk를 구분해야 한다는 주장이다.
학습이론 쪽으로도 연결을 넓힌다. 기존의 초과 위험, 근사 오차, 추정 오차에 대응하는 주관적 버전을 정의하고, 주관적 추정오차는 항상 음이 아니며 주관적 근사 갭은 경우에 따라 음수가 될 수 있음을 보인다. 또한 사후 혼합 예측분포와의 투영이 같아지는 조건을 통해, 내부 신념과 외부 현실이 언제 같은 최적 모델을 고르는지도 정리한다. 분포 재현성, 로스 기하, 데이터·절차적 불확실성의 분해를 한 프레임으로 묶으려는 시도라는 점이 이 글의 요지다.
| 구분 | 원문 값 | 의미 |
|---|---|---|
| 역 교차엔트로피 카테고리 사례 | 기대 주관적 위험 = K(¯q || p) + I(Ŷ; Θ) + H(Ŷ | Θ) | 바이어스/분산/일반화 엔트로피 분해 |
| 가우시안 평균·분산 사례 | 기대 주관적 위험 = K(¯q || p) + I(Ŷ; Θ) + Eθ[1/2 ln(2πe σ²_θ)] | 회귀에서의 대응식 |
| Bernoulli label-wise 사례 | 기대 주관적 위험 = (Eθ[µθ]-µp)^2 + Eθ[(µθ-Eθ[µθ])^2] + Eθ[µθ(1-µθ)] | 레이블 단위 불확실성 |
| 데이터/절차적 분해 | EZ[(µZ-EZ[µZ])²] = 데이터 불확실성 + 절차적 불확실성 | 주관적 분산의 세분화 |
자료: STORIUM 정리
논문은 실험 보고서가 아니라 이론 전개 중심이다. 따라서 검증 범위도 수치 성능이 아니라, 어떤 손실과 분포 가정에서 어떤 기존 불확실성 척도가 복원되는지에 맞춰져 있다. 역 교차엔트로피, 가우시안, Bernoulli, Deep Ensembles, 데이터 대 절차적 불확실성 같은 사례가 모두 같은 정리의 특수한 경우로 정리된다. 이를 통해 UQ 지표들 사이의 충돌이 실제 모순이 아니라, 같은 모델 위에서 손실 기하가 달라질 때 생기는 차이라는 해석을 제시한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
