확률 회로(PC, Probabilistic Circuits)는 복잡한 결합 분포를 모델링하면서도 여러 추론 질의를 정확하고 효율적으로 계산할 수 있는 모델이다. 하지만 우도(likelihood)에 기반한 표준 학습 방식은 데이터에 노이즈가 섞이거나 표본 수가 적거나 분포가 달라지는 상황에서 과적합에 빠지기 쉽고 일반화가 취약해지는 약점이 있다. 연구진이 arXiv에 공개한 논문은 이 문제를 겨냥한 새로운 기법 PeTeR를 제안했다.
이런 취약성은 분포적으로 강건한 최적화(distributionally-robust optimization)로 어느 정도 완화할 수 있다. 경험적 분포 주변의 바서슈타인 공(Wasserstein ball) 안에서 최악의 경우 분포를 고려하는 방식이다. 다만 기존 방법들은 이 틀 안에서 모델을 처음부터 새로 학습시키는 데 국한돼 있었다. 이미 학습을 마친 모델에는 바로 적용하기 어려웠다는 뜻이다.
PeTeR는 이 한계를 넘기 위해 데이터가 필요 없는 사후 학습(post-training) 프레임워크로 설계됐다. 이미 학습된 확률 회로를 처음부터 다시 훈련하지 않고도 분포 변화에 강건하게 만드는 것이 목표다. 별도의 학습 데이터 없이 사전 학습된 모델 자체를 대상으로 강건화를 수행한다는 점이 특징이다.
연구진은 여러 밀도 추정 벤치마크에 걸친 실험으로 PeTeR의 효과를 확인했다고 밝혔다. 무작위 교란과 적대적 교란 양쪽에 대해 기준 모델을 효과적으로 강건화했으며, 데이터에 의존하는 강건 학습 기법들과 견주어 대등하거나 더 나은 성능을 냈다고 전했다. 이미 배포된 모델을 재훈련 부담 없이 사후에 보강할 수 있다는 점에서 실용적 의미가 있는 접근이다. 해당 논문은 동료 심사를 거치기 전 단계로 arXiv에 사전 공개됐다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
