University of Technology Nuremberg의 Christoph Hertrich과 Moritz Stargalla는 max, +, 양의 상수와의 곱만 허용하는 scalar tropical circuits(STCs)를 다뤘다. 이 모델은 기존 tropical circuit에 스칼라 곱 게이트를 더한 형태이며, 각 회로가 계산하는 함수는 polytope의 support function으로 해석된다. 연구진은 이 틀에서 최대 가중치 방향 스패닝 트리와 최대 가중치 이분 완전 매칭을 계산하는 데 지수 크기 하한이 성립함을 보였다.
핵심 결과는 두 정리로 제시된다. Birkhoff Polytope PPERM에 대해 모든 STC Φ가 fPPERM을 계산하려면 size+(Φ) ∈ 2Ω(n)이어야 하며, directed spanning tree polytope PDST에 대해서도 모든 STC Φ가 fPDST를 계산하려면 size+(Φ) ∈ 2Ω(n)이다. 여기서 size+(Φ)는 + 게이트 수만 센 값이다. PPERM은 Kn,n의 perfect matching characteristic vectors의 convex hull이고, PDST는 n개 꼭짓점에서 root n으로 향하는 arborescence들의 convex hull이다.
증명의 출발점은 decomposition lemma이다. 작은 STC가 어떤 polytope의 support function을 계산하면, 그 polytope는 소수의 Minkowski sum 조각들과 하나의 예외 조각의 convex hull로 쪼개진다. 연구진은 Birkhoff polytope와 directed spanning tree polytope에 맞는 측도를 따로 설계해, 각 조각 Ai + Bi가 대상 꼭짓점의 일부만 담을 수밖에 없음을 보였다. Birkhoff 쪽에서는 한 rectangle이 담는 perfect matching 수가 n! / (n choose floor(n/3)) 이하임을 얻었고, directed spanning tree 쪽에서는 한 rectangle이 담는 arborescence 수가 (7/9)^(n−1) (n−1)^(n−1) 이하임을 얻었다.
| 대상 | 하한/상한 | 표본·조건 | 검증 결과 |
|---|---|---|---|
| PPERM = Birkhoff Polytope for Kn,n | size+(Φ) ∈ 2Ω(n) | n/3 < µM(Ai) ≤ 2n/3 | 모든 STC가 fPPERM 계산 시 지수 하한 |
| PDST = directed spanning tree polytope on n vertices | size+(Φ) ∈ 2Ω(n) | (n−1)/3 < µA(X) ≤ 2(n−1)/3 | 모든 STC가 fPDST 계산 시 지수 하한 |
| PDST | nnc(PDST) ∈ O(n3) | tropicalization of a (+, ×, /)-circuit | 일반 maxout network 쪽은 다항 크기 상한 |
자료: STORIUM 정리
이 하한은 neural network에도 바로 이어진다. rank-2 maxout ICNN의 크기 s가 fPPERM 또는 fPDST를 계산하면, bias-free monotone maxout network로 바꾼 뒤 STC로 시뮬레이션할 수 있어 각각 mnnc(PPERM) ∈ 2Ω(n), mnnc(PDST) ∈ 2Ω(n)이 된다. 한편 PDST에 대해서는 tropicalization된 (+, ×, /)-circuit을 통해 nnc(PDST) ∈ O(n3) 상한도 제시됐다. 초록과 본문 모두 이 결과가 input-convex neural networks처럼 convexity 제약이 있는 모델이 같은 함수를 표현하려면 무제한 모델보다 때때로 지수적으로 커질 수 있음을 보여준다고 정리한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
