학습된 신경망이 합성(compositional) 구조를 가진 과제에서 자신의 신경접선커널(NTK) 극한을 능가한다는 것은 오랜 경험적 관찰이었다. 그러나 이런 우위가 ‘언제’ 그리고 ‘얼마나’ 나타나는지에 대한 정량적 설명은 그동안 부족했다. 새로 공개된 이론 연구는 단위원(unit circle) 위에서 목표 함수의 두 가지 복잡도 척도 사이의 이분법을 통해 이 문제에 답을 제시했다.
연구진이 구분한 두 척도는 목표 함수의 ‘푸리에 복잡도’와 ‘구조적 복잡도’다. 푸리에 복잡도는 NTK 커널 회귀의 성능을 좌우하고, 구조적 복잡도는 깊이 L, 너비 w의 ReLU 신경망에서 가중치의 변동 노름(variation norm)이 R로 제한된 조건 아래에서의 학습을 좌우한다. 이 두 복잡도가 서로 갈라지는 정도가 신경망과 커널 방식의 성능 차이를 결정한다는 것이 핵심 통찰이다.
연구진은 먼저 해당 아키텍처 클래스의 미니맥스 수렴 속도를 특정해, 그 값을 L의 단일 인자 범위 안으로 좁혔다. 그다음으로 두 복잡도가 분리될 때마다 NTK 추정량이 이 하한 위에 지수적으로 떨어져 위치한다는 점을 보였다. 구체적으로 깊이 L의 반복 톱니(iterated sawtooth) 함수에서는 NTK 회귀가 4의 L제곱에 비례하는 표본을 필요로 하는 반면, 미니맥스 하한은 L에 대해 다항식 수준에 그친다고 밝혔다.
수치 실험도 이론적 주장을 뒷받침했다. 대역이 제한된 매끄러운 목표에서는 NTK가 경쟁력이 있거나 더 우수했지만, 초입방체 위의 희소 패리티(sparse-parity) 모델에서는 표준적인 2층 신경망이 NTK를 시험 오차 기준으로 네 자릿수에서 여섯 자릿수 배까지 앞섰다. 연구진은 이 격차가 일반적인 커널 대 신경망의 현상이라기보다는, 커널의 매끄러움 편향과 목표의 합성 구조 사이의 불일치에서 비롯된 함수공간의 성질이라고 결론지었다. 딥러닝이 왜 특정 구조의 문제에서 이론적 커널 방식을 크게 앞서는지를 수학적으로 짚었다는 점에서 의미가 있다.
