딥 residual 구조의 안정성을 둘러싼 질문에 대해, 이번 arXiv 프리프린트는 정규화 층의 유무보다 반복 블록이 입력 크기에 얼마나 빠르게 반응하는지가 핵심이라고 본다. 핵심 기준은 모든 residual block의 속도장에 대해 ∥v(x,t)∥≤c∥x∥^q+b, q∈[0,1]를 요구하는 것이다.
논문은 q=1을 경계값으로 제시하고, 이를 두 갈래로 뒷받침한다. 하나는 고전적 ODE 이론으로, q≤1에서는 [0,T] 위의 전진 흐름이 전역적으로 정의되지만 q>1에서는 유한 시간 폭주가 나타날 수 있다는 점이다. 다른 하나는 Hamilton-Jacobi-Bellman 방정식을 쓰는 최적제어 분석으로, 학습 최적점이 허용 집합의 경계에서 bang-bang 형태를 띠며 q>1 쪽 최적은 폭주하고 q≤1 쪽 최적은 안전하다고 정리한다.
이 틀은 단순한 이론 명제가 아니라 설계 문법으로도 쓰인다. 본문은 residual block을 만드는 다섯 연산에 대해 입력 크기 지수의 산술을 정의해, 블록 수준에서 q_k≤1 여부를 원시 연산 단위로 인증할 수 있다고 설명한다. 이렇게 하면 안정한 구조를 찾는 과정이 시행착오가 아니라 계산 가능한 검증 문제로 바뀐다.
검증은 Mamba와 PatchTST에 대해 이뤄졌다. Mamba에서는 RMSNorm 기반 기준선, Pre-LN, Peri-LN, 구조적 선형성 수정, 그리고 native q=5의 무정규화 대조군을 비교했다. Mamba의 q≤1 변형들은 안정적으로 학습됐고, 선형성 수정은 어떤 normalization layer도 쓰지 않고 supercritical q=5 블록을 q=1로 낮춘다고 보고한다. PatchTST에서는 같은 정규화 선택지를 비교했으며, 블록이 구조적으로 q=1이어서 선형성 수정은 적용되지 않았다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 안정성 기준 | ∥v(x,t)∥≤c∥x∥^q+b, q∈[0,1] | p.1 abstract; p.2 |
| 경계값 | q=1 | p.1 abstract; p.4 |
| Mamba 검증 범위 | RMSNorm baseline, Pre-LN, Peri-LN, structural linear-growth modification, no-normalization control at native q=5 | p.3; p.18 |
| PatchTST 검증 범위 | RMSNorm baseline, Pre-LN, Peri-LN, free velocity; linear-growth modification not applied | p.18 |
자료: STORIUM 정리
정리하면 이 논문은 안정 학습의 필요충분조건을 정규화의 존재가 아니라 입력 크기 지수 q≤1에서 찾는다. 또한 forward dynamics, adjoint sensitivity, architectural composition이 이 범위에서 잘 통제되는 함수공간을 제안하고, Mamba와 PatchTST 실험으로 그 기준이 실제 학습 안정성과 맞물린다고 제시한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
