신경망의 깊이를 얼마로 할지는 대개 시행착오로 정해진다. 최근 arXiv에 공개된 한 논문(동료심사 전 공개본)은 이 문제를 사후 오차 추정에 기반해 층 방향으로 구조를 스스로 조정하는 방식으로 접근했다. 신경망 학습을 연속시간 최적제어 문제로 정식화하면, 근사 오차가 각 층에 어떻게 분포되는지를 정량화하는 엄밀한 오차 추정을 끌어낼 수 있다는 것이 출발점이다.
이 오차 분해가 원칙 있는 깊이 적응 전략을 가능하게 한다. 추정된 오차가 가장 큰 위치에 새 층을 삽입해, 문제에 깔린 복잡하고 비선형적인 변화를 효율적으로 포착하도록 하는 방식이다. 어림짐작으로 층을 쌓는 대신, 어디가 부족한지를 계산해 그 자리를 보강한다는 발상이다.
연구진이 제안한 구조는 가중치와 편향을 층에 걸쳐 변하는 조각별 선형 함수로 다루며, 오차 추정기는 이 이산적 표현과 참된 연속 최적제어 해 사이의 차이를 경계 짓는다. 이를 위해 유한요소해석에서 쓰이는 이중 가중 잔차 방법론을 끌어와 함수 오차에 대한 계산 가능한 상한을 유도한다. 이론적 핵심 기여는 전체 근사 오차를 구간별 기여로 분해하는 명시적 오차 경계를 이끌어내, 표적화된 구조 개선의 엄밀한 근거를 마련한 대목이다.
연구진은 이 방법의 효과를 과학 데이터셋에서 입증했는데, 나비에-스토크스 방정식의 관측값-매개변수 사상을 학습하는 문제가 포함됐다. 수치 실험 결과 이 접근은 기존의 구조 적응 방법들보다 일반화 성능에서 일관되게 앞섰다고 논문은 밝혔다. 신경망 설계를 감이 아니라 오차 추정이라는 원리로 안내하려는 시도라는 점에 의의가 있다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
