비선형 최소제곱(nonlinear least-squares) 최적화는 데이터에 모델을 맞추는 여러 과학·공학 문제의 뼈대다. 이때 모델의 예측값들은 하나의 기하학적 다양체(manifold)를 이루는데, 매개변수를 어떻게 잡느냐에 따라 곡률(curvature) 효과가 생겨 널리 쓰이는 레벤버그-마쿼트(Levenberg-Marquardt·LM) 기법의 발목을 잡는다. 리우 지아닝(Jianing Liu)과 둥 H. 장(Dong H. Zhang)이 arXiv에 공개한 연구는 이 문제를 기하학적으로 다뤘다. 이 논문은 동료 심사 전 단계의 arXiv 공개본이다.
기존에도 측지 가속(geodesic acceleration)이라는 2차 보정이 있었지만, 이는 걸음 폭이 무한히 작을 때에만 정확하다는 한계가 있었다. 실제 최적화에서는 유한한 크기의 걸음을 내딛기 때문에 이 근사가 어긋날 수 있다.
연구진은 리만 정규 좌표(Riemann normal coordinates)를 활용한 RNC-LM 기법을 제안했다. 측지 보정을 임의의 차수까지 확장해 유한한 걸음에서도 더 정확한 갱신이 가능하도록 한 것이다. 이 방법은 걸음 거리를 조절하는 선 탐색(line search)을 함께 쓰면서도 연산 비용은 표준 LM 수준으로 유지하며, 접선 방향의 잔차 가속 성분을 점진적으로 제거한다.
실험에서 RNC-LM은 곡률이 크거나 계수가 부족한(rank-deficient) 문제에서 수렴 성능이 개선됐다. 물리 정보 신경망(physics-informed neural network) 벤치마크에서는 상대 오차를 약 1e-3 수준까지 낮췄고, 대규모 퍼텐셜 에너지 표면(potential-energy-surface) 적합 과제에서는 표준 LM 대비 약 34배의 속도 향상을 보고했다.
이 연구는 머신러닝뿐 아니라 수치해석, 화학 물리, 계산 물리 등 여러 분야에 걸쳐 있으며, 곡률이 개입하는 어려운 최적화 문제에서 기하학적 관점이 실질적인 개선을 가져올 수 있음을 보여준다. 원문 초록 보기
저작권자 © STORIUM 무단전재 및 재배포 금지
