딥러닝 모델을 비정상(non-stationary) 환경에서 지속적으로 학습시키면 새로운 데이터에 적응하는 능력, 즉 가소성(plasticity)이 점차 저하되는 현상이 발생한다. 연구팀은 이 문제를 경험적 신경탄젠트커널(empirical Neural Tangent Kernel)과의 관계 속에서 재조명하고, 층별 야코비안(Jacobian) 특이값이 1 근방을 유지하는 동역학적 등거리(dynamical isometry) 조건이 지속 학습에서 가소성을 보존하는 핵심 메커니즘임을 규명했다.
연구팀은 거의 모든 곳에서 등거리(isometric) 조건을 만족하면서도 범용 리프시츠(Lipschitz) 함수 근사 능력을 갖춘 신경망 구조를 재검토했다. 근사적 동역학 등거리 조건이 풍부한 비선형 표현력과 양립할 수 있음을 보였으며, 범용 아키텍처에 적용 가능한 효율적인 등거리 촉진 정규화 기법도 제안했다. 이 정규화는 비활성화된 ReLU 유닛을 재활성화시키는 새로운 메커니즘을 통해 작동하는 것으로 확인됐다.
연구팀은 이를 바탕으로 등거리 정규화를 경사도(gradient) 업데이트와 분리 적용하는 애덤O(AdamO)라는 새로운 최적화 알고리즘을 제안했다. 이는 가중치 감쇠(weight decay)를 정규화와 분리하는 애덤W(AdamW)의 설계 철학을 등거리 조건에 확장한 것이다. 기존 가소성 보존 기법들을 동역학 등거리의 관점에서 재해석한 결과, 이들이 등거리 조건의 일부 지표만을 부분적으로 다루고 있음도 밝혔다. 지도학습 및 강화학습 기반의 지속 학습 벤치마크 실험에서 제안 기법들은 기존 방법과 동등하거나 그 이상의 성능을 일관되게 기록했다.
이 연구는 가변하는 환경에서도 지속적으로 성능을 유지해야 하는 실제 AI 시스템의 핵심 과제를 다룬다는 점에서 의의가 있다. 자율주행, 로보틱스, 실시간 추천 시스템처럼 데이터 분포가 계속 변하는 응용 분야에서 모델을 재학습 없이 갱신해야 할 때 가소성 손실 문제는 실용적 제약으로 작용한다. 동역학 등거리라는 통일된 이론적 틀이 여러 기존 접근법을 아우르고, 새로운 최적화 알고리즘 개발로도 이어진다는 점에서 관련 연구의 이정표가 될 것으로 전망된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
