여러 에이전트가 통신하며 함께 문제를 푸는 분산 최적화에서는, 에이전트 간 주고받는 정보의 양을 줄이는 통신 압축이 실용성을 높이는 핵심 과제로 꼽힌다. 이번 연구는 비매끄럽고 비볼록한(nonsmooth nonconvex) 목적함수를 가진 분산 최적화 문제에서, 에이전트 간 통신이 압축되는 상황을 다뤘다.
연구진은 편향 없는 압축(unbiased compression)과 오차 보상을 동반한 수축형 압축(contractive compression with error compensation)을 모두 아우르는 일반적인 프레임워크를 제안했다. 이 프레임워크는 다양한 분산 확률적 준경사법(stochastic subgradient-type methods)을 하나로 통합해 다룰 수 있도록 설계됐다. 연구진은 합의 오차(consensus-error) 반복값과 평균화된 반복값을 연속시간 미분포함(differential inclusion)의 궤적과 연관지어 분석함으로써, 목적함수가 비매끄럽고 클라크 정칙성(Clarke regularity)을 만족하지 않는 경우에도 프레임워크에 포함되는 모든 방법에 대해 전역 수렴성을 증명했다.
이 프레임워크를 토대로 연구진은 부호 기반 정규화(sign-based regularization)와 경사 추적 모멘텀(gradient-tracking momentum)을 활용하는 압축 기반 분산 확률적 준경사법을 포함해 여러 구체적인 방법을 추가로 개발했다. 예비 수치 실험 결과는 이론적 분석 결과를 실증적으로 뒷받침했으며, 새로 개발된 방법들에서 나타나는 통신량과 정확도 사이의 트레이드오프 관계도 함께 확인됐다.
연합학습이나 다중 로봇 시스템처럼 중앙 서버 없이 여러 기기가 협력해 학습하는 환경에서는 통신 비용이 성능을 좌우하는 병목이 되곤 한다. 이번 연구는 이런 환경에서 자주 마주치는 비매끄럽고 비볼록한 목적함수에 대해서도 통신을 압축하면서 수렴성을 이론적으로 보장할 수 있는 일반적 틀을 제시했다는 점에서 분산 학습 알고리즘 설계에 실질적인 참고가 될 것으로 보인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
