낙관적 경사 하강 상승(OGDA, Optimistic Gradient Descent Ascent) 알고리즘의 비유클리드 엔트로피 버전인 낙관적 승산 업데이트(OMWU, Optimistic Multiplicative Weights Update)가 볼록-오목 안장점(saddle-point) 문제에서 점근적으로 수렴함이 수학적으로 증명됐다. OGDA의 마지막 반복(last-iterate)이 부드러운 문제에서 안장점으로 점근 수렴한다는 사실은 1980년대부터 알려져 있었지만, 그 비유클리드 대응인 OMWU가 동일한 성질을 갖는지는 오랫동안 미해결 문제로 남아 있었다.
이 연구에서 연구자는 충분히 작은 상수 학습률에서 부드러운 볼록-오목 안장점 문제에 대해 OMWU가 점근적으로 수렴함을 보였다. 이 결과는 유일성, 엄격한 여사원 보완성(strict complementarity), 오차 경계, 또는 해 근방에서의 초기화 같은 추가 조건을 필요로 하지 않는다. 증명의 핵심 새 도구는 경계 논증(boundary argument)으로, 모든 클러스터 점이 비활성 좌표 KKT 부등식을 만족함을 보인다.
연구자는 이 경계 논증이 ChatGPT의 도움으로 발견됐으며, 그 과정이 논문 부록에 문서화되어 있다고 밝혔다. AI 도구가 수학적 증명의 핵심 아이디어 발굴에 기여한 사례로 주목된다. OMWU와 OGDA는 다인 게임, 머신러닝의 적대적 훈련(GAN 등), 경제 모델링 등 다양한 분야에서 자주 쓰이는 알고리즘이다.
볼록-오목 최적화와 게임 이론적 학습 알고리즘의 수렴성 분석은 AI 모델 훈련의 안정성과 직결된다. 특히 생성적 적대 신경망(GAN) 훈련처럼 두 경쟁 목적함수를 동시에 최적화하는 문제에서 알고리즘이 수렴 보장을 갖는지는 중요한 실용적 질문이다. 이번 연구는 OMWU의 이론적 기반을 확립함으로써 이러한 응용 영역에서 수렴 이해를 심화하는 데 기여한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
