양자 다체계의 파동함수를 근사하는 데 널리 쓰이는 신경양자상태(Neural Quantum States, NQS)는 유연하고 확장 가능한 프레임워크로 평가받아 왔다. 그중에서도 자기회귀(autoregressive) 모델 계열은 본(Born) 분포에서 정확하고 독립적인 샘플링이 가능해, 마르코프 연쇄(Markov chain) 방법에서 흔히 발생하는 자기상관·혼합 문제를 피할 수 있다는 장점 덕분에 특히 주목받고 있다.
그러나 이런 모델을 어떻게 최적화할지에 대한 연구는 상대적으로 덜 이뤄져 왔다는 것이 연구진의 지적이다. 널리 쓰이는 아담(Adam) 옵티마이저는 확장성은 좋지만 함수 공간의 기하학적 구조를 반영하지 못하고, 확률적 재구성(stochastic reconfiguration) 기법은 이론적으로는 정교하지만 계산 비용이 크고 대규모 모델에서는 수치적으로 불안정하다는 한계가 있다. 연구진은 이 간극을 메우기 위해 변분 에너지 최소화 문제를 본 분포에 대한 이점(advantage) 정책경사 문제로 재해석할 수 있음을 보이고, 이를 근거로 신경양자상태 학습에 신뢰영역(trust-region) 최적화 기법을 적용할 수 있다는 점을 제시했다.
이런 관점을 바탕으로 연구진은 ‘근접파동함수최적화(Proximal Wavefunction Optimization, PWO)’라는 신뢰영역 알고리즘을 새롭게 제안했다. PWO는 진폭 채널에서는 확률비(probability-ratio) 변화를, 위상 채널에서는 위상 증분을 각각 제한(clip)하는 방식으로 작동하며, 명시적인 행렬 역연산 없이 여러 차례의 갱신에 걸쳐 표본을 재사용할 수 있어 1차 최적화 기법의 확장성과 이론적 안정성 보장을 동시에 갖췄다는 설명이다.
연구진은 이징(Ising) 모델과 좌절된(frustrated) $J_1$-$J_2$ 1차원·2차원 스핀 시스템 전반에 걸쳐 PWO를 검증한 결과, 아담·minSR·SPRING 등 기존 최적화 기법 대비 안정성과 실제 수렴 속도(wall-clock convergence) 모두에서 개선된 성능을 확인했다고 밝혔다. 특히 연구진은 15억 개 매개변수를 가진 RWKV-7 모델을 파인튜닝하는 실험을 통해, 이번 방법이 기존 연구보다 세 자릿수 이상 큰 규모에서도 신경양자상태 최적화가 가능함을 입증했다고 강조했다. 이 연구는 대규모 신경망 기반 양자 시뮬레이션이 실용적인 규모로 확장될 수 있음을 보여준 사례로 평가된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
