이미지 생성 등에 쓰이는 점수 기반 확산모델(score-based diffusion model)은 학습된 역방향 시간 흐름을 유한한 격자 단위로 이산화해 샘플을 만들어내는데, 이때 균일하거나 수작업으로 설계된 시간 배분 방식이 표준으로 쓰여 왔다. 하지만 이런 고정된 방식은 최적이 아닐 수 있다는 문제의식에서 출발한 새로운 연구가 arXiv에 공개됐다.
연구진은 ‘적응형 재매개변수화 시간(ART, Adaptive Reparameterized Time)’이라는 연속시간 제어 기법을 제안했다. 샘플링 시계의 속도 자체를 제어 대상으로 삼아 시간 변환을 학습함으로써, 학습된 시계 위에서는 균일한 격자가 원래의 확산 시간 축에서는 적응적인 시간 간격으로 작동하도록 만드는 방식이다. 오일러 방법의 1차 오차를 대리 지표로 삼아, 샘플링 경로를 따라 시간 단계를 배분하는 원칙적인 목적함수를 제공한다고 논문은 설명했다.
이 결정론적 제어 문제를 풀기 위해 연구진은 가우시안 정책을 활용하는 보조적 확률화 기법인 ‘ART-RL’도 함께 제시했다. 이는 스케줄 학습 문제를 연속시간 강화학습 문제로 변환하는 방식이다. 논문은 이 확률화된 ART-RL 공식이 최적화 지점에서 원래의 ART와 동등함을 증명했다고 밝혔다. 즉 최적의 가우시안 정책이 평균값을 통해 ART가 찾는 최적의 시간 왜곡 비율을 그대로 복원한다는 것이다. 연구진은 여기에 정책 평가와 정책 개선에 대한 이론적 특성화, 그리고 실제 구현 가능한 액터-크리틱 업데이트로 이어지는 궤적 기반 모멘트 항등식도 함께 도출했다.
저차원의 통제된 실험부터 실제 이미지 생성까지 다양한 실험에서, ART-RL은 기존 확산 샘플러의 시간 격자만 교체하는 방식으로 손쉽게 적용할 수 있으면서도 동일한 연산 예산 안에서 기존의 강력한 기준 스케줄보다 일관되게 샘플 품질을 높였다고 논문은 밝혔다. 또한 이렇게 학습된 스케줄은 별도의 재학습 없이도 다른 샘플링 예산, 데이터셋, 솔버, 파이프라인, 표현 공간으로 폭넓게 일반화되는 특성을 보였다고 연구진은 설명했다. 확산모델 기반 생성 서비스의 속도와 품질을 동시에 개선할 수 있는 실용적 기법으로 평가된다.
