이미지를 생성하는 확산모델(diffusion model)을 사람 선호로 미세조정하는 RLHF가 지나치게 많은 피드백을 요구한다는 고질적 한계를 겨냥한 연구가 나왔다. 에릭 주 등 연구진은 확산 RLHF의 피드백 효율을 끌어올리는 두 가지 상호 보완적 기법을 제안하는 논문을 arXiv에 사전 공개했다. 아직 동료심사를 거치지 않은 원고다.
확산모델에 적용된 RLHF는 사람이나 보상모델의 평가를 대량으로 필요로 해 피드백 효율이 매우 낮고, 그 때문에 평가가 귀한 실제 환경에서 활용이 제한된다. 연구진의 핵심 통찰은 확산 궤적(trajectory) 안에 담긴 보상 정보가 고르게 분포하지 않는다는 점이다. 잡음을 걷어내는 여러 디노이징 시점(timestep)과 궤적 가운데 학습에 더 중요한 부분과 덜 중요한 부분이 나뉘며, 정보량이 큰 부분에 집중하면 더 나은 기울기(gradient) 갱신을 얻는다.
첫 번째 기법은 최적화 과정에서 디노이징 단계에 서로 다른 가중치를 부여하는 방식이다. 연구진은 이 가중이 근접 정책 최적화(PPO, Proximal Policy Optimization)의 최적 수렴 성질과 이론적으로 연결된다고 설명하며, 그 추세를 실험적으로 근사했다. 두 번째 기법은 정보량이 큰 궤적을 우선 재사용하는 재생(replay) 메커니즘으로, 매번 새로운 보상 평가를 요청하는 대신 과거 표본을 다시 활용하도록 한다.
두 전략을 결합하면 피드백 효율이 눈에 띄게 개선된다. 연구진은 하이퍼파라미터를 동일하게 맞춘 조건에서 일반적인 확산 RLHF 기준선 대비 표본 효율을 최대 6배까지 끌어올렸다고 밝혔다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
