단일 순전파(forward pass) 한 번으로 이미지를 생성하는 원스텝(one-step) 텍스트-이미지 생성 모델의 선호도 정렬(preference finetuning) 문제를 해결하는 새로운 온라인 파인튜닝 기법 DrPO(Drifting Preference Optimization)가 arXiv에 공개됐다. 원스텝 생성기는 배포 측면에서 효율적이지만, 기존 정렬 기법들이 정책 우도, 디노이징 궤적, 미분 가능한 보상 그래디언트 등 원스텝 구조에 적용하기 어려운 요소에 의존한다는 점이 풀어야 할 과제였다.
DrPO의 작동 방식은 각 프롬프트에 대해 현재 생성기에서 후보 이미지들을 샘플링하고, 목표 보상(target reward)으로 순위를 매긴 뒤, 높은 점수와 낮은 점수의 샘플을 활용해 특성 공간 업데이트 방향을 합성하는 구조다. 목표 보상은 순위 결정에만 사용되므로, 크기가 크거나 블랙박스이거나 미분 불가능한 보상 함수로도 훈련이 가능하다. 추론 단계는 여전히 단일 생성기 호출로 유지된다.
SD-Turbo와 SDXL-Turbo를 대상으로 여러 목표 보상 및 벤치마크를 활용한 실험에서 DrPO는 보상 그래디언트를 사용하지 않는 기존 원스텝 선호도 정렬 기준선 대비 정렬 성능이 향상됐다. 매칭된 유효 배치 설정에서 보상 모델 역전파를 제거함으로써 HPSv3 훈련 연산량을 3.51배 줄이는 효과도 확인됐다. HPSv3와 GenEval 벤치마크가 평가 지표로 활용됐다.
원스텝 생성 모델은 확산 모델 대비 추론 속도가 크게 빠르다는 장점으로 엣지 디바이스나 실시간 서비스에 적합한 기술로 주목받고 있다. 이번 DrPO 연구는 그동안 상대적으로 취약했던 원스텝 모델의 인간 선호도 정렬 문제에 실용적인 해법을 제시했다는 점에서 의미가 있으며, 초기 오프라인 실험 결과는 샘플 기반 그래디언트 합성이 온라인 보상 순위 이외의 방식으로도 활용될 수 있음을 시사한다.
