홍콩대학교(HKU)·ByteDance Seed·베이징대학교 연구진이 텍스트-이미지 생성 강화학습용 보상 함수 ‘SpectraReward’를 제안했다. 생성 이미지를 사전학습 멀티모달 대형언어모델(MLLM)에 보여 주고, 원래 프롬프트의 각 토큰이 나올 이미지 조건부 로그우도를 평균해 보상으로 삼는다. 선호 라벨을 모으거나 별도 보상 모델을 미세조정하지 않고, 고정된 MLLM의 교사 강제 순전파 한 번으로 점수를 계산하는 방식이다.
통합형 멀티모달 모델에는 Self-SpectraReward를 적용했다. BAGEL의 생성 분기가 만든 이미지를 같은 모델의 이해 분기가 평가해 외부 보상 모델 없이 학습 신호를 만든다. 연구진은 생성·이해 분기가 토크나이저, 비전 인코더와 사전학습 분포를 공유하므로, 보상 모델의 단순한 크기보다 정책이 만드는 이미지 분포와의 정렬이 중요할 수 있다고 설명했다.
실험은 SD3.5-M과 BAGEL 두 생성기, 강화학습 알고리즘 3종, 4개 계열의 보상 MLLM 9개를 다뤘다. 보상 모델 규모는 4B부터 235B까지였고, 학습에는 AlphaGRPO20k 프롬프트를 사용했다. BAGEL 기본 설정은 512×512 해상도, 프롬프트 32개와 그룹 크기 16, 총 380단계였으며 32대의 A100 GPU에서 훈련했다. 평가는 학습 분포와 다른 GenEval, TIIF-Bench, DPG-Bench, GenEval2, WISE 등 5개 벤치마크에서 진행했다.
512 해상도 BAGEL 실험에서 SpectraReward는 기준선보다 TIIF-Bench 단문 점수를 10.0점, 장문 점수를 6.2점, GenEval을 4.3점 높였다. Self-SpectraReward의 GenEval 점수는 89.5로 기준선보다 5.5점 높았다. SpectraReward는 AlphaGRPO보다 TIIF 단문·장문에서 각각 6.3점과 5.3점, GenEval에서 3.3점 앞섰다. 1024 해상도 추론에서도 Self-SpectraReward는 GenEval 89.8, GenEval2 34.3을 기록했지만, 이는 논문이 정한 모델·학습 설정과 벤치마크에서 얻은 결과다.
| 512 해상도 BAGEL 설정 | TIIF 단문 | TIIF 장문 | GenEval |
|---|---|---|---|
| BAGEL 기준선 | 75.2 | 78.6 | 84.0 |
| AlphaGRPO | 78.9 | 79.5 | 85.0 |
| SpectraReward | 85.2 | 84.8 | 88.3 |
| Self-SpectraReward | 85.1 | 84.3 | 89.5 |
자료: STORIUM 정리
한계도 분명하다. 프롬프트 우도는 입력 문장에 드러난 의미 정렬을 주로 측정해, ‘뜨거운 커피’의 김처럼 문장에 직접 쓰이지 않은 물리·상식 함의를 약하게 반영할 수 있다. 보상 품질은 선택한 MLLM의 시각 이해와 추론 능력에 묶이며 미학과 안전성도 직접 최적화하지 않는다. 이 결과는 2026년 7월 13일 공개된 arXiv:2607.11886 v1 프리프린트의 저자 보고로, 동료평가와 독립 재현을 거치기 전이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
