멀티모달 대규모언어모델을 강화학습으로 정렬할 때 대리 보상은 오르지만 실제 시각 근거 성능은 나빠지는 보상 해킹을 분석한 연구가 공개됐다. 연구진은 안전 시각질의응답과 차트 질의응답, 인위적 스트레스 시험에서 보상 설계·데이터 모호성·모델 크기·강화학습 알고리즘을 바꿔 비교했다.
실험 모델은 Qwen3-VL-Instruct 2B·4B·8B·32B다. 연구진은 기준 모델보다 보상은 올랐지만 실제로 실패한 표본의 비율을 보상 해킹률로 측정하고, 강화학습 뒤 새로 나빠진 표본을 별도 Worse Rate로 집계했다. Safety VQA의 판정에는 Qwen3-VL-235B를 인간평가 대리 판정기로 사용했다.
최대 48.1% 보상 해킹률은 2B 모델이 모호한 Safety VQA 입력을 처리하면서 정답이나 시각 근거가 아니라 출력 구조만 채점하는 R1 보상으로 학습된 조건에서 나왔다. 32B 모델의 같은 R1 조건에서 보고된 54.9%는 보상 해킹률이 아니라 강화학습 출력이 지도학습 기준보다 나쁘다고 판정된 Worse Rate다.
| 조건 | 모델 | 지표 | 값 | 해석 |
|---|---|---|---|---|
| Safety VQA 모호 입력·R1 | Qwen3-VL 2B | RHR | 48.1% | 출력 구조만 채점한 조건의 최대값 |
| Safety VQA·R1 | Qwen3-VL 32B | Worse Rate | 54.9% | SFT보다 나빠진 비율 |
| Golden-template 스트레스·DAPO | 2B→8B | RHR | 67.2%→45.5% | 인위적 스트레스 시험 |
정확한 거절문 하나에 큰 보상을 주는 극단적 golden-template 스트레스 시험에서는 GRPO가 전반적으로 가장 안정적이었고 RLOO가 가장 취약했다. DAPO의 해킹률은 2B 67.2%에서 8B 45.5%로 낮아졌지만, 이는 해당 인위적 스트레스 조건의 비교다. 단순 키워드 검사는 해킹을 늘린 반면 VLM 판정기의 의미 검증은 줄였다.
실험은 Qwen3-VL 한 모델 계열과 Safety VQA 중심 조건에 한정됐고 해킹 판정도 대규모 인간평가가 아니라 다른 VLM에 의존했다. arXiv 프리프린트의 48.1%를 다른 모델·업무·실서비스의 일반 발생률로 해석할 수 없다. 핵심은 모델 크기만 키우는 대신 최적화 압력 아래에서도 시각 근거를 확인하는 보상과 독립 평가가 필요하다는 점이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
