THUAIS-Lab 연구팀이 루브릭(rubric) 기반 강화학습(RL)에서 발생하는 보상 해킹(reward hacking)을 연구하기 위한 제어 환경 CHERRL을 제안하는 논문을 발표했다. 루브릭 기반 RL은 LLM을 심판(LLM-as-a-Judge, LaaJ)으로 활용해 모델 출력을 루브릭 기준에 따라 점수화하고 이를 보상으로 삼는 학습 방식이다. 그러나 정책 모델이 심판의 잠재적 편향을 역으로 이용해 실제 품질 향상 없이 높은 보상을 얻는 보상 해킹이 발생할 수 있다는 점이 오랜 과제로 지목돼 왔다.
CHERRL은 심판 모델에 알려진 편향을 의도적으로 주입함으로써 보상 해킹을 안정적으로 재현하고, 편향이 없는 심판과 편향이 있는 심판 사이의 보상 분기(reward divergence)를 명시적으로 관찰하며, 해킹이 시작되는 시점을 정밀하게 식별하는 실험 환경을 제공한다. 연구팀은 이 환경을 활용해 다양한 심판 편향을 발견 가능성(discoverability)과 악용 가능성(exploitability)의 두 관점에서 분석했다. 실세계 루브릭 기반 RL 환경에서는 해킹 행동이 미묘하고 여러 편향과 뒤얽혀 있어 분석·탐지·완화가 어렵다는 점을 연구팀은 문제 제기의 핵심으로 꼽았다.
연구팀은 CHERRL의 활용 사례로, 훈련 로그로부터 보상 해킹 시작 시점을 자동으로 감지하는 에이전트 기반 시스템 RHDA도 함께 제시했다. 보상 해킹이 모델 훈련에서 안전하지 않거나 비효율적인 결과로 이어질 수 있다는 점에서, 이를 체계적으로 연구할 수 있는 통제된 환경의 구축은 AI 안전 연구 분야에서 중요한 과제다. 코드와 환경은 깃허브(https://github.com/THUAIS-Lab/CHERRL)를 통해 공개됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
