사람이 두 행동 궤적 중 하나를 고르지 못하는 이유를 단순 오류로 처리하면 서로 충돌하는 목표를 놓칠 수 있다. 밀라노공대 연구진은 속도와 안전처럼 어느 한쪽이 모든 기준에서 우월하지 않은 경우를 ‘비교 불가능’이라는 합리적 피드백으로 다루는 비교 기반 강화학습(CbRL)을 정식화했다. 기존 선호 기반 강화학습의 단일 보상 가정을 여러 목적의 보상 벡터로 넓힌 접근이다.
연구진은 마르코프 의사결정과정에 직접 선호, 역선호, 무차별, 비교 불가능의 네 결과를 붙인 MDPC 틀을 만들었다. 이어 Bradley-Terry 모델을 확장한 다목적 모델 MOBT를 제시했다. 두 궤적의 특징 차이에 보상 행렬을 적용해 목적별 효용 차이를 만들고, 우세·동률·충돌 정도를 네 범주의 확률로 변환한다. 저자들은 요구 조건을 만족하면서 음의 로그우도가 볼록할 수는 없다는 불가능성도 증명했다.
이론 분석은 선형 보상과 제한된 특징·파라미터 조건에서 데이터로 모델 파라미터를 배우는 표본 복잡도 경계를 제시한다. 전역 최적해뿐 아니라 실제 최적화가 도달할 수 있는 국소 최적해도 다뤘다. 국소해의 추가 오차는 비교 불가능 라벨의 주변확률에 의존하며, 목적 사이 충돌이 커질수록 이 항이 커질 수 있다. 실제 추정에서는 훈련 데이터의 음의 로그우도를 Adam으로 최소화했다.
실험은 합성 전문가가 라벨을 만드는 세 시뮬레이션에서 진행됐다. 5×5 GridWorld는 목표 도달, 맨 윗줄 도달, 장애물 인접 회피의 세 목적을 갖고, 1차원 LQR은 상태 비용과 제어 비용의 균형을 평가했다. MO-Gymnasium의 다목적 Hopper도 사용했다. GridWorld 1,000개 비교에서 추정 보상은 평행이동 차이를 제외하면 원래 구조를 복원했고, 비교 쌍과 쌍당 반복 라벨이 늘수록 시험 KL 발산이 낮아졌다.
GridWorld에서 500쌍·쌍당 1개 라벨의 KL 발산은 0.17±0.01이었고, 5,000쌍·10개 라벨에서는 0.04±0.01이었다. MO-Hopper는 1,000쌍·1개에서 0.15±0.02, 10,000쌍·10개에서 0.05±0.01이었다. LQR에서 복원한 정책 파레토 전선의 하이퍼볼륨 비율은 1,000개 샘플의 0.86±0.28에서 5,000개의 0.96±0.21로 높아졌다. 반면 표준 BT·Rao-Kupper 기준은 1차원 보상만 복원해 전선을 순회하지 못했다.
| 항목 | 결과·조건 | 원문 근거 |
|---|---|---|
| GridWorld 시험 KL | 500쌍·M=1: 0.17±0.01; 5,000쌍·M=10: 0.04±0.01 | Table 2(a), p.8 |
| MO-Hopper 시험 KL | 1,000쌍·M=1: 0.15±0.02; 10,000쌍·M=10: 0.05±0.01 | Table 2(b), p.8 |
| LQR 파레토 하이퍼볼륨 비율 | 1,000개 0.86±0.28 → 5,000개 0.96±0.21 | Sec. 4, pp.8–9 |
| 기준 모델 조건 | BT·Rao-Kupper, K=2,000·M=1·10회 평균 | Figure 4, p.9 |
| 평가 환경 | 5×5 GridWorld, 1D LQR, MO-Hopper | Sec. 4, p.7 |
자료: STORIUM 정리
검증은 실제 사람이 아닌 SimTeacher 기반 합성 전문가에 의존한다. 무차별과 비교 불가능을 모두 담은 실제 인간 라벨 데이터셋이 없기 때문이다. 또한 네 범주 피드백은 사람의 부담이 낮지만 목적 수가 늘수록 어떤 목적 때문에 비교가 어려운지 모호해진다. 온라인으로 물어볼 궤적 쌍을 고르는 문제도 열려 있고, 전문가가 무작위 실수를 하면 모델은 이를 합리적 비교 불가능과 구별하지 못했다. 동료평가 전 arXiv v1 결과라는 점도 고려해야 한다.
1차 출처: https://arxiv.org/abs/2607.11432
저작권자 © STORIUM 무단전재 및 재배포 금지
