강화학습에서 비평가(critic)는 보통 상태의 절대 가치를 추정한다. 그런데 이 프리프린트는 제어에 실제로 필요한 것은 값 자체가 아니라 값의 차이라고 본다. 이에 따라 상태쌍을 입력으로 받아 antisymmetric 함수 Δ(s_i, s_j)=V(s_i)-V(s_j)를 직접 학습하는 Relative Value Learning(RV)을 제안한다. 논문은 이 설정이 절대값의 기준점이 흔들리는 문제를 피하고, 비교가 핵심인 환경에 더 잘 맞는다고 설명한다.
이 방법의 핵심은 쌍대 Bellman 연산자다. 원문은 이를 γ-contraction으로 증명하고, 유일한 고정점이 실제 가치 차이와 일치함을 보인다. 또 1-step, n-step, λ-return 타깃을 관측 가능한 보상과 비종료 pairwise term만으로 유도해, 부트스트래핑 타깃이 well-posed하다고 정리한다. 장점은 일반화된 advantage estimation도 상태쌍 차이로 다시 구성할 수 있다는 점이며, 그렇게 얻은 R-GAE는 편향이 없는 정책경사 추정기로 제시된다.
실증은 PPO와 결합한 형태로 진행됐다. 저자들은 Atari benchmark의 49개 ALE 게임에서 표준 PPO와 비교했고, EnvPool을 사용한 고처리량 환경 시뮬레이션으로 40M frames, 즉 10M environment steps 동안 학습했다. 마지막 100개 에피소드의 평균 점수와 표준편차를 기준으로 보면, PPO+RV는 49개 게임 중 30개에서 PPO를, 37개에서 DAE를 앞섰다고 보고된다. 또 figure 3의 집계에서는 median, IQM, mean 지표가 함께 제시되어 방법 간 차이를 비교했다.
개별 게임 성능은 편차가 있었다. 예컨대 Alien은 PPO 1850.3±376.8, DAE 1372.7±349.3, PPO+RV 1748.8±408.7이었고, RoadRunner는 25,076.0±10,851.2, 16,146.3±3,074.0, 43,346.3±6,741.1로 RV 결합이 높았다. 반면 Centipede는 4,386.4±165.6, 3,915.8±694.4, 1,226.1±104.5로 낮았다. 이런 결과는 평균적으로는 경쟁력이 있지만, 모든 게임에서 일관된 우세를 보인 것은 아니라는 뜻으로 읽힌다.
논문은 한계도 분명히 적었다. gauge fixing 때문에 R-GAE에 trajectory-constant baseline B_t가 생기며, 긴 horizon이거나 γλ→1에 가까울수록 분산이 커질 수 있다고 밝혔다. 이 영향은 relative value initialization으로 일부만 줄어든다고 덧붙인다. 또한 1-step 부트스트래핑에서는 종료 상태가 섞일 때 타깃이 불명확해질 수 있어, 관측 보상과 non-terminal pairwise value difference만으로 대체식을 구성하는 절차를 별도로 제시했다.
| 항목 | 값 | source_locator |
|---|---|---|
| 학습 대상 | 상태쌍 가치차 Δ(s_i,s_j)=V(s_i)-V(s_j) | p.2 | source_excerpt |
| 검증 환경 | Atari benchmark 49 ALE games | p.1 | source_excerpt; p.8 | source_excerpt |
| 학습 설정 | 40M frames (10M environment steps), EnvPool 사용 | p.8 | source_excerpt |
| 비교 결과 요약 | PPO보다 30/49 게임 우세, DAE보다 37/49 게임 우세 | p.9 | source_excerpt |
자료: STORIUM 정리
정리하면, 이 연구는 절대값 추정 대신 가치 차이를 직접 배우는 비평가가 실제 Atari 벤치마크에서 PPO와 비교해 경쟁 가능하다는 점을 보인 ICLR 2026 발표 예정 프리프린트다. 이론적으로는 쌍대 Bellman 연산자의 수축성과 고정점을 제시하고, 실험적으로는 49개 게임 전체에서 평균적 성능과 게임별 편차를 함께 확인했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
