라스 판데어란(Lars van der Laan)과 네이선 칼러스(Nathan Kallus) 연구진이 오프라인 강화학습에서 정책 성능을 평가하는 새로운 방법론 ‘FORE(Fitted Occupancy-Ratio Evaluation)’를 제시했다. 오프라인 강화학습은 실제 환경과의 추가 상호작용 없이 기존에 쌓인 데이터만으로 정책을 학습하고 평가해야 하는데, 이때 데이터 분포와 실제 정책이 만들어내는 분포 사이의 차이를 보정하는 ‘점유비율(occupancy ratio)’이 핵심적인 역할을 한다.
연구팀은 점유비율을 고정점(fixed-point) 방식으로 근사하는 FORE를 제안하며, 이 방법이 인접 벨만 재귀(adjoint Bellman recursion)를 통해 할인된 점유비율을 특성화한다고 설명했다. 각 반복 단계에서 FORE는 한 단계 전이(one-step-transition) 데이터에 대해 밀도비율 목적함수를 풀고, 이를 쿨백-라이블러(KL) 발산 기준으로 로그비율 함수 공간에 투영하는 방식으로 작동한다.
이번 연구의 핵심은 기존 적합 Q-평가(fitted Q-evaluation) 방법론들이 요구했던 가치함수의 표현가능성(realizability)이나 벨만완전성(Bellman completeness) 같은 강한 가정 없이, 단지 할인된 점유비율 자체의 표현가능성만으로도 평가가 성립함을 보였다는 점이다. 연구팀은 이 조건 아래서 인접 벨만 연산자가 KL 수축(contraction) 성질을 가지므로, 모집단 수준의 KL 투영 재귀가 상대 엔트로피 기준으로 참값에 수렴한다는 점을 이론적으로 증명했다. 실제 데이터를 이용한 경험적 재귀에 대해서도 유한 표본 후회(regret) 경계를 제시해, 로그비율 근사 오차와 가설 공간의 복잡도에 따라 결정되는 통계적 오차까지 수렴함을 보였다.
연구팀은 이렇게 추정된 점유비율이 보상 재가중을 통한 직접적인 가치 추정, 점유가중 적합 Q-평가, 그리고 적합 Q-함수와 결합한 이중강건(doubly robust) 추정 등 다양한 오프라인 평가 기법에 활용될 수 있다고 설명했다. 이번 연구는 완전성 가정 없이도 오프라인 정책 평가가 가능하다는 충분조건을 제시했다는 점에서, 데이터 기반 의사결정이 중요한 로보틱스·추천시스템·헬스케어 등 실무 강화학습 분야에 이론적 토대를 제공할 것으로 보인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
