파라미터화 행동 마르코프 의사결정과정(PAMDP)에서 강화학습을 어떻게 더 적은 표본으로 학습시킬 수 있는지 다룬 arXiv v1 프리프린트가 나왔다. 헬무트-슈미트 대학 함부르크 소속 Jonas Ehrhardt, René Heesch, Oliver Niggemann은 상징적 행동과 수치 파라미터가 함께 필요한 문제에 Datalog 지식베이스와 기울기 기반 보정 절차를 결합한 KGRL을 제안했다. 이 방법은 상태가 주어지면 먼저 규칙을 평가해 적용 가능한 행동과 허용 가능한 파라미터 범위를 도출한다. 그 다음 남은 행동들에 대해 DQN의 행동가치함수 기울기를 따라 파라미터를 반복적으로 조정한다. 논문은 이 구성으로 비적용 행동을 사전에 잘라내고, 도메인 규칙으로 정해진 제약 안에서 파라미터를 탐색하게 만든다고 설명한다.
연구진은 PAMDP 환경에 이미 규칙, 안전 제약, 전문가 휴리스틱 같은 명시적이지만 불완전한 지식이 있는 경우가 많다고 본다. 그러나 기존 파라미터 추정은 대개 단발성 추정기에 의존해 학습 표본 효율이 낮았다. KGRL은 이 지식을 직접 활용해 탐색 공간을 좁히고, 학습과 배포 단계 모두에서 실행 가능한 결정을 유도하도록 설계됐다. 또한 trajectory에 활성화된 규칙을 기록해 행동 제거와 제약 부여의 근거를 지역적 절차 설명으로 남긴다.
평가는 HardMove4, HardMove8, HardMove10, CatchPoint, HardGoal, Platform의 4개 평가 도메인에서 이뤄졌다. 모든 방법은 50만 training steps, 최대 12시간 wall time, 8개 seed로 학습됐고, 1000 steps마다 16개 평가 문제에서 측정했다. 표 1의 평균 episodic return에서 KGRL은 HardMove4 -1.64±0.21, HardMove8 -1.44±0.13, HardMove10 -1.36±0.06, CatchPoint -1.70±0.00, HardGoal 49.76±0.07, Platform 0.22±0.02를 기록했다. 같은 표에서 MP-DQN은 각각 -3.48±0.48, -3.47±0.30, -3.28±0.36, -5.23±0.31, 47.62±0.64, 0.19±0.06이었고, 나머지 기준선도 대체로 KGRL보다 낮았다.
학습 곡선 그림 3은 KGRL이 HardMove4, CatchPoint, HardGoal, Platform에서 더 가파르게 수렴하는 양상을 보여준다. 본문은 또 KGRL의 변형 실험을 통해 지식 유도와 기울기 유도가 각각 성능에 기여했음을 비교했다. 예컨대 평가 단계에서 지식 유도를 제거한 KGRL(eval nokb)은 HardMove4 -4.33±0.43, HardGoal 34.00±1.22으로 떨어졌고, 지식과 기울기 둘 다 제거한 KGRL(eval nogg nokb)은 HardMove4 -4.81±0.36, HardGoal 34.68±1.85였다.
| 도메인 | KGRL 평균 episodic return | 비교 기준선 예시 | 원문 위치 |
|---|---|---|---|
| HardMove4 | -1.64 ± 0.21 | MP-DQN: -3.48 ± 0.48 | Table 1 |
| HardMove8 | -1.44 ± 0.13 | MP-DQN: -3.47 ± 0.30 | Table 1 |
| HardMove10 | -1.36 ± 0.06 | MP-DQN: -3.28 ± 0.36 | Table 1 |
| CatchPoint | -1.70 ± 0.00 | MP-DQN: -5.23 ± 0.31 | Table 1 |
| HardGoal | 49.76 ± 0.07 | MP-DQN: 47.62 ± 0.64 | Table 1 |
자료: STORIUM 정리
논문은 이 접근이 PAMDP에서의 샘플 효율과 누적 보상을 함께 끌어올렸다고 결론짓는다. 동시에 잘못 구성되거나 학습된 추상화 함수는 비적용 행동이나 제약을 잘못 유도할 위험이 있으며, 특히 임계값 근처와 잡음이 큰 환경에서 그 위험이 커진다고 적었다.
저작권자 © STORIUM 무단전재 및 재배포 금지
