전력망 조건에 맞춰 냉방 부하를 옮기는 건물 운영은, 저장장치가 있어도 몇 시간 앞을 내다보는 계획이 필요하다. 이 프리프린트는 열에너지저장(TES) 스케줄링을 위해 오픈웨이트 추론모델을 강화학습으로 다듬는 방법을 제시한다. 핵심은 정확한 오프라인 동적계획법(DP) 행동값을 후보 행동마다 검증 가능한 밀집 보상으로 바꾸는 데 있다.
학습에는 30개의 훈련 프롬프트만 썼고, 모델은 텍스트로 표현된 현재 상태와 예측을 받아 시간당 히트펌프 설정값을 내는 상위 스케줄러로 취급됐다. 평가는 최적해를 정확히 구할 수 있도록 일부러 단순화한 사무실 건물 TES 벤치마크에서 이뤄졌다. 시간 해상도는 1시간, 한 에피소드는 3일(72스텝)이며, 기준 비교는 2025년 5월 5~7일 구간이었다.
정량 결과는 비교적 분명하다. RFT 전 오픈웨이트 모델의 배출량은 70.5 kg-CO2였고, RFT 뒤에는 61.2 kg-CO2로 내려갔다. 같은 조건에서 DP 최적값은 60.8 kg-CO2였다. 별도 학습 없이 평가한 GPT-5는 DP와 MPC에 거의 맞먹는 수준이었고, 비추론형 LLM인 GPT-4o는 저장장치가 없는 기준선보다도 더 많은 배출을 냈다. 이 설정에서는 추론 단계의 계산이 중요해 보인다는 해석이 붙는다.
분석은 단순히 수치 개선에 그치지 않았다. 추적 결과, 재학습된 모델은 후보 비교, 미래를 내다보는 판단, 제약 가능성 점검 같은 관찰 가능한 계획 패턴을 더 안정적으로 유지했지만, 완전히 새로운 전략을 만든 것으로 보이지는 않았다. 내부 검증에서는 예측 오차를 주고, 아직 보지 못한 TES 조건을 적용하고, 배터리 과제로 옮겨도 이런 계획 패턴이 남는지 확인했다.
| 항목 | 설정 | 근거 위치 |
|---|---|---|
| 훈련 프롬프트 수 | 30 | 초록 |
| RFT 전/후 배출량 | 70.5 → 61.2 kg-CO2 | 초록 |
| DP 최적 배출량 | 60.8 kg-CO2 | 초록 |
| 평가 에피소드 | 3일(72스텝), 1시간 해상도 | 3.2절 및 표 1 |
| ASHP 정격 냉방용량 | 100 kW | 3.2절 및 표 1 |
자료: STORIUM 정리
다른 조건으로의 전이는 부분적이었다. 예측 오류와 미관측 TES 조건에서는 강화된 계획 패턴이 지속됐지만, 물리적 의미가 다른 배터리 과제에서는 구조 차이 때문에 이득이 제한됐다. 저자 정보상 이 연구는 동료검토 전 arXiv v1 프리프린트다. 결론적으로, 정확한 DP 값을 보상으로 쓰는 검증 기반 강화미세조정은 건물 저장 스케줄링에 오픈웨이트 추론모델을 붙이는 실용적 경로로 제시됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
