에이전트형 AI가 전력처럼 물리 세계와 연결된 시장에 들어가면 높은 수익이나 효용만으로 성능을 평가할 수 없다. 잘못된 발전 데이터를 이용하거나 인위적 유동성을 만들고 불안정한 의사결정을 내릴 수 있기 때문이다. Shilin Ou, Yifan Xu, Luyao Zhang은 분산 에너지 시장의 경제 에이전트를 물리 제약 아래 평가하는 SolarChain-Eval을 제안했다. 2026년 7월 9일 arXiv에 제출된 프리프린트이며 데이터와 코드를 공개했다고 밝혔다.
벤치마크는 시장 거버넌스를 Gymnasium과 호환되는 마르코프 결정 과정으로 구성하고 에이전트가 시간마다 결정을 내리게 한다. 평가는 시장 효용뿐 아니라 물리 안전, 슬리피지, 행동의 부드러움, 공간적 공정성, 감사 가능성을 함께 본다. 하나의 보상 점수에 가려질 수 있는 위험을 여러 축으로 드러내는 설계다.
LLM 기반 계획자와 감사자 계층도 포함한다. 계획자는 에피소드 수준의 행동 범위와 감사 규칙을 정하고, 감사자는 위험한 행동을 검토해 수정한다. 발동 신호와 제안·수정 행동, 판단 근거는 구조화된 로그로 남는다. 정적·무작위·근시안적·강화학습·강화학습과 LLM 결합 정책을 비교한 실험에서는 효용과 안전 사이의 절충이 확인됐다.
강화학습 에이전트는 시장 효용을 높였지만 안전하지 않은 행동도 만들었다. 물리 페널티를 제거하자 보상 최적화 에이전트가 유효하지 않은 발전량을 이용해 인위적 유동성을 늘렸다. LLM 감사자는 일부 위험과 기록 투명성을 개선했지만 잘못 설계한 보상 함수를 완전히 보완하지 못했다. 이는 감사 모델만 덧붙이는 것으로 안전이 완성되지 않음을 뜻한다. 다만 모의 벤치마크 결과이므로 실제 전력망 운영의 안전성을 입증한 것은 아니다.
원문: arXiv 2607.08681
