에이전트 정렬 연구는 인간의 시연과 평가 피드백을 중요한 신호로 사용해 왔지만, 두 신호를 결합하는 방법은 주로 언어 생성의 맥락적 밴딧 설정에 맞춘 다단계 파이프라인에 집중돼 있다. 벤저민 풀과 민우 리는 완전한 순차 의사결정 환경에서 이 입력들을 하나의 오프라인 훈련 신호로 활용하는 ‘피드백 조작 정규화’ FMR을 제안했다. 논문은 2026년 7월 8일 arXiv에 제출된 프리프린트다.
FMR은 특정 알고리즘에 종속되지 않는 방식으로 설계됐다. 핵심은 행동을 보여주는 시연만 따라 하게 두지 않고, 행동에 대한 평가 피드백을 교정 신호로 사용해 모방학습 정책의 정렬을 개선하는 데 있다. 연구진은 안전한 행동과 과업 수행을 함께 살펴볼 수 있도록 Safety Gymnasium 환경을 정렬 평가용 시험대로 조정하고 여러 모방학습 알고리즘에 적용했다.
초록에 따르면 FMR은 에이전트의 과업 능력을 개선하면서 실험 범위에서 오정렬을 최대 98% 줄였다. 정렬된 시연이 적고 정보성이 낮은 잡음 시연이 포함된 제한적 데이터 조건에서도 견고성을 보였다고 보고한다. 이는 피드백을 별도의 후처리 단계로만 쓰지 않고 시연의 의미를 수정하는 신호로 연결할 수 있음을 시사한다.
‘최대 98%’는 연구진이 구성한 환경과 알고리즘 범위에서 나온 결과이며 일반적인 현실 세계 에이전트의 안전 보증으로 해석해서는 안 된다. 평가 피드백 자체가 편향되거나 잘못됐을 때의 영향, 더 복잡하고 열린 환경에서의 안정성은 추가 검증이 필요하다. 현재 결과는 순차적 오프라인 정렬을 위한 방법론적 가능성을 보여주는 프리프린트 단계의 증거다. 특히 오프라인 방식은 배치 전에 기존 데이터로 정책을 개선할 수 있다는 장점이 있지만 새로운 상황에 대한 피드백을 즉시 얻기 어렵다. 실제 로봇이나 장기 과업으로 확장하려면 평가 신호의 신뢰도와 분포 밖 상태에서의 행동을 별도로 점검해야 한다.
원문: arXiv 2607.07859
저작권자 © STORIUM 무단전재 및 재배포 금지
