비전-언어 모델(VLM)을 의사결정의 중심으로 쓰는 체화 에이전트가 늘면서, 안전 평가의 초점도 바뀌고 있다. 이번 arXiv 사전출판 논문은 가정 환경에서 단순히 물체를 인식하는 수준을 넘어, 행동이 장면의 물리적 관계를 어떻게 바꾸는지까지 봐야 한다고 문제를 제기한다. 특히 지지(support), 포함(containment), 근접(proximity) 같은 공간관계가 안전 조건을 좌우하지만, 기존 체화 안전 평가는 정적 위험 인식이나 최종 상태 완료에 치우쳐 있었다.
연구진은 이를 겨냥해 SAFERELBENCH를 만들었다. 이 벤치마크는 실행 가능한 가정용 조작 평가 샘플 507개로 구성되며, 이 중 248개는 공간관계 샘플, 259개는 비공간 대조 샘플이다. 본문 설명에 따르면 각 샘플은 시각 관찰, 물체 정보, 원시 행동 공간, 과제 목표, 그리고 해당 시 안전 주석을 포함한다. 핵심은 최종 목표 달성 여부만이 아니라, 위험한 행동이 나오기 전에 안전 전제조건이 충족됐는지를 함께 본다는 점이다.
평가에는 7개의 VLM 기반 체화 에이전트가 쓰였다. 공개 모델 4개는 Qwen2.5-VL-32B-Ins, Qwen2.5-VL-72B-Ins, Qwen3-VL-8B-Ins, Qwen3-VL-32B-Ins이고, 폐쇄형 모델 3개는 GPT-5.4, Gemini-3.1-pro, Claude-sonnet-4-6이다. 표와 그림에 제시된 결과는 공간관계 조건이 붙으면 성능이 떨어지고, 비공간 조건에서는 훨씬 나아지는 패턴을 보인다. 예를 들어 전체 성공률 SR과 성공·안전 동시 만족률 SSR을 비교한 그림에서, Qwen2.5-72B는 supporting 관계에서 SR 0.67, SSR 0.42였지만 대응하는 비공간 조건에서는 SR 1.00, SSR 0.96을 기록했다. Claude-4.6도 proximity 관계에서는 SR 0.53, SSR 0.38이었으나 비공간 조건에서는 SR 1.00, SSR 1.00이었다.
표 2의 세부 수치도 같은 방향을 보여준다. 지원(supporting), 포함(containment), 근접(proximity) 관계 각각에 대해 w/와 w/o 조건을 나눠 SR과 SSR을 보고했는데, 여러 모델에서 관계가 개입되면 안전 지표가 크게 흔들렸다. 예컨대 GPT-5.4는 proximity에서 w/ SR 0.53, SSR 0.37이지만 w/o에서는 SR 0.99, SSR 0.99였다. 연구는 이런 차이가 최종 과제 완료만으로는 드러나지 않는 과정 수준의 안전 실패를 보여준다고 해석한다.
이 논문은 2026-07-16에 올라온 arXiv에 공개된 첫 원고이며, 동료심사 전 단계다. 저자 소속 표기는 첫 저자 Huaigang Yang의 이름 옆에 Beijing University of Posts and Telecommunications, Beijing, China로 적혀 있고, 공동저자 소속으로 State Key Laboratory of General Artificial Intelligence, BIGAI, Beijing, China도 함께 표시된다. 논문은 3단계 구성의 데이터 구축 파이프라인도 제시한다. 안전 팁 생성, 평가 시나리오 구성, 안전 목표 생성 순서로 일반 가정 안전 지식을 Behavior-1K 조작 시나리오와 BDDL형 목표 조건으로 변환했다고 설명한다.
| 항목 | 수치/내용 | 근거 위치 |
|---|---|---|
| 벤치마크 샘플 수 | 507개 실행 평가 샘플 | p.1 abstract / p.2 Dataset Overview |
| 공간관계 샘플 / 비공간 대조 샘플 | 248개 / 259개 | p.1 abstract; p.2 Dataset Overview |
| 평가 대상 모델 수 | 7개 VLM-driven embodied agents | p.2 contributions / p.5 Experimental Setup |
| 비교 벤치마크 범위 | 대표 벤치마크 8개와 SAFERELBENCH 비교 | p.4 Table 1 |
자료: STORIUM 정리
정리하면, SAFERELBENCH는 체화 에이전트의 안전을 “무엇을 했는가”가 아니라 “언제, 어떤 관계를 확인한 뒤 했는가”로 재정의한다. 연구진은 507개 실행 샘플과 7개 모델 평가를 통해, 강한 지각과 계획만으로는 충분하지 않고 객체 관계가 위험을 어떻게 바꾸는지에 대한 추론이 필요하다는 점을 강조한다. 다만 이는 논문 저자들이 구성한 실행형 벤치마크의 결과이며, 실제 가정 로봇 배치에서 같은 격차가 재현되는지는 별도 검증이 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
