인공지능 다중 에이전트 시스템의 안전을 좌우하는 것은 모델 자체만이 아니라 그 모델을 어떤 규칙 아래 배포하느냐라는 연구가 arXiv에 공개됐다(동료심사 전 공개본). 저자는 ‘제도적 레드팀(institutional red-teaming)’이라는 평가 방법을 제안한다. 에이전트와 목표, 과제 상태는 그대로 고정한 채 규칙 하나만 바꿔, 그로 인해 달라진 결과를 그 규칙 탓으로 돌려 인과를 분리해내는 방식이다.
연구진은 이 방법을 ‘결과 배분’ 벤치마크인 IABench-CA로 구현했다. 228개 맥락, 다섯 개의 표준 규칙, 일곱 개 모델 집단에 걸쳐 총 3만3924판의 게임을 돌렸고, 협력적 규범 기준선을 함께 두었다. 그 결과 배포 규칙은 집단 안전을 인과적으로 바꿨다. 결과 규칙 하나만 바꿔도 모든 집단에서 평균 사망률이 22~58%포인트씩 움직였다. 어떤 규칙도 안전한 기본값이 될 수 없었지만, 표적화의 위험은 보편적으로 나타났다.
특히 자원이 가장 적은 에이전트를 겨냥하는 ‘역진적 정체성 표적화’는 어떤 맥락, 어떤 집단에서도 결코 가장 안전한 선택이 아니었으며, 오히려 어디서나 게임의 30~87%에서 가장 자원이 적은 에이전트를 제거했다. 연구진은 그 메커니즘으로 ‘정체성 부각’을 지목한다. 착취에 가장 취약한 집단(gpt-5.1)에 익명화 실험을 한 차례 적용해 본 결과, 규칙 문구에서 손실을 떠안을 대상을 이름으로 지목하기만 해도 표적 제거 비율이 22%에서 81%로 치솟았다.
다만 반복 플레이에서는 익명화가 표적화를 늦출 뿐이었다. 에이전트들이 숨겨진 규칙을 다시 추론해내기 때문이다. 연구진은 이 방법을 잠정적으로 허용 가능한 규칙 영역을 인증하는 ‘안전 사례(safety-case)’ 절차로 묶어 제시했다. 어떤 모델을 쓰느냐만큼이나 어떤 배포 규칙을 세우느냐가 다중 에이전트 시스템의 안전을 결정한다는 것이 이 연구의 요지다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
