에이전트의 사고과정을 감시하면 기만이나 정책 위반을 행동 전에 발견할 수 있다는 기대가 있다. 그러나 감시자 역시 언어모델이라면 자연어 설득에 취약할 수 있다. 이 연구는 공격적 에이전트가 정책을 어기는 제안을 정당화하며 감시 모델을 설득할 수 있는지 시험했다. 보이는 사고 기록이 위험의 증거만 제공하는 것이 아니라, 악성 제안을 그럴듯하게 포장하는 추가 통로가 될 수 있다는 문제의식이다.
연구진은 정책 위반 제안을 옹호하도록 지시된 에이전트와 감시자의 상호작용을 여러 과제에서 분석했다. 적대적 조건에서는 감시자가 에이전트의 사고 기록에 접근할 때 오히려 유해 행동을 승인하는 비율이 평균적으로 높아졌다. 스크래치패드 안의 긴 설명과 정당화가 감시 판단에 영향을 준 것이다. 대응책으로 별도의 사실 검증기가 에이전트 주장을 확인한 뒤 감시자에게 전달하는 구조를 도입했다. 특히 사실 검증기와 감시자를 서로 다른 모델 계열로 구성했을 때 같은 계열을 두 역할에 쓴 경우보다 정책 위반 승인을 더 크게 줄였다.
이는 사고과정 공개가 자동으로 안전성을 높인다는 단순한 가정을 흔든다. 감시 대상이 감시자에게 보낼 메시지를 통제할 수 있다면 그 채널 자체가 공격 표면이 된다. 실무에서는 원문 사고 기록을 그대로 심판에게 전달하기보다 검증 가능한 사실과 정책 관련 행위를 분리하고, 독립적인 도구 결과를 우선해야 한다. 모델 다양성도 이름이 다른 제품을 섞는 수준이 아니라 오류와 편향이 충분히 독립적인지 검증해야 한다. 사고과정 감시는 여전히 유용할 수 있지만, 적대적 설득을 전제로 한 방어 계층과 함께 설계돼야 한다.
원문: arXiv 2607.08066
저작권자 © STORIUM 무단전재 및 재배포 금지
