자율 AI 에이전트가 스스로 판단해 행동을 제안하지만, 그 제안의 품질을 감독하는 인간이 항상 정확히 평가할 수 있는 것은 아니다. 통 윈진 연구자는 이런 상황을 게임이론으로 정식화한 논문에서, 사람과 AI 양쪽 모두가 상대방이 모르는 정보를 갖고 있는 ‘양방향 정보 비대칭’ 상황에서 실시간 인간 감독이 어떻게 작동하는지를 분석했다.
이 연구가 주목한 상황은 자율 로봇이나 소프트웨어 에이전트가 인간 감독자가 직접 확인할 수 없는 상황을 이미 파악하고 있는 경우다. 이때 인간은 자신의 보상함수(무엇을 원하는지)를 사적으로 알고 있고, AI는 자신이 제안하는 행동의 실제 품질을 사적으로 알고 있다. 연구진은 협력적 역강화학습(CIRL)과 기존의 ‘감독 게임(Oversight Game)’ 이론을 발전시켜, 맥락적 밴딧(contextual-bandit) 구조에 양방향 비대칭 정보와 제안·질문·신뢰·감독이라는 네 가지 상호작용 방식을 결합한 새로운 팀 게임 모델을 제시했다.
밴딧 구조를 택한 이유는 물리적 상태 전이를 제거함으로써, 복잡한 부분관측 마르코프 결정과정(POMDP)에서는 추측에 그칠 수밖에 없는 결과를 정확하게 규명할 수 있기 때문이다. 다만 공동의 믿음(common belief)은 매 라운드마다 동적으로 통제되는 상태로 남는다. 연구진은 이 구조 위에서 팀 전체에 최적인 규칙과, 인간이 직관적으로 따르는 근시안적(myopic) 규칙이라는 두 가지 해를 도출했다.
두 규칙 사이의 격차는 ‘회피 가능했던 피해의 영역’으로 나타난다. 이는 AI가 자신이 제안한 행동이 해롭고 작업을 멈추는 편이 낫다는 사실을 이미 알고 있음에도, 자신의 사전 판단을 신뢰하는 근시안적 인간이 개입하지 않기로 결정하는 구간을 뜻한다. 연구진은 이 격차가 AI의 감독 관련 소통이 신뢰할 만한 근거를 갖추지 못한 데서 비롯되는 대가라고 설명하며, 반복되는 라운드를 거치며 수동적 학습과 한 박자 늦은 능동적 신호 전달을 통해 이 격차가 어떻게 해소되는지에 대한 부분적 분석도 함께 제시했다.
이 연구는 AI 시스템에 대한 인간의 실시간 감독이 이론적으로 완벽하게 작동하지 않을 수 있다는 점을 수학적으로 짚었다는 점에서 AI 안전성 논의에 시사점을 준다. 인간 감독자가 AI보다 더 많은 정보를 갖고 있다고 전제하는 기존 프레임워크와 달리, 이 연구는 AI가 오히려 인간이 모르는 정보를 쥔 현실적 상황을 정면으로 다뤘다는 점에서 향후 AI 거버넌스 설계에 참고할 만한 이론적 토대를 제공한다.
