MIT 연구진이 불완전정보 제로섬 게임에서 범용 정책경사(policy gradient) 알고리즘이 게임이론 기반 전문 알고리즘을 능가할 수 있다는 연구 결과를 발표했다. 이 연구는 올해 4월 리우데자네이루에서 열린 국제 학습표현 학술대회(ICLR)에서 공개됐다. 참여 연구진에는 MIT 전기컴퓨터공학과(EECS)·정보결정시스템연구소(LIDS)의 박사과정생 소반 모하마드푸르(Sobhan Mohammadpour)와 조교수 가브리엘레 파리나(Gabriele Farina), 텍사스대학교 오스틴캠퍼스·UC버클리·카네기멜런대학교·뉴욕대학교 소속 연구자들이 포함됐다.
연구의 핵심은 1990년대부터 의사결정 분야에 쓰여온 정책경사 방법을 불완전정보 게임에 적용했을 때의 성능 평가다. ‘불완전정보 게임’이란 포커처럼 상대방의 패를 알 수 없거나, 주택 입찰에서 경쟁자의 최고 금액을 모르는 상황처럼 정보가 제한된 경쟁 환경을 뜻한다. 연구진은 두 가지 변형 팬텀 틱택토, 헥스(Hex) 보드게임 두 변형, 라이어스 다이스(Liar’s Dice) 등 총 5개 게임에서 실험을 수행했다. 성능 지표로는 ‘악용가능성(exploitability)’을 사용했는데, 이는 최악의 가상 상대에 대응했을 때 해당 알고리즘이 얼마나 취약한지를 측정하는 개념으로 수치가 낮을수록 더 강한 전략을 의미한다.
실험 결과 정책경사 알고리즘으로 훈련된 신경망이 게임이론 알고리즘으로 훈련된 신경망보다 악용가능성 점수가 낮게 나타났으며, 직접 대결에서도 우세했다. 이전까지 게임이론 전문 알고리즘이 이 분야의 표준이라는 인식이 지배적이었으나, 연구진은 그 전제가 충분한 공학적 검증 없이 받아들여져 왔다고 지적했다. 한 공동저자는 “전문 알고리즘이 당연히 더 낫다는 가정이 너무 오래 당연시됐다”고 말했다. 연구의 또 다른 기여는 이러한 알고리즘을 공정하게 비교할 수 있는 벤치마크 소프트웨어를 개발해 공개한 것이다. 이 소프트웨어는 슈퍼컴퓨터 없이 일반 노트북에서도 실행 가능하며, 널리 쓰이는 벤치마크 모음인 OpenSpiel에 코드 한 줄만 추가하면 사용할 수 있다.
연구진은 이번 성과가 게임을 넘어 군사 작전·금융 거래·협상 등 불완전한 정보 아래 진행되는 다양한 실세계 문제에도 적용될 수 있다고 강조한다. 구글 딥마인드의 게임이론 전문가 이언 겜프(Ian Gemp)는 “이 연구는 정책경사 같은 고전적 도구를 현대화하는 작업이 복잡한 전략 문제를 푸는 생산적인 경로임을 상기시켜 준다”고 평가했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
