MIT 컴퓨터과학·인공지능연구소(CSAIL)와 하버드 대학교 공학·응용과학대학원(SEAS) 연구팀이 고전 추측 게임 ‘배틀십(Battleship)’을 활용해 AI 에이전트의 정보 탐색과 질문 능력을 향상시키는 방법론을 개발했다. 의료 진단이나 과학적 발견처럼 불확실한 환경에서 방대한 해결책 공간을 탐색해야 하는 분야에서 언어 모델(LM)이 유효한 질문을 생성하는 데 어려움을 겪는다는 문제에서 출발한 연구다.
연구팀은 ‘협력 배틀십(Collaborative Battleship)’이라는 자연어 질의응답 형태의 변형 게임을 설계했다. ‘지휘관’ 역할의 참가자가 숨겨진 함선 위치에 대해 질문하고, ‘관측자’ 역할의 참가자가 실시간으로 답하는 구조다. 40명 이상의 인간 참가자가 게임을 진행해 ‘BattleshipQA’ 데이터셋을 구축하고, GPT-5와 라마 4 스카우트(Llama 4 Scout) 등 최신 언어 모델들을 비교 평가했다. 초기 테스트에서 상위 언어 모델은 더 적은 턴으로 게임을 완료해 인간을 앞섰으나, 소규모 모델은 훨씬 뒤처지는 결과가 나왔다. 핵심 문제는 유용한 정보를 끌어낼 수 있는 질문을 생성하지 못한다는 것이었다.
연구팀은 각 언어 모델에 몬테 카를로(Monte Carlo) 추론 전략을 적용해 이 문제를 해결했다. 이 전략은 각 답변에 따라 다양한 가능성의 확률을 세밀하게 측정하며 질문의 정보량을 극대화한다. 그 결과 라마 4 스카우트의 인간 대비 게임 승률이 8%에서 82%로 크게 향상됐으며, 프론티어 모델인 GPT-5보다 약 1% 비용으로 이를 앞지를 수 있었다. 관측자(스포터) 역할에서는 질문을 파이썬 코드로 변환해 언어 모델이 답변 검증 방식을 명확히 이해하도록 하는 방법을 도입했다. 이를 통해 모든 모델의 답변 정확도가 평균 15% 향상됐으며, GPT-4o-미니는 약 30%, 클로드 4 오퍼스(Claude 4 Opus)는 약 8포인트 성능이 향상됐다.
수석 저자인 제이컵 앤드리어스(Jacob Andreas) MIT 부교수는 이 연구가 언어 모델의 탐색 및 정보 수집 능력을 향상시켜 코딩이나 수학 문제 풀이 분야로 확장할 가능성을 열었다고 평가했다. 제1저자인 MIT 박사과정생 가브리엘 그랜드(Gabriel Grand)는 “AI 에이전트에게 ‘세계 모델(world model)’에 대한 접근권을 부여하면 더 유익한 질문을 던지고 발견을 더 효율적으로 수행한다”고 강조했다. 이 연구는 2026년 4월 국제학습표현학술대회(ICLR)에서 구두 발표됐다.
