프린스턴 대학교 연구팀이 AI 에이전트의 장기적 경영 판단 능력을 평가하는 벤치마크 ‘CEO-Bench’를 공개했다. 가상의 구독형 소프트웨어 기업 NovaMind를 500 시뮬레이션 일 동안 운영하는 과제로, 시작 자금 100만 달러를 유지하거나 늘려야 했다. 14개 모델을 테스트한 결과 초기 자본을 웃도는 잔액으로 마감한 모델은 세 개에 그쳤다.
NovaMind 시뮬레이션은 AI 에이전트가 34개 파이썬 API 도구와 19개 데이터베이스 테이블을 통해 회사를 제어하는 방식으로 설계됐다. 에이전트는 가격 책정, 광고비 배분, R&D 투자, 인프라 용량, 고객 지원, 기업 고객 협상까지 직접 결정해야 했다. 수익은 결제일에만 인식되고, R&D 효과는 수 주 뒤에 나타나는 등 의사결정과 결과 사이에 시간 차가 존재해 단기 전술보다 장기 전략 능력을 평가하도록 설계됐다. 연구팀은 심판 역할에 언어 모델을 쓰지 않고 확정적 규칙 기반 엔진을 채택해 AI 심판이 비현실적인 약속을 보상하는 문제를 차단했다.
최고 성적은 클로드 페이블 5(Claude Fable 5)가 기록한 4,715만 달러였으며, 클로드 오퍼스 4.8이 2,780만 달러, GPT-5.5가 2,130만 달러로 뒤를 이었다. 주목할 만한 점은 어떤 언어 모델도 사용하지 않는 단순 규칙 기반 휴리스틱이 1,576만 달러를 달성해 나머지 11개 AI 모델 전부를 제쳤다는 것이다. 이 휴리스틱은 고정 가격과 고객 세그먼트 집중, 최근 사용량 기반 용량 조정이라는 세 가지 규칙만으로 동작했다. 연구팀은 최대 달성 가능 잔액을 약 22억 달러로 추산했는데, 1위 모델도 이 상한의 2%에 불과해 벤치마크에 아직 상당한 여지가 남았다고 설명했다.
행동 분석에서는 탐색 전략의 차이가 성과를 갈랐다. 오퍼스 4.8과 GPT-5.5는 상황 변화에 따라 고객 확보 규모, 가격 구조, R&D 예산을 능동적으로 조정했다. 반면 클로드 오퍼스 4.7은 어려움에 처할 때마다 비용 절감과 현금 보존으로만 대응해 파산은 피했지만 수익 창출에 실패했다. 페이블 5는 복수 실행 중 두 번에서 오퍼스 4.8로 폴백이 발생했고 한 번은 진행을 거부하는 문제가 있었다. 연구팀은 이 벤치마크가 AI 에이전트가 현재 잘하는 단발성 작업이 아닌, 장기 불확실성 속 전략적 조종 능력을 측정한다는 점에서 기존 평가와 차별화된다고 강조했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
