영국 AI안전연구소(AISI)가 표준 벤치마크가 컴퓨팅 예산이 제한된 상황에서 AI 에이전트의 실제 능력을 체계적으로 과소평가하고 있다는 연구 결과를 발표했다. 연구팀은 7개 벤치마크에서 다양한 컴퓨팅 예산을 적용해 최신 모델들의 성능을 테스트했으며, 그 결과 컴퓨팅 예산 상한이 고정된 기존 평가 방식이 AI 에이전트가 실제로 무엇을 할 수 있는지에 대해 불완전한 그림을 제시하고 있다고 결론지었다.
연구에 따르면 AI 에이전트에게 더 많은 처리 시간(테스트 타임 컴퓨트)을 허용할 경우 성공률이 최대 25% 상승했으며, 특히 사이버보안과 소프트웨어 개발 과제에서 상승폭이 두드러졌다. 사이버보안 분야에서는 전체 과제의 약 8%가 토큰 예산이 1000만 개를 초과해야만 해결됐고, 일부는 5000만 개가 필요했다. 소프트웨어 엔지니어링 과제(터미널벤치 2.0, SWE-벤치 프로)에서는 토큰 예산을 100만 개에서 1000만 개로 늘렸을 때 성공률이 약 25% 상승했다. 다만 의료 벤치마크인 헬스벤치에서는 모든 모델이 표준 예산 내에서 이미 한계치에 도달해, 코드 실행이나 익스플로잇 테스트처럼 자체 검증이 가능한 영역에서만 추가 컴퓨팅이 효과를 낸다는 점이 드러났다.
연구팀은 또한 사람 전문가가 특정 과제를 완료하는 데 걸리는 시간과 AI 에이전트가 소비하는 토큰량 사이에 거듭제곱 법칙(power law) 관계가 성립한다는 사실도 확인했다. 연구 기관 METR의 소프트웨어 엔지니어링 과제 211건과 AISI의 사이버 과제 78건을 분석한 결과, 1분짜리 과제는 수천 개, 1시간짜리 과제는 수백만 개, 1주일짜리 과제는 수십억 개의 토큰을 소비하는 것으로 나타났다. 최신 모델일수록 추가 컴퓨팅으로부터 얻는 이득이 이전 세대보다 훨씬 컸으며, 최신 프론티어 모델의 작업 처리 시간 지평은 250만 토큰 예산에서 약 40분이었던 것이 5000만 토큰에서는 약 4시간으로 늘어났다.
AISI는 기존에 프론티어 모델의 사이버 과제 처리 시간 지평이 약 4.7개월마다 두 배로 늘어난다고 추정했으나, 이번 분석에서 5000만 토큰 예산 기준으로는 이 증가 속도가 40~50일마다 두 배로 빨라지는 것으로 나타났다고 밝혔다. 연구팀은 “능력을 컴퓨팅에 따라 변하는 곡선이 아니라 고정된 점수로 취급하는 한, 우리는 계속 이 시스템들의 실제 능력에 놀라게 될 것”이라고 지적하며, 향후에는 여러 예산 수준에서 모델을 테스트하는 ‘최소 유의미 예산’ 방식을 도입해 평가의 신뢰도를 높일 계획이라고 설명했다.
