프런티어 AI 모델의 사이버 공격 능력이 이를 측정하려는 벤치마크를 빠르게 앞질러, 정책 당국과 기업 보안팀이 모델의 실제 위험 수준을 가늠할 방법을 잃고 있다는 우려가 제기됐다. 미국 정보매체 악시오스(Axios)에 따르면, 새 시험 기준이 마련되지 않으면 이들 모델이 실제로 무엇을 할 수 있는지, 안전하게 배포해도 되는지를 판단하기 어려운 상황이 벌어진다. 연방 기관들은 8월 1일까지 프런티어 AI 모델의 능력을 평가할 기밀 벤치마킹 절차를 수립해야 하며, 관련 기준이 이번 주 안에 나올 수 있다는 관측도 나온다.
문제의 핵심은 정적인 시험이 실제 환경에서의 모델 행동을 더 이상 담아내지 못한다는 데 있다. 과거 벤치마크는 예측 가능하게 짜인 해킹 문제를 풀거나, 학습 데이터에 없던 기존 취약점을 찾아내는 식의 고립된 과제에 초점을 맞췄다. 그러나 최신 모델의 에이전트·추론 능력이 이런 시험을 빠르게 추월하면서, 사이버 능력을 갖춘 시스템이 실제로 무엇을 해낼 수 있는지 파악하기가 점점 어려워졌다. 스탠퍼드대는 2026년 AI 인덱스에서 “몇 년은 어려울 것으로 설계된 평가가 몇 달 만에 포화됐다”고 경고했다.
업계는 정부보다 앞서 사이버 능력 측정 방식을 다시 짜고 있다. 오픈AI·앤트로픽 등 프런티어 AI 랩과 협력하는 시험 기관 이레귤러(Irregular)는 6월 말 원격 코드 실행과 권한 상승, 제한된 네트워크 침투 같은 공격 과제 수행 능력을 측정하는 새 사이버 벤치마크를 내놨다. 위즈(Wiz)와 발스 AI(Vals AI) 등도 유사한 공격 작전 수행력을 재는 벤치마크를 개발 중이다. 앤트로픽은 자사 모델의 재배포와 함께 아마존·구글·마이크로소프트 등과 표준 벤치마크를 만들고 있다고 밝혔는데, 탈옥 가능 여부가 아니라 탈옥이 초래하는 결과와 영향에 초점을 맞춘 것이 특징이다.
현장의 진단은 더 절박하다. AI 레드팀 기업 아르마딘(Armadin)의 공동창업자 데이비드 슬레이터는 자사 AI 에이전트가 추가 훈련과 전문가 역량을 결합해 4주 만에 공개된 모든 사이버 벤치마크를 넘어섰다고 악시오스에 전했다. 그는 2025년 4분기 무렵 공개 보안 벤치마크가 “완전히 포화돼 쓸모없다”는 결론에 이르렀다며, 다음 세대 시험은 모델이 더 길고 정교한 공격을 수행할 수 있는지, 그리고 그에 드는 노력과 비용은 얼마인지까지 실제 운영 환경에 가까운 조건에서 측정해야 한다고 말했다. 그는 모델이 격리된 샌드박스를 벗어나려 시도하는 능력도 좋아져 방어자가 안전하게 평가하기가 더 어려워졌다고 덧붙였다. 결국 워싱턴이 미국 프런티어 AI 모델의 사이버 능력을 어떻게 평가할지가 관심사로 남았으며, 주요 AI 랩들은 현행의 임기응변식 시험 절차에 반발하고 있다.
