앤트로픽의 페이블5 모델이 AI 안전센터(CAIS)의 원격노동지수(Remote Labor Index, RLI) 평가에서 자동화율 16.1%를 기록해 역대 최고치를 세웠다. 이는 지난 6월 30일 미 정부가 수출통제를 해제하며 재승인한 직후 나온 결과다. CAIS는 페이블5가 일부 기관만 사용할 수 있는 상위 모델 미토스5(Mythos 5)와 유사한 성능을 공유하는 것으로 알려졌다고 밝혔다.
RLI는 지난해 10월 공개된 벤치마크로, AI 에이전트가 실제 유상 프리랜서 프로젝트를 유료 고객이 받아들일 만한 품질로 완수하는 비율을 측정한다. 컴퓨터 그래픽·데이터 분석·영상 작업 등이 대상이며, 각 결과물은 전문가가 만든 표준 결과물과 비교해 사람이 평가한다. CAIS는 페이블5, 앤트로픽 오퍼스4.8, 오픈AI GPT-5.5에 약혼반지 3D 목업 제작, 광고 영상 제작, 평면도 설계 등을 시켰다.
평가 결과 페이블5는 16.1%, 오퍼스4.8은 8.3%, GPT-5.5는 6.3%를 기록해 세 모델 모두 기존 최고 기록(클로드 코워크 스캐폴드를 적용한 오퍼스4.6의 4.17%)을 넘어섰다. CAIS는 RLI 공개 당시 2.5%였던 최고 자동화율이 8개월 만에 4배 이상 뛰었다며 경제적으로 유의미한 AI 에이전트의 발전 속도를 보여주는 구체적 지표라고 평가했다. 다만 페이블5는 미 정부의 서비스 중단 조치로 240개 프로젝트 중 218개만 평가를 마쳤고, 나머지를 모두 실패로 가정해도 자동화율은 14.6%로 여전히 1위라고 CAIS는 설명했다.
CAIS는 사람 평가자를 AI 판정관으로 대체하는 실험도 진행했으나 실패했다고 밝혔다. 결과물을 제대로 평가하려면 전문 소프트웨어를 직접 열어 조작하고 고객처럼 판단해야 하는데, 이는 현재 AI 에이전트가 가장 취약한 컴퓨터 사용 능력이기 때문이다. 16%라는 수치가 곧바로 프리랜서 일자리 대체를 의미하지는 않지만, <a href=”https://www.storium.io/b47-openai-codex-record-replay-%ec%9e%90%eb%8f%99%ed%99%94-%ea%b8%b0%eb%8a%a5/”>OpenAI Codex의 작업 자동 반복 기능</a>처럼 반복 업무를 자동화하려는 시도가 잇따르는 가운데, 보안·품질 검증 체계가 갖춰지면 AI 에이전트의 실무 적용 범위는 더 빠르게 넓어질 것으로 전망된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
