AI 모델의 실무 지식 처리 능력을 정밀하게 측정하는 새로운 벤치마크가 등장했다. Artificial Analysis가 개발한 ‘AA-Briefcase’는 실제 기업 환경에서 수 주에 걸쳐 진행되는 지식 작업 프로젝트를 재현하며, 수천 개의 단편 소스 파일—슬랙 스레드, 이메일, 회의 녹취록, 대용량 데이터 내보내기 등—을 바탕으로 AI 모델이 복합적인 분석을 수행할 수 있는지 평가한다. 결과는 냉혹했다. 현존 최고 성능 모델인 클로드 페이블 5(Claude Fable 5)조차 91개 과제 전반에서 모든 평가 기준을 완전히 충족한 비율은 단 3%에 그쳤다.
AA-Briefcase가 설계한 평가 방식은 기존 벤치마크와 뚜렷하게 다르다. 단순한 질의응답이나 요약 능력을 측정하는 대신, AI가 분절된 다수의 출처에서 정보를 종합해 실질적 업무 결과물을 내야 하는 상황을 구현했다. 91개 과제 중 31개는 어떤 모델도 50% 이상의 기준 충족률을 달성하지 못했다. 이는 현재 AI 모델들이 단편 정보의 취합과 교차 검증, 복합 추론이 요구되는 진짜 지식 업무 앞에서 얼마나 취약한지를 보여주는 수치다. 평가 방식이 실무를 얼마나 충실히 재현하느냐에 따라 AI의 실력이 다르게 측정된다는 점에서, AA-Briefcase는 기존 리더보드의 점수가 현장 적용 가능성과 얼마나 다를 수 있는지를 직접 드러낸다는 점에서 의미가 있다.
모델 성능이 높아질수록 오류의 성격도 달라진다는 점이 이번 평가의 핵심 발견 중 하나다. 성능이 낮은 모델은 관련 파일 자체를 놓치거나 사용할 수 없는 결과물을 산출하는 기초적 실패를 보였다. 반면 성능이 높은 모델은 겉으로 드러나는 요건은 충족하면서도 여러 출처의 정보를 연결해야만 파악할 수 있는 세부 사항을 빠뜨리는 방식으로 실패했다. 눈에 잘 띄지 않는 오류지만 실무에서는 치명적 결과로 이어질 수 있다는 점에서 더 우려스럽다는 평가가 나온다. 이 ‘보이지 않는 실패’ 패턴은 기업이 AI를 도입한 뒤 문제를 인식하기까지 상당한 시간이 걸릴 수 있음을 시사한다. 사람이 결과물을 직접 검토하지 않고 AI 출력을 신뢰하는 워크플로에서는 이 같은 세부 누락이 오랫동안 눈에 띄지 않을 위험이 있다.
비용 격차도 두드러진다. 과제당 처리 비용은 최저 약 0.04달러(딥시크 V4 플래시)에서 최고 31달러 이상(클로드 페이블 5)까지 800배 이상 차이가 난다. 최고 성능 모델이 최저 비용 모델 대비 과제 전부 기준 충족률에서 뚜렷이 앞서는 것은 사실이지만, 그 최고 성능마저 3%라는 현실은 비용 효율성 논의를 어렵게 만든다. 월등히 비싼 모델을 써도 실무 지식 업무에서 확실한 완성도를 보장받지 못한다는 뜻이기 때문이다.
이 결과가 주목받는 배경에는 AI 에이전트의 급속한 기업 도입 흐름이 있다. 주요 AI 기업들은 지식 업무 자동화를 에이전트의 핵심 가치 명제로 내세우고 있으며, 기업 고객들도 이메일 처리, 문서 분석, 데이터 취합 등 일상적인 지식 업무에 AI를 적극 투입하고 있다. 그러나 AA-Briefcase의 결과는 현재 수준의 AI가 실제 기업 환경에서 발생하는 복잡성을 아직 감당하지 못한다는 점을 구체적 수치로 확인시켜 준다.
기존 AI 벤치마크들이 얼마나 현실과 괴리됐는지도 드러난다. 학문적 난이도를 기반으로 한 수학·논리 추론 평가나 단일 문서 요약 능력 측정에서 높은 점수를 받은 모델들이 복잡한 실무 시나리오에서는 급격히 성능이 낮아진다는 것이 이번 평가를 통해 재확인됐다. 이는 ‘벤치마크 오버피팅’이라는 오래된 문제를 새로운 각도에서 조명한다. AI 연구자들이 특정 평가 기준에 최적화된 모델을 개발하는 과정에서 실제 업무에 필요한 능력은 상대적으로 덜 발전했을 가능성이 있다.
경쟁 구도 측면에서도 이번 결과는 시사점이 크다. 클로드 페이블 5가 벤치마크 내 최고 점수를 기록했지만, 그 점수의 절대적 수준이 낮다는 사실은 어떤 모델도 실무 지식 업무 영역에서 압도적 우위를 주장하기 어렵다는 의미이기도 하다. 딥시크 V4 플래시처럼 훨씬 낮은 비용으로 제공되는 모델도 일정 수준의 과제를 처리할 수 있다면, 기업 입장에서는 비용 대비 효과 계산이 복잡해진다. 프리미엄 모델의 우위가 비용을 정당화할 만큼 뚜렷하지 않은 상황이 이어진다면 모델 선택 기준 자체가 재편될 수 있다. 이는 곧 “어떤 모델이 가장 스마트한가”보다 “어떤 모델이 특정 업무 유형에서 비용 대비 충분한 완성도를 내는가”라는 기준이 기업 구매 결정에서 더 중요해진다는 것을 의미한다.
한국 기업과 연구자 입장에서는 이 벤치마크가 제시하는 방향성이 특히 의미 있다. 국내 AI 기업들이 기업용 솔루션 시장을 겨냥해 실무 지식 업무 처리 능력을 강조하는 추세가 이어지고 있는데, AA-Briefcase처럼 실제 업무 환경에 근접한 평가 틀이 표준화될 경우 국내 모델의 실질 성능도 같은 기준으로 검증받아야 한다. 벤치마크 성능과 현실 성능 사이의 간극을 메우는 작업이 향후 AI 개발의 핵심 과제로 부상할 것이라는 점에서, 이번 결과는 단순한 성적표가 아니라 업계 전체에 대한 방향 전환 권고로 읽힌다.
낙관론도 존재한다. 오류의 성격이 기초 실패에서 세부 누락으로 진화하고 있다는 사실 자체가 진전의 증거이기 때문이다. AI 모델들이 단순 작업을 넘어 복합적 추론 과제에 도전하기 시작했다는 점, 그리고 실패 패턴이 분석 가능할 정도로 정형화되기 시작했다는 점은 개선 방향을 제시한다. 다만 지금과 같은 속도와 방향으로는 단기간 내 실무 완성도의 근본적 도약을 기대하기 어렵다는 신중한 시각이 설득력을 얻는다.
AA-Briefcase가 제기하는 근본 질문은 단순하다. AI가 정말로 지식 업무를 처리할 수 있는가. 현재의 답은 ‘부분적으로’에 가깝다. 전체 기준 완전 충족이 3%에 그친다는 숫자는 AI가 특정 하위 작업에서는 인상적인 성과를 내지만, 실무가 요구하는 통합적 완성도에는 아직 미치지 못한다는 현실을 직시하게 한다. 관건은 이 간극이 모델 스케일 확장만으로 메워질 수 있느냐, 아니면 아키텍처 수준의 혁신을 필요로 하느냐다. 이 질문에 대한 답이 향후 AI 연구 투자 방향을 가를 것으로 보인다.
이번 벤치마크가 시사하는 또 다른 지점은 AI 도입 전략의 재설계 필요성이다. 기업들이 AI를 활용해 지식 업무를 자동화하려 할 때, 어떤 과제에는 고성능 모델이 필요하고 어떤 과제는 낮은 비용 모델로도 충분한지를 판단하는 역량이 더 중요해진다. 모든 업무에 최고 성능 모델을 투입하는 방식보다, 업무 유형별 복잡도를 분석해 적합한 수준의 모델을 배치하는 포트폴리오 접근이 비용과 성과 양면에서 합리적이라는 점에서 의미가 있다. 이는 곧 AI 도입을 주도하는 기업 내부의 의사결정자들이 기술 판단 능력을 높여야 한다는 의미이기도 하다. 벤치마크 점수를 맹목적으로 따르기보다, 자사의 실제 업무 시나리오에 맞는 평가를 직접 수행하는 관행이 정착될 필요가 있다는 판단이다.
이 흐름은 AI 에이전트 시장의 구조 변화와도 맞닿아 있다. 범용 대형 모델이 모든 업무를 처리하는 단일 에이전트 구도보다, 특정 도메인이나 업무 유형에 특화된 전문 에이전트들이 협력하는 멀티에이전트 구조가 실무 완성도를 높이는 데 더 효과적일 수 있다는 논의가 이번 결과를 통해 힘을 얻는다. 지식 업무의 복잡성을 단일 모델로 해결하려는 시도의 한계가 수치로 확인된 만큼, AI 인프라 설계 방향도 단일 강력 모델 의존에서 분산 전문화 구조로 진화하는 흐름이 가속될 것으로 전망된다.
