딥시크가 2026년 7월 31일 공개 베타로 내놓은 DeepSeek-V4-Flash-0731은 회사 평가에서 Terminal Bench 2.1 82.7점, DeepSWE 54.4점, DSBench-Hard 59.6점을 기록했다. 그러나 에이전트 플랫폼 Composio가 같은 모델을 실제 업무 도구에 연결해 진행한 외부 시험에서는 결과가 달라졌다. 8개 에이전트 하네스로 30개 작업을 수행하도록 계획한 240회 실행 가운데 성공으로 집계된 건 129회로, 전체 계획 실행을 기준으로 한 성공률은 53.8%였다. 공개 벤치마크가 모델의 잠재력을 보여준다면 이번 시험은 실행 틀과 도구 연결 방식이 실제 완수율을 얼마나 바꾸는지 드러낸 후속 자료다.
딥시크 공식 모델 카드의 점수에는 정해진 평가 조건이 붙는다. 공개 코드 에이전트 과제는 당시 공개 예정이던 DeepSeek Harness의 최소 모드, 최대 추론 강도, temperature 1.0, top_p 0.95로 측정됐다. DSBench-Hard는 회사 내부 평가 세트다. 반면 Composio 시험은 Airtable, Gmail, Google Calendar, Google Sheets, GitHub, Slack, PostHog를 오가는 다단계 업무를 대상으로 했으며, 작업당 제한 시간은 900초였다. 결과가 그럴듯한 문장인지 사람이 판단하는 대신 연결된 서비스의 상태가 실제로 바뀌었는지를 프로그램 검증기로 확인했다.
하네스별 차이는 작지 않았다. Pi Agent는 30회 중 20회에 성공해 66.7%로 가장 높았고, OMP는 17회로 56.7%였다. Claude Code·Codex·DeepAgents는 각각 16회로 53.3%, Hermes Agent는 15회로 50.0%, OpenCode는 14회로 46.7%였다. Prime Agent는 성공 15회였지만 6회가 채점에서 제외돼 유효 실행 24회 기준 62.5%다. 따라서 129회를 유효 실행 234회로만 나누면 성공률은 55.1%이며, 53.8%는 애초 계획한 240회를 분모로 삼은 수치다. Composio는 30개 작업 가운데 모든 하네스가 성공한 작업이 6개였다고 밝혔다.
| 검증 항목 | 확인 수치 | 해석할 때의 제한 |
|---|---|---|
| 딥시크 공식 평가 | Terminal Bench 2.1 82.7점 DeepSWE 54.4점 DSBench-Hard 59.6점 |
지정 하네스·추론 설정을 사용했으며 DSBench-Hard는 내부 평가 세트다. |
| Composio 업무 시험 | 8개 하네스·30개 작업 성공 129회 |
계획 실행 240회 기준 53.8%, 유효 실행 234회 기준 55.1%다. |
| 하네스별 성공률 | Pi Agent 66.7%·Prime Agent 62.5% OMP 56.7%·3개 하네스 53.3% Hermes Agent 50.0%·OpenCode 46.7% |
Prime Agent는 유효 실행이 24회이고 Pi Agent는 제공자·추론 설정이 달랐다. |
| 성공 1건당 추정 API 비용 | 최저 Pi Agent 0.028달러 최고 Claude Code 0.195달러 |
시험 당시 가격과 기록 토큰에 따른 추정치이며 캐시·설정 차이가 있다. |
비용도 하네스 선택에 따라 벌어졌다. Composio가 시험 당시 API 정가와 기록된 토큰으로 계산한 성공 1건당 추정 비용은 Pi Agent 0.028달러, DeepAgents 0.045달러, Hermes Agent 0.056달러, OpenCode 0.073달러, Codex 0.081달러, OMP 0.103달러, Prime Agent 0.131달러, Claude Code 0.195달러였다. 다만 Pi Agent는 다른 추론 설정과 두 곳의 모델 제공자를 이용했고, Hermes Agent는 2개 작업의 최종 사용량을 저장하지 못해 실제 비용이 더 높을 수 있다. 이 수치는 동일 모델이라도 실행 구조와 재시도, 캐시 처리에 따라 성공당 비용이 달라진다는 비교 자료로 읽어야 한다.
기업이 딥시크 V4 플래시를 도입할 때는 공개 점수만 비교하기보다 자사 권한 체계와 실제 업무 흐름을 반영한 시험 묶음을 먼저 만들어야 한다. 성공 여부도 최종 답변만 보지 말고 메일 발송, 일정 생성, 저장소 변경처럼 외부 서비스의 상태가 정확히 바뀌었는지 검증해야 한다. 딥시크는 8월 13일 피크·오프피크 요금 도입을 예고했고 새 가격은 8월 16일 16시(UTC)부터 적용됐다. 오프피크 단가는 피크 시간의 절반이므로 운영팀은 성공률과 지연시간, 캐시 적중률, 호출 시간대를 한 묶음으로 계산해야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
