이미지를 보고 500개 도구를 호출하는 에이전트, 최고 성공률도 50% 미만

이미지에서 읽은 값을 실제 API 인자로 옮기는 순간, 시각 에이전트의 계획 능력만으로는 성공을 보장하기 어렵다. 사용자의 목표 변경, 오류 수정, 앞선 호출이 만든 상태 변화를 대화 안에 넣고 정보 흐름 기반 계획과 다단계 필터로 시나리오를 생성했다. 정답 문자열보다 실행 후 상태가 목표를 충족했는지 평가한다.

16개 응용 영역과 500개가 넘는 도구를 제공하며, 사람이 확인한 기본 시나리오 258개와 상호작용형 UI 변형 50개를 포함한다.

이미지를 보고 500개 도구를 호출하는 에이전트, 최고 성공률도 50% 미만 논문의 Figure 1 방법·결과 도표 — Figure 1. Figure 1: Overview of the MM-ToolSandBox framework for evaluating visual tool-calling agents. The framework supports multi-turn, multi-image interaction between the user and agent, and provides both structured tool-use and code-execution interfaces. The framework includes over 500 native tools across 16 application domains, covering search, UI, vision, and system-level utilities. Evaluation combines rubric-based LLM judges for both agent and user roles with static state-verification checks. 출처: arXiv:2607.11818

4B 공개 가중치 모델부터 프런티어 폐쇄형 모델까지 12종을 같은 환경에서 비교했다. 여러 이미지가 순차 도착하는 조건도 포함돼 단일 이미지 질의보다 작업 기억 부담이 크다.

구성 항목	보고 규모
응용 영역	16개
도구	500개 이상
사람 검증 기본 시나리오	258개
상호작용형 UI 변형	50개
평가 모델	12종

자료: STORIUM 정리.

가장 좋은 모델도 전체 성공률 50%를 넘지 못했다. 실패 분석에서는 작업 흐름 자체는 맞았지만 이미지에서 값이나 대상을 잘못 읽은 경우가 53%를 차지했다. 작은 모델은 무엇을 할지 계획하는 단계에서, 큰 모델은 정확히 보는 단계에서 상대적으로 더 자주 막히는 규모별 전환도 관찰됐다.

이 결과는 시각 에이전트 개선을 도구 선택 정확도만으로 측정하면 병목을 놓칠 수 있음을 보여준다. 영수증·지도·화면처럼 픽셀의 세부 값을 API 인자로 변환하는 서비스가 직접 적용 범위다. 도구 모음과 합성 시나리오가 실제 기업 권한체계나 예외 상황을 모두 재현하지는 않는다.

자동 생성 뒤 사람 검증을 거친 시나리오라도 현실 대화 분포와 같지는 않다. arXiv:2607.11818의 53% 실패 구성비는 이 샌드박스와 평가한 12개 모델 안에서 해석해야 한다. MM-ToolSandBox의 핵심은 이미지에서 읽은 정보를 실제 API 인자로 옮겨야 하는 상태형 실행 환경에 있다.