창작·공학 분야의 전문 데스크톱 소프트웨어를 다루는 장기 워크플로우와 인간-에이전트 협업을 평가하는 벤치마크 DeskCraft가 arXiv에 공개됐다. 왕(Wang) 등 연구진이 2026년 6월 2일 등재한 논문은 기존 데스크톱 GUI 벤치마크 대부분이 짧고 단순화된 과제에 모든 지시를 미리 제공하는 방식으로만 구성돼, 실제 업무 환경에서의 에이전트 능력을 제대로 평가하지 못한다는 문제의식에서 출발한다.
DeskCraft는 과제를 난이도 분류 체계로 구조화했으며, 장기 과제는 50단계 이상의 실행 단계를 요구한다. 디자인·영상·오디오·3D 제작 분야의 전문 창작 소프트웨어를 대상으로 하며, 인간-에이전트 협업은 턴 중간(mid-turn)과 턴 종료 후(post-turn) 교환으로 공식화했다. 턴 중간 상호작용은 불확실 상황에서 에이전트가 먼저 명확화를 요청하거나 사용자가 실행 도중 개입하는 상황을 다루며, 턴 종료 후 상호작용은 에이전트가 완료 신호를 보낸 뒤 사용자가 피드백을 제공하는 상황을 포함한다. 총 538개 과제에서 18종의 독점·오픈소스 에이전트를 평가한 결과, GPT-5.4가 표준 과제에서 31.6%, 인터랙티브 과제에서 27.6%의 성공률을 기록했다고 논문은 밝혔다. 장기 워크플로우 완수와 자발적 명확화 요청 측면에서는 모든 에이전트에서 지속적인 실패 패턴이 관찰됐다.
데스크톱 에이전트 연구는 그간 웹 브라우저나 단순 OS 인터페이스 수준에 머물렀으나, 실제 전문 작업에서는 소프트웨어 고유의 복잡한 UI와 맥락 의존적 결정이 필요하다. DeskCraft는 이 현실적 간극을 드러내는 평가 도구를 제공한다는 점에서, 향후 에이전트 개선 방향 설정에 기여할 것으로 보인다. 평가 코드·과제·데이터는 공개 예정이며, 논문 전문은 arXiv(arxiv.org/abs/2606.03103)에서 확인할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
