LLM 에이전트가 “내일 오전 11시 50분에 이메일을 보내 달라”는 요청을 기억해 정확한 시점에 실행할 수 있는지 측정하는 벤치마크가 나왔다. UCLA 연구진은 인지과학의 ‘Virtual Week’를 텍스트 환경으로 옮긴 PM-Bench를 공개했다. arXiv에 2026년 7월 14일 제출된 v1 프리프린트로, 동료평가 결과는 아직 제시되지 않았다.
공개된 시나리오는 7일, 80개 시간 단계로 구성된다. 과제 정의는 83개이며 이 가운데 실제 채점 대상은 81개다. 사건 기반 과제 57개와 시간 기반 과제 26개, 다음 날까지 의도를 유지해야 하는 교차일 과제 7개가 포함됐다. 취소·덮어쓰기·일정 변경을 합친 갱신 사건도 11개여서 단순 회상보다 실행 시점과 상태 변화를 함께 본다.
평가는 단일 에이전트, 할 일 원장, 선택형·자동 하트비트, 계층형 다중 에이전트 등 8가지 구성을 8개 모델에 적용했다. 전체 평균 Macro Set-F1은 선택형 하트비트가 65.1%로 가장 높았고, 단일 기준선은 60.0%, 할 일 원장은 62.8%였다. 자동 하트비트를 더 자주 호출하거나 다중 에이전트 투표를 붙인다고 성능이 일관되게 오르지는 않았다.
선택형 하트비트는 교차일 과제 적중률 50.0%와 갱신 과제 적중률 44.4%를 기록했다. 반면 30분 자동 하트비트는 질의 203회와 거짓 양성 489건을 만들면서 Macro Set-F1이 57.8%에 머물렀다. 연구진은 더 많은 과제를 찾아내는 방식이 아직 실행할 때가 아닌 과제까지 처리하는 과잉 행동으로 이어질 수 있다고 해석했다.
| 구성 | Macro Set-F1 | 교차일 적중률 | 갱신 적중률 | 거짓 양성 |
|---|---|---|---|---|
| 단일 기준선 | 60.0% | 44.6% | 37.5% | 199 |
| 할 일 원장 | 62.8% | 37.5% | 41.7% | 134 |
| 선택형 하트비트 | 65.1% | 50.0% | 44.4% | 178 |
| 30분 자동 하트비트 | 57.8% | 35.7% | 47.2% | 489 |
자료: STORIUM 정리
PM-Bench는 합성된 단일 주간 시나리오이며 실제 사용자의 장기 업무나 현실의 도구 실패를 그대로 재현하지 않는다. 결과도 선택한 8개 모델과 에이전트 구성에 한정된다. 그럼에도 지연 의도, 취소, 재예약, 숨은 상태 확인을 한 평가 안에 넣어 에이전트 기억을 “기억했는가”와 “제때 올바르게 행동했는가”로 나눠 점검할 기준을 제시했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
