UCLA의 Genglin Liu와 Saadia Gabriel은 대형언어모델 에이전트의 ‘전망기억’을 측정하는 PM-Bench를 제안했다. 전망기억은 다른 활동을 계속하는 동안 지금 세운 의도를 미래의 특정 시간이나 사건에 맞춰 실행하는 능력이다. 연구진은 인지과학의 Virtual Week 과제를 텍스트 환경으로 옮겨 이메일·일정·배송처럼 겉으로 드러나지 않는 상태를 에이전트가 능동적으로 확인하고 제때 행동하도록 설계했다.
평가는 시뮬레이션된 7일 일정에서 진행된다. 하루 10~13단계, 총 80단계의 일상 선택 사이에 시간·사건 기반 지연 과제와 상태 변경, 취소·재예약 같은 업데이트가 섞인다. 연구진은 최신 LLM 8개와 서로 다른 에이전트 구성 8개를 비교해, 의도 유지와 지연 실행, 잠재 환경 변화의 모니터링을 함께 측정했다.
논문 초록이 보고한 최고 결과는 GPT-5.4 에이전트의 F1 65.1%다. 이는 모든 모델의 평균이나 특정 보조 구조의 보편적 성적이 아니라, 연구진이 시험한 조합 가운데 최고 결과다. 또한 어떤 단일 전략도 모든 모델에서 우세하지 않았다. 알림이나 조회 횟수를 늘리는 것만으로는 교차일 과제와 변경된 의도를 안정적으로 처리할 수 없다는 결론이다.
| 검증 항목 | 확인 내용 |
|---|---|
| 환경 | 시뮬레이션 7일·총 80단계 |
| 비교 범위 | 8개 LLM·8개 에이전트 구성 |
| 최고 결과 | GPT-5.4 에이전트 F1 65.1% |
| 핵심 결론 | 모든 모델에 공통으로 우세한 단일 전략 없음 |
자료: PM-Bench 논문·STORIUM 정리
PM-Bench는 통제된 합성 환경의 진단 도구이므로 실제 사용자의 장기 일정 관리 성능으로 곧바로 일반화할 수 없다. 오류 비용이 큰 예약·결제·업무 자동화에서는 외부 일정 저장, 명시적 확인, 사람의 승인 같은 안전장치가 필요하다. 논문은 2026년 7월 14일 arXiv에 공개됐고 COLM 2026 학회 논문으로 게재됐다. 원문: https://arxiv.org/abs/2607.12385
저작권자 © STORIUM 무단전재 및 재배포 금지
