운영 중인 대규모언어모델 에이전트의 지속 지침을 경험에 따라 갱신하면서도 변경 범위를 검증하는 GRACE가 제안됐다. 모델·도구·실행 하네스는 고정하고, 시스템 수준의 가변 지침만 장기간 진화시키는 상황에서 평문 지침이 길어질수록 상호작용을 확인하기 어렵다는 문제를 다룬다.
GRACE는 지속 지침을 유형이 붙은 의미 그래프로 관리한다. 새 업데이트가 들어오면 바뀐 노드 주변의 같은 유형 이웃만 국소적으로 검증하고, 통과한 그래프 변경을 실제 배포에 쓰는 텍스트 지침의 증분 편집으로 재구성한다. 구조화와 내용 통합을 통해 누적 지침을 사용할 수 있게 유지하는 방식이다.
τ²-bench에서 파생한 고정 통신사 하네스에서 10개 진화 배치와 5개 독립 진화 궤적을 평가했다. 모델·도구·하네스와 66개 보류 과제는 고정했고, 각 보류 과제를 체크포인트마다 3회 실행했다. 최종 체크포인트 pass³는 Gemini 2.5 Flash 제로샷 0.091에서 GRACE 적용 후 0.673±0.136으로 높아졌다. 같은 보류 세트의 Gemini 3.1 Pro 제로샷은 0.242, 평문 HCE 기준은 0.191±0.051이었다.
수치는 작은 반복 수와 통제된 단일 하네스에서 얻어졌고 오차 범위도 넓다. 의미 그래프의 유형 설계와 국소 검증기가 놓친 장거리 상호작용은 새 실패를 만들 수 있다. 최신 모델을 능가했다는 비교도 모델 자체의 일반 능력보다 특정 지침 진화 절차와 시험 세트에 관한 결과다.
| 조건 | pass³ | 범위 |
|---|---|---|
| Gemini 2.5 Flash 제로샷 | 0.091 | 고정 보류 세트 |
| GRACE 최종 | 0.673±0.136 | 5개 독립 진화 궤적 |
| 평문 HCE 최종 | 0.191±0.051 | 동일 하네스 |
| Gemini 3.1 Pro 제로샷 | 0.242 | 고정 참조값 |
GRACE 연구는 2026년 7월 arXiv 프리프린트로 공개돼 동료검토 전이다. 다양한 업무·모델·장기 운영 기간에서의 재현과 그래프 구축 비용, 잘못된 경험이 지침에 축적될 때의 복구 절차를 추가로 검증해야 한다. 장기간 운영에서 같은 개선이 유지되는지는 아직 불확실하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
