Temporal Knowledge Graph(TKG)는 사실이 시간에 따라 어떻게 바뀌는지 담지만, 미래 사건을 맞히는 일은 여전히 쉽지 않다. 이 arXiv 프리프린트는 긴 시간 의존성, 서로 다른 사건 사슬 간 상호 자극·억제, 그리고 heavy-tailed한 사건 간격이라는 세 문제를 한 프레임워크로 다루는 방식을 제시한다. 제안 모델은 Group Attention Neural Hawkes Process(GAttNHP)다.
핵심은 세 구성요소의 결합이다. 첫째, self-attention 인코더가 각 subject–relation 사슬을 연속시간 point process로 보고 먼 과거의 여진을 포착한다. 둘째, semantic soft-grouping 모듈은 학습 가능한 Hawkes prior를 해석적 cross-attention mask로 바꿔, 사슬들이 latent group membership을 통해 excitation 패턴을 공유하게 한다. 셋째, Non-Crossing Quantile(NCQ) 회귀 헤드는 평균값 대신 분위수 예측을 써서, heavy-tailed 간격에서도 단조적으로 정렬된 추정치를 내도록 설계됐다.
검증은 6개 표준 벤치마크에서 이뤄졌다. 본문과 부록에 따르면 event-centric 데이터셋은 ICEWS14, ICEWS05-15, ICEWS18, GDELT이고, knowledge-centric 데이터셋은 WIKI와 YAGO다. 시간 예측 평가는 MAE, SMAPE, MACE, coverage, interval score로 진행했으며, 행위 예측은 time-aware raw MRR과 Hits@1/3/10을 사용했다. Chronological split은 학습/검증/시험 80%/10%/10%로 나뉘었다.
엔터티 예측에서는 Table 1의 ICEWS14, ICEWS18, ICEWS05-15에서 GAttNHP가 각각 MRR 0.5068±0.0064, 0.3863±0.0184, 0.5137±0.0072를 기록했다. 각 데이터셋의 기존 최고 비교군은 ECEformer 0.4243, TLogic 0.2832, TLogic 0.4586으로, 절대 차이는 0.0825, 0.1031, 0.0551이다. 논문은 같은 표에 Hits@1/3/10도 제시하지만, 여기서는 세 데이터셋의 MRR과 시간 예측 성능을 중심으로 비교한다.
시간 예측에서는 Table 3과 Table 2가 NCQ의 효과를 보여준다. 같은 encoder를 쓴 GAttNHP-NCQ는 ICEWS14/18/05-15에서 MAE 1.33/0.83/3.07일로, GAttNHP-MSE의 2.52/1.67/10.33일보다 47%/50%/70% 낮았고, 외부 기준선 GHT의 2.95/3.07/4.32일보다도 55%/73%/29% 낮았다. Table 4의 예측구간 평가는 NCQ가 ICEWS14에서 QSm 0.44, Cov@50 0.46, Cov@90 0.85, IS50 4.13, IS90 7.32를 보였고, ICEWS18에서는 QSm 0.35, Cov@50 0.55, Cov@90 0.90, IS50 2.73, IS90 5.50이었다.
| 항목 | 원문 수치/비교 | 근거 위치 |
|---|---|---|
| ICEWS14/ICEWS18/ICEWS05-15 엔터티 예측 MRR | 0.5068±0.0064 / 0.3863±0.0184 / 0.5137±0.0072 | p.8 Table 1 |
| GAttNHP-NCQ MAE(일) vs GAttNHP-MSE / GHT | 1.33 vs 2.52 / 2.95; 0.83 vs 1.67 / 3.07; 3.07 vs 10.33 / 4.32 | p.9 Table 3 및 p.8 본문 |
| NCQ 예측구간 지표(ICEWS14) | QSm 0.44, Cov@50 0.46, Cov@90 0.85, IS50 4.13, IS90 7.32 | p.9 Table 4 |
| 모델 크기와 실행 환경 | 2.8–8.5M params; ECEformer 88–107M; peak memory 2.5–3.1GB; RTX 4080 16GB | p.13–14 Appendix Table 5 |
자료: STORIUM 정리
저자 소속 표기는 첫 저자 Xiangni Tian의 이메일이 tianxiangni@itc.ynu.edu.cn로 적힌 점과, 같은 첫 페이지의 저자 목록에 Xiangni Tian 1, Niansheng Tang 1이 표시된 점으로 보아 Yunnan University로 연결된다. 본문 부록에는 GAttNHP가 2.8–8.5M 파라미터를 쓰며, ECEformer의 88–107M보다 약 12–35배 적고, peak memory는 2.5–3.1GB라고 적었다. 실험은 단일 NVIDIA RTX 4080(16GB)에서 수행됐고, 가장 큰 비교군 ECEformer는 48GB GPU가 필요하다고 밝혔다. 부록의 장기 꼬리 분석은 성능 향상이 long-tail event chains에서 가장 크게 나타난다고 정리한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
