위성 영상의 구조적 이해를 목표로 한 T-STAR는 장면을 개체 중심이 아니라 시간과 공간이 결합된 그래프로 읽어내는 벤치마크다. 동료검토 전 arXiv 프리프린트로 공개된 이 논문은, 위성 영상에서 시공간 panoptic scene graph generation(TPSG)을 새 과제로 정의하고 이를 검증할 대규모 데이터셋과 기준 프레임워크를 함께 제시한다.
T-STAR의 규모는 원문 기준으로 1,188,193개의 instance masks와 3,832,449개의 spatio-temporal triplets에 이른다. 범주는 39개 세분화 객체 클래스와 70개 세분화 관계 클래스로 구성됐다. 영상은 해상도 약 1 m 수준의 자료를 모아 해양, 교량, 항만, 공항, 철도 등 활동이 많은 지리 공간 장면을 포괄한다.
이 작업이 겨냥한 난점도 분명하다. 위성 영상에서는 객체가 작고 질감이 약하며, 가림과 배경 잡음 때문에 프레임 간 연결이 쉽게 끊긴다. 또한 관계 의미가 공간 구조와 시간 변화에 강하게 묶여 있어, 자연영상용 TPSG 모델을 그대로 쓰기 어렵다고 본다. 그래서 관계는 한 객체쌍에 여러 범주가 시간에 따라 붙는 방식으로 주석되었고, 모든 관계 범주는 rotation-invariant하게 정의됐다.
검증은 T-STAR test set에서 이뤄졌고, training/validation/test 분할은 영상 단위 6:2:2 비율이다. 저자 측이 제안한 STCL은 memory-guided matching(MGM), spatial context enhancement(SCE), multi-scale temporal learning(MTL)을 묶어 크로스프레임 인스턴스 일관성과 시공간 관계 예측을 높이도록 설계됐다. 평가에는 PredCls와 SGDet 설정이 모두 사용됐다.
표 III과 표 IV에서 STCL은 여러 기준선보다 높은 수치를 보였다. PredCls에서 θt=0.5일 때, VPS Vanilla는 TR@200/500/1000이 5.74/9.33/12.80%였고, STCL은 16.71/29.38/41.34%였다. 같은 설정의 SGDet에서는 IRG가 TR@200/500/1000 11.17/18.80/24.39%였고, STCL은 22.34/32.09/40.08%를 기록했다. 원문은 또한 단일 장치 추론 처리량이 114.09 FPS, 영상당 평균 추론 시간이 1.96초라고 밝힌다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 데이터셋 규모 | 1,188,193 instance masks; 3,832,449 spatio-temporal triplets; 39 object categories; 70 relationship categories | p.1 abstract / p.3 Table I |
| 학습·검증·테스트 분할 | video-level 6:2:2 | p.10 |
| STCL 성능 예시 | PredCls θt=0.5: VPS Vanilla 5.74/9.33/12.80% vs STCL 16.71/29.38/41.34%; SGDet θt=0.5: IRG 11.17/18.80/24.39% vs STCL 22.34/32.09/40.08% | p.11 Table III; p.12 Table IV |
| 추론 효율 | 114.09 FPS; 1.96 s per video | p.12 |
자료: STORIUM 정리
결국 T-STAR는 위성 영상 TPSG를 위한 데이터, 과제 정의, 기준선 비교를 한 번에 묶어 제시한 작업이다. 자연영상이나 항공영상용 접근을 위성 관점으로 그대로 옮길 수 없다는 점을 수치와 주석 구조로 보여주며, 이후 구조화된 위성 영상 이해 연구의 공통 검증대를 제공한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
