장기 단계 3D 객체 검출의 망각 악순환을 줄인 학습동역학 기반 메모리·리뷰 기법

증분 3D 객체 검출은 새 클래스를 배우면서도 이전 클래스를 잊지 않아야 하는 과제를 안고 있다. 이 arXiv 프리프린트는 기존의 pseudo-labeling 중심 방법이 짧은 단계에서는 버티더라도, 단계가 길어질수록 모델 망각이 심해진다고 보고 그 원인을 추적한다. 핵심 진단은 새로운 클래스의 분포 이동이 오래된 클래스의 성능 저하를 낳고, 그 결과 pseudo-label 오류가 누적되며 다시 성능을 더 떨어뜨리는 자기강화 순환이라는 점이다.

이에 따라 연구진은 Learning-Dynamics-driven Memory and Review(LDMR)를 제안했다. 이 방식은 주기적인 학습 체크포인트마다 클래스별 검출 품질을 관찰하고, 그 신호를 바탕으로 두 가지 메커니즘을 작동시킨다. 하나는 각 증분 단계를 여러 하위 단계로 나눠 가장 많이 잊힌 대상을 집중적으로 되짚는 인간형 단계 내 리뷰이고, 다른 하나는 두 연속 단계 사이에서 장면의 학습 가능성과 다양성을 함께 고려해 메모리 뱅크를 갱신하는 장면 인지형 교차 단계 메모리 진화다.

장기 단계 3D 객체 검출의 망각 악순환을 줄인 학습동역학 기반 메모리·리뷰 기법 논문의 Figure 1 — Figure 1. Figure 1: Task illustration and result comparison. (a) Long-incremental 3D object detec- tion has the continuous incremental learning stages, where novel class annotations are available at the current stage; objects from previously learned old classes are unlabeled in the later stages. (b) Performance comparison over multiple long-incremental 3D detection tasks, showing our method consistently outperforms baseline approaches. 출처: arXiv:2607.14560

검증은 실내 벤치마크 SUN RGB-D와 ScanNetV2에서 이뤄졌다. SUN RGB-D는 40개 클래스, ScanNetV2는 35개 클래스를 포함하며, ScanNetV2는 1,513개의 재구성된 RGB-D 스캔 중 1,201개로 학습하고 312개로 평가했다. 평가는 IoU 0.25의 mAP와 각 단계 후 Average Forgetting(AF)으로 진행했으며, 학습동역학의 recall은 IoU 0.5에서 계산했다. 3, 5, 10단계 설정을 포함한 여러 장기 incremental 프로토콜에서 LDMR은 모든 기준선보다 높은 성능을 보였다.

수치도 이를 뒷받침한다. SUN RGB-D에서 TR3D 백본 기준 LDMR의 mAP@0.25는 3단계 29.12, 5단계 25.10, 10단계 19.38이었고, 같은 조건의 SDCoT++는 22.92, 14.28, 8.45였다. ScanNetV2에서도 LDMR은 39.00, 28.38, 17.82로 SDCoT++의 35.15, 20.61, 7.06을 앞섰다. 또 SUN RGB-D의 TR3D에서 3단계 22.92였던 값이 10단계 8.45로 떨어진 사례처럼, 단계가 길어질수록 기준선의 망각이 커지는 양상도 함께 제시됐다.

절제 실험에서는 두 구성요소의 기여가 분리돼 확인됐다. SUN RGB-D, TR3D에서 전체 모델은 3단계 29.12, 5단계 25.10, 10단계 19.38이었고, 인간형 리뷰를 뺀 경우는 26.67, 23.47, 17.51, 메모리 진화를 뺀 경우는 27.44, 23.17, 18.70, 둘 다 뺀 경우는 25.18, 20.02, 15.54였다. 같은 표에서는 10단계 설정에서 Random memory 15.54, Reservoir 16.12, Max #objects 15.31, Lowest recall 14.10과 비교해 LDMR이 19.38을 기록했다.

구성/비교	핵심 수치	근거 위치
SUN RGB-D, TR3D, LDMR vs SDCoT++	LDMR 29.12/25.10/19.38; SDCoT++ 22.92/14.28/8.45 (3/5/10-stage mAP@0.25)	p.12 \| Table 1
ScanNetV2, TR3D, LDMR vs SDCoT++	LDMR 39.00/28.38/17.82; SDCoT++ 35.15/20.61/7.06 (3/5/10-stage mAP@0.25)	p.12 \| Table 1
SUN RGB-D, TR3D 절제 실험	full 29.12/25.10/19.38; w/o HR 26.67/23.47/17.51; w/o ME 27.44/23.17/18.70; w/o HR & ME 25.18/20.02/15.54	p.14 \| Table 2
SUN RGB-D, TR3D 10-stage memory-bank scheme 비교	Random 15.54; Reservoir 16.12; Max #objects 15.31; Lowest recall 14.10; LDMR 19.38	p.14 \| Table 3

자료: STORIUM 정리

저자 표기 기준 첫 번째 소속은 Singapore University of Technology and Design이며, 공동 소속으로 Institute for Infocomm Research, A*STAR, Singapore가 적혀 있다. 코드 공개 주소도 함께 제시됐지만, 본문에서 확인되는 범위는 프리프린트의 실내 3D 검출 장기 증분 설정과 SUN RGB-D, ScanNetV2 내부 평가까지다. 외부 실환경 배치나 별도 현장 검증은 카드에 없다.