3D 장면그래프(3DSG)를 활용하는 로봇 인지에서는 환경 전체를 먼저 구축한 뒤 필요한 정보만 거르는 방식이 실시간·저지연 요구와 충돌할 수 있다고 본다. 이 논문은 그런 누적식 접근이 관측 중복을 키워 ‘perceptual saturation’을 유발한다고 설명하며, 이를 줄이기 위한 JITOMA(Just-In-Time On-demand Memory Activation)를 제안한다. arXiv v1 프리프린트로 공개된 상태이며, 핵심은 장면을 처음부터 전부 메모리에 올리지 않고 과제와 질의 시점에 맞춰 필요한 부분만 깨우는 데 있다.
JITOMA의 전면부는 자연어 지시를 해석해 과제 히트맵을 만들고, 연속 RGB-D 관측 중 과제와 관련된 흐름만 통과시킨다. 이렇게 남은 관측은 저비용의 ‘dormant anchors’로 저장된다. 후단에서는 LLM이 로봇 의도를 파싱해 관련 앵커만 활성화하고, 그 활성화된 로컬 서브그래프 안에서만 dense node captioning과 functional inference 같은 계산 집약 작업을 수행한다. 전체 장면을 균질하게 확장하는 대신, 실행에 필요한 곳에서만 그래프를 자라게 하는 구조다.
검증용으로는 JITOMA-Bench가 함께 제시됐다. 연속적인 실제 궤적(real-world trajectories)에 기반하며, 3DSG 평가를 3단계로 나눈다. 1단계는 단일 객체 grounding, 2단계는 스트리밍 과제 시퀀스 아래 장기 시간 동역학, 3단계는 기능적으로 암시된 latent object까지 포함한 복합 추론이다. 평가는 정확도와 효율을 함께 본다. 정확도는 top-1 IoU와 mR@K로, 효율은 active object 수(Objs), peak graph size(Peak), 프레임당 처리시간(TPF)로 측정한다.
Table 1의 세 장면 Apartment, Office, Cubicle에서 JITOMA는 비교군 ConceptGraphs, ReasoningGraph, Clio와 함께 평가됐다. 연구진이 제시한 종합 결과에 따르면, 세 장면과 세 단계 전체에서 아홉 개 정확도 지표가 모두 개선됐고 평균 향상폭은 IoU 5.0, mR@1 9.4, mR@3 7.3이다. 효율 측면에서는 Tier 1과 Tier 2에서 질의 시점 활성 객체가 1~2개, 활성 피크가 최대 4개였으며, 보관된 dormants anchors는 284~512개였다. Tier 1에서 Tier 2로 넘어가도 TPF 증가는 프레임당 0.01~0.02초에 그쳤고, Tier 2에서는 ConceptGraphs보다 약 9~21배 빠르다고 적었다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| JITOMA 핵심 동작 | 과제 히트맵으로 관측을 거르고, 질의 시 관련 앵커만 활성화 | |
| JITOMA-Bench 평가 단계 | Tier 1: foundational grounding / Tier 2: long-horizon temporal dynamics / Tier 3: complex cognitive reasoning | |
| 주요 정량 결과 | 세 장면에서 아홉 개 정확도 항목 모두 개선, 평균 +5.0 IoU / +9.4 mR@1 / +7.3 mR@3 | |
| 효율 관련 수치 | Tier 1·2에서 active object 1~2개, peak 최대 4개, dormant anchors 284–512개; TPF 증가 0.01–0.02 s/frame |
자료: STORIUM 정리
이 결과가 말하는 바는 단순한 그래프 축소가 아니라, 과제 중심 활성화가 장기 과제 전환에서도 처리 시간을 안정적으로 유지할 수 있느냐는 점이다. 논문은 AOT 방식의 전면 누적이 의미론적 잡음을 늘리고 LLM의 문맥을 오염시킬 수 있다고 보며, JITOMA가 그 반대편 해법으로 제시된다고 정리한다. 한편 수치는 JITOMA-Bench와 Table 1의 장면들에 한정된 내부 평가이며, 외부 데이터셋이나 실제 배치 환경에 대한 추가 검증은 이 카드에 없다.
저작권자 © STORIUM 무단전재 및 재배포 금지
