엔비디아가 7월 15일 공개한 DeepStream 9.1은 서로 다른 카메라에 잡힌 같은 객체를 하나의 3차원 좌표와 식별자로 연결하는 데 초점을 맞춘다. 핵심은 다중 시점 3D 추적 MV3DT와 자동 보정 도구 AutoMagicCalib다. 창고 안전, 매장 분석, 스마트빌딩처럼 사람이 카메라 경계를 넘나드는 공간에서 단일 카메라 추적이 끊기는 문제를 줄이려는 구성이다.
MV3DT는 보정된 각 카메라의 2차원 경계상자를 3×4 투영행렬로 세계 좌표에 역투영한다. 카메라별 트랙 조각은 MQTT로 공유하고, 3차원 위치가 가까운 관측을 결합해 환경 전체에서 유지되는 객체 ID를 부여한다. 기본 지원 검출기는 PeopleNetTransformer, PeopleNet 2.6.3, RT-DETR 2D 세 가지다. 결과는 카메라 격자 화면, 조감도 궤적, Kafka의 프레임별 protobuf 메타데이터로 내보낸다.
AutoMagicCalib는 체커보드를 현장에 놓는 전통적 보정 대신 기존 영상이나 스트림 속 이동 궤적을 활용한다. 카메라별 초점거리·주점·왜곡과 회전·이동 같은 내외부 파라미터를 추정하고, 여러 시점의 트랙을 맞춘 뒤 번들 조정으로 재투영 오차를 줄인다. 다만 사용자는 카메라 화면과 배치도에서 대응하는 기준점을 일부 지정해야 한다. 움직임이 적은 장면에는 VGGT 기반 보정을 선택할 수 있다.
이번 버전은 비전 AI 개발을 위한 에이전트 스킬 13개도 제공한다. MV3DT 스킬은 실행 환경 확인, 컨테이너 준비, Kafka·Mosquitto 설치, 검출 모델 다운로드, 설정 생성과 파이프라인 실행을 다룬다. 보정 파일이 없으면 AMC 스킬을 이어 호출한다. 자연어 지시로 과정을 묶을 수 있지만, 권한이 필요한 Docker 명령과 정렬 기준점 지정 같은 단계까지 완전히 무인화되는 것은 아니다.
| 구성 | 역할 | 출력·연결 |
|---|---|---|
| MV3DT | 다중 카메라 3D 추적·전역 ID | OSD·BEV·Kafka |
| AutoMagicCalib | 내외부 파라미터 자동 추정 | 3×4 투영행렬 YAML |
| 검출기 | PeopleNetTransformer·PeopleNet 2.6.3·RT-DETR 2D | 사람·운반차·지게차 등 |
| 에이전트 스킬 | 설정·모델·컨테이너·실행 자동화 | 총 13개 |
자료: STORIUM 정리
소스코드와 4·12카메라 예제, 참조 애플리케이션은 DeepStream 깃허브 저장소에서 공개됐다. 요구 환경은 x86_64 Ubuntu 24.04, 580 이상 엔비디아 드라이버, Docker와 NVIDIA Container Toolkit 등이다. JetPack 7.2를 통해 Orin과 Thor도 지원한다. 발표가 보여준 진전은 새 추적 알고리즘 하나보다 보정·추적·메시징·에이전트 실행을 재사용 가능한 배포 단위로 묶은 데 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
