NVIDIA가 공장, 도시, 창고, 물류 시스템 등 현장에서 비디오 데이터를 운영 정보로 전환하는 비전 AI 에이전트의 정확도를 높이기 위한 세 가지 실전 워크플로를 공개했다. 이 워크플로는 NVIDIA Omniverse의 OpenUSD 기반 합성 데이터 생성, NVIDIA Metropolis의 영상 AI 배포, NVIDIA TAO 파인튜닝을 결합한 것으로, 가트너는 2028년까지 기업 관리 데이터의 3분의 2 이상이 데이터센터·클라우드 외부에서 생성·처리될 것으로 전망하고 있다. 그러나 엣지 데이터의 약 90%는 현재 분석 없이 방치된다는 점이 비전 AI 에이전트의 확산을 가로막는 핵심 과제다.
첫 번째 워크플로는 제조 결함 검사다. 로보플로우(Roboflow)는 NVIDIA 결함 이미지 생성(Defect Image Generation) 스킬과 Cosmos 세계 기반 모델을 자사 비전 AI 플랫폼에 통합해 실제 학습 데이터가 부족한 상황에서 합성 결함 이미지를 생성한다. 코닝(Corning)의 광섬유 제조 엔지니어링 팀과 진행한 벤치마크에서 실제 결함 이미지 8장에 합성 데이터를 추가해 학습한 모델이 평균 정밀도 95%와 가장 어려운 결함 클래스에서 완전 재현율(perfect recall)을 달성했으며, 기존 실데이터만으로 학습한 기준 모델을 능가했다. 두 번째 워크플로는 스마트시티다. 링커비전(Linker Vision)은 NVIDIA Metropolis의 영상 검색·요약(VSS) 블루프린트와 Omniverse 디지털 트윈을 결합해 도시 인프라에 비전 AI 에이전트를 구축하고, 대만 가오슝시에서 개발 공수를 85% 절감하고 사건 대응 시간을 최대 80% 단축했다.
세 번째 워크플로는 산업 현장이다. 폭스콘(Foxconn) 생산 라인에서 딥하우(DeepHow)의 라이브 SOP 검증 에이전트가 VSS 블루프린트와 Cosmos 추론 기능을 결합해 작업자가 표준 운영 절차를 올바른 순서로 수행하는지 실시간으로 분석한다. NVIDIA GB300 서버 생산 라인에 적용한 결과 첫 번째 통과 수율(first-pass yield)이 3% 향상되고 핵심 SOP 단계에서의 미세 동작 이해 정확도 99%, 문제 조기 포착을 통한 재작업 감소 효과를 달성했다.
NVIDIA는 이 세 사례를 통해 비전 AI 에이전트 구축의 핵심 장벽 세 가지를 제시한다. 데이터 부족으로 인한 정확도 정체, 전문 머신러닝 팀 없이 모델을 파인튜닝하는 어려움, 비디오 파이프라인과 AI 모델·알림·보고서를 이어붙이는 복잡한 에이전트 조립 과정이다. OpenUSD가 장면 기술의 공통 계층을 제공함으로써 팀이 3D 환경을 매번 처음부터 재구성하지 않아도 배포 환경 변화에 대응할 수 있도록 한다는 점도 강조했다.
