엔비디아가 증강현실(AR) 글래스와 XR(확장현실) 기기를 위한 AI 에이전트 개발 라이브러리 ‘NVIDIA XR AI’를 공개 베타로 출시했다. 이 라이브러리는 AR·XR 기기에서 들어오는 카메라 영상, 마이크 음성, 깊이 센서 등 실시간 입력 신호를 GPU 가속 AI 서비스와 연결하는 통합 개발 기반을 제공한다. 개발자는 이를 통해 현장 작업자가 손을 자유롭게 쓰면서 AI로부터 맥락 기반 안내를 받을 수 있는 에이전트 애플리케이션을 구축할 수 있다.
XR AI의 핵심 아키텍처는 미디어 수송, 모델 서비스, 툴 접근, 에이전트 오케스트레이션, 클라이언트 전달을 독립 모듈로 분리해 유연성을 확보했다. 시각적 지식 기반 추론에는 NVIDIA Cosmos 모델, 언어 이해와 툴 호출에는 Nemotron 모델이 활용되며, 기업 데이터 연동에는 모델 컨텍스트 프로토콜(MCP)이 통합 레이어로 작동한다. 멀티 에이전트 시나리오에서는 복수 클라이언트가 동일 허브에 연결되고, 각 응답이 올바른 참여자에게 라우팅된다. 또한 대규모 3D 콘텐츠가 필요한 워크플로에는 NVIDIA CloudXR을 통한 공간 렌더링도 지원한다.
이미 다수의 파트너사가 XR AI를 현장에 적용하고 있다. 지멘스(Siemens)는 연구 맥락에서 XR AI와 DGX Spark를 활용해 공장 엔지니어가 유지보수 정보 검색, 문제 해결, 작업 검증을 수행하는 시스템을 탐색 중이다. 생명과학 분야에서는 스탠퍼드대 의과대학 Cong Lab과 프린스턴대 Wang Lab이 줄기세포 치료와 유전자 편집 연구에서 XR 에이전트 기반 실험실 워크플로를 실험하고 있다. 피츠버그 의료센터(UPMC) Surreality Lab은 수술팀 보조 시스템을 XR AI 위에서 구현했으며, 자동차 디자인사 Innoactive는 몰입형 디자인 리뷰 과정의 컨텍스트 보존에 활용하고 있다.
XR AI의 공개 베타 출시는 AI 에이전트의 활동 무대가 화면 속 텍스트 인터페이스를 벗어나 물리적 현장으로 빠르게 확장되고 있음을 보여준다. 국내 제조·의료·물류 현장에서도 착용형 AI 기기에 대한 관심이 높아지는 가운데, 오픈소스 기반의 개발 프레임워크가 공개됨으로써 국내 개발자와 기업도 이 생태계에 참여할 수 있는 진입 장벽이 낮아졌다.
