NVIDIA가 클라우드에서 차량까지 이어지는 AI 에이전트 구축 방법론을 담은 기술 가이드를 공개했다. 이 가이드는 자동차 코크핏이 고정 명령어-응답 구조에서 벗어나 추론·계획·실행이 가능한 멀티모달 AI 시스템으로 전환되는 과정을 다루며, 프로덕션 환경에 적합한 에이전트형 캐빈 어시스턴트를 NVIDIA DRIVE 플랫폼으로 구현하는 경로를 구체적으로 제시한다. ABI 리서치에 따르면 에이전트형 AI가 탑재된 차량 출하량은 2025년 약 500만 대에서 2035년 7천만 대로 성장할 전망이다.
차량 내 AI 에이전트 구현의 핵심 과제는 실시간 엣지 추론이다. 프로덕션급 온디바이스 AI 어시스턴트는 70억 개 이상의 파라미터를 가진 LLM(대규모 언어 모델)을 로컬에서 실행하면서 카메라·오디오·텔레메트리 등 다중 입력을 처리하고, 500밀리초 이하의 응답 지연과 초당 30토큰 이상의 디코딩 속도를 유지해야 한다. NVIDIA는 이 요건을 충족하는 플랫폼으로 DRIVE AGX 기반 ‘AI Box’를 제안한다. AI Box는 기존 차량 인포테인먼트 시스템에 부가 ECU(전자제어장치)로 연결되므로 OEM이 기존 차량 전자 아키텍처를 대규모로 재설계하지 않아도 에이전트 AI 기능을 추가할 수 있다.
캐빈 내부 카메라는 동승자의 표정·자세·제스처를 인식하고 잊혀진 탑승자(반려동물·아동) 감지나 햇빛 차단판 자동 조정 같은 선제적 편의 기능을 구현한다. 외부 카메라는 센티 모드(sentry mode)나 키리스 엔트리뿐 아니라 VLM(비전-언어 모델) 기반 자연어 질의에도 활용된다. 예를 들어 “저 레스토랑 영업시간이 어떻게 돼?”라고 물으면 VLM이 카메라 피드를 실시간 분석해 간판과 상호명을 인식하고, 이 시각 정보를 LLM 추론 루프에 전달해 대화형 답변을 생성한다. NVIDIA는 이 구조로 차량이 안전·보안 입력 장치를 넘어 ‘지식이 있는 동반자’로 기능할 수 있다고 설명했다.
클라우드와 차량의 연결은 온디바이스 처리만으로 해결하기 어려운 복잡한 다단계 작업을 외부 AI 서비스와 나눠 처리하는 구조로 구현된다. 차량 내 AI 에이전트는 엄격한 지연·안전·프라이버시 요건 안에서 운영되는 동시에 클라우드 기반 에이전트 및 외부 서비스와 원활하게 연동돼야 한다는 것이 NVIDIA의 설계 원칙이다. 이 가이드는 프로덕션 배포를 위한 아키텍처·도구·구현 경로를 체계화한 문서로, AI 기반 차량 경험의 상용화를 준비하는 자동차 OEM과 소프트웨어 개발사에 실질적인 참고 기준을 제공할 것으로 보인다.
