엔비디아(NVIDIA)가 자율주행차(AV), 로봇, 공간 AI 시스템에서 핵심 연산으로 쓰이는 조감도(BEV, Bird’s-Eye-View) 지각 처리를 대폭 가속하는 최적화 기법 BEVPoolV3를 공개했다. BEV 지각은 다수의 카메라 영상 특징을 하나의 상공 시점 격자(top-down grid)로 통합해 차선·차량·보행자·빈 공간을 인식하는 방식으로, 이 과정에서 이미지 특징을 수집하고 깊이 정보를 가중해 BEV 격자 셀로 합산하는 ‘BEV 풀링(BEV pooling)’ 연산이 지연 시간의 병목으로 작용해 왔다. BEVPoolV3는 중복 메모리 접근을 줄이고 인덱스 처리 방식을 개선해 이 병목을 해소하는 것을 목표로 한다.
엔비디아가 두 종류의 RTX GPU를 대상으로 실측한 결과, 128MB L2 캐시를 탑재한 RTX PRO 6000 Blackwell Max-Q(Blackwell 아키텍처)에서 BEVPoolV3 FP8 경로가 표준 설정(canonical config)에서 16.4µs를 기록했다. 이는 기존 V2 FP16 경로의 274.0µs 대비 약 16.7배 빠른 수치다. 채널 수가 많거나 포인트 수가 많은 대규모 설정에서는 최대 42배의 속도 향상도 확인됐다. 6MB L2 캐시의 RTX A6000(Ampere 아키텍처)에서는 DRAM 대역폭이 병목이 되는 다른 환경에서 BEVPoolV3 FP16 경로가 90.0µs를 달성했고, 이는 V2 기준 대비 11~22배 수준의 성능 향상이다.
BEVPoolV3의 핵심 개선 사항은 네 가지다. 중복 깊이 로드 감소, 다섯 개 배열로 구성된 INT32 산포 맵(scatter map), 실행 시 정수 나눗셈 없이 사전 연산된 인덱스 사용, 그리고 원자적 연산(atomic operation) 없이 각 BEV 간격이 자체 출력 쓰기를 담당하는 구조다. 특히 GPU의 L2 캐시 크기에 따라 최적화 전략이 달라진다는 점이 이번 연구의 핵심 발견이다. 작업 세트가 L2 캐시를 초과하는 소형 캐시 GPU에서는 바이트 절감과 캐시 보존 출력 저장에 집중하고, L2 캐시 내에 작업 세트가 들어오는 대형 캐시 GPU에서는 점유율(occupancy), 벡터화 로드, FP8 특수화에 초점을 맞춘다.
엔비디아는 BEVPoolV3를 TensorRT IPluginV3 플러그인 형태로 배포하며, 검증 결과 RTX A6000에서 최대 오차 0.0065 수준의 수치 정확도를 유지했다고 밝혔다. 이 최적화 방법론은 BEV 풀링에 국한되지 않으며, 희소 임베딩(sparse embedding), 복셀화(voxelization), 분할 환원(segmented reduction) 등 불규칙한 메모리 접근을 수반하는 다양한 물리 AI 연산에 동일하게 적용할 수 있다. 엣지 플랫폼인 NVIDIA DRIVE AGX Thor에도 적용 가능성을 검토하고 있으며, 이 경우 FP8 속도 이득은 플랫폼 특성에 따라 달라질 수 있다고 엔비디아는 밝혔다.
