엔비디아가 자사 기밀 컴퓨팅(Confidential Computing, CC) 기술이 AI 추론 성능을 거의 그대로 유지하면서도 데이터를 보호할 수 있다는 벤치마크 결과를 공개했다. 기업들이 AI를 도입하는 과정에서 데이터 프라이버시와 주권, 추론 중 데이터 보호에 대한 우려가 장벽으로 작용해온 가운데, 이를 해소하기 위해 설계된 기술이라는 설명이다.
기밀 컴퓨팅은 실리콘·인터커넥트·시스템 소프트웨어에 걸친 다층 보안 구조로 작동한다. RTX PRO 6000, HGX B200, HGX B300 등 엔비디아 블랙웰 GPU에는 이 기능이 하드웨어 단에 내장돼 있으며, HGX B200과 B300은 최대 8개 GPU에 걸쳐 NV링크 암호화를 적용한 기밀 컴퓨팅을 지원한다. GPU는 제조 시점에 부여돼 소프트웨어나 펌웨어, 호스트 시스템에도 노출되지 않는 개인 서명 키를 갖는데, 이것이 검증 체계의 근간이 된다. 워크로드가 실행되기 전에는 원격 검증 서비스(NRAS)가 GPU 하드웨어 보고서와 CPU 신뢰실행환경(TEE) 측정값을 결합한 증거 묶음을 사전 등록된 무결성 기준과 대조해 검증하는 절차를 거친다.
엔비디아는 큐원(Qwen) 3.5 397B-A17B 모델을 FP8 정밀도로, SGLang 프레임워크 위에서 HGX B300(블랙웰 울트라) 환경에 구동해 성능을 측정했다. 동시 요청 수를 4에서 256까지 다양하게 조정하며 입출력 토큰 길이 두 가지 조건에서 처리량과 토큰당 지연시간을 비교한 결과, 기밀 컴퓨팅을 켰을 때의 성능 저하폭은 조건에 따라 1~8%대에 그친 것으로 나타났다. 엔비디아는 이를 두고 기밀 컴퓨팅이 꺼진 상태 대비 최대 98% 수준의 추론 성능을 유지한 것이라고 설명했다.
이 같은 성능 유지에는 몇 가지 최적화 기술이 활용됐다. FlashInfer는 기밀 컴퓨팅 모드에서 이벤트 타이머 대신 GPU 전역 타이머 레지스터를 사용해 커널 실행 시간을 정확히 비교하도록 했고, SGLang은 비동기 디바이스-호스트 복사 작업자를 도입해 스케줄러의 병목을 줄였다. 또한 프리필과 혼합 배치에 대한 부분적 CUDA 그래프 재생 기능을 추가해 커널 실행 오버헤드를 낮췄다. 엔비디아는 이번 결과가 기업들이 규제 준수와 성능 저하 우려 없이 민감한 AI 워크로드와 독점 모델 가중치를 안전하게 다룰 수 있는 기반이 될 것이라고 밝혔다.
