엔비디아가 자체 개발한 데이터센터용 CPU ‘베라(Vera)’가 에이전트형 AI 워크로드에서 GPU와의 병목을 줄여 전체 처리량을 끌어올린다고 밝혔다. 베라는 엔비디아가 설계한 올림푸스(Olympus) 코어 88개를 하나의 모놀리식 다이에 집적한 구조로, 추론과 툴 호출, 코드 실행, 강화학습 등 여러 단계로 이어지는 에이전트 시스템의 순차적 연산을 CPU 단에서 신속히 처리하도록 설계됐다. 엔비디아는 앞서 주요 AI 연구소에 베라 CPU 초도 납품을 추진한 데 이어 이번엔 실제 성능 개선폭을 공개했다.
엔비디아에 따르면 베라는 풀 소켓 부하 상태에서 기존 x86 CPU 대비 코어당 지속 성능이 1.8배 높고, 최대 부하 지연시간은 40% 낮다. 강화학습 평가 완료율에서도 기존 CPU가 45%에 그치는 반면 베라는 최대 85%까지 처리할 수 있다고 설명했다. 메모리 대역폭은 코어당 3배 이상 높으면서 소비 전력은 절반 미만으로, LPDDR5x 기반 총 대역폭은 최대 1.2TB/s에 달한다. 엔비디아는 CPU 성능이 떨어지면 강화학습 훈련 시간이 늘어나고, 사용자 응답이 지연되며, GPU 메모리에 저장된 KV 캐시가 축출돼 연산 절감 효과가 사라지는 세 가지 문제가 동시에 발생한다고 지적했다.
에이전트형 AI는 하나의 요청이 여러 단계의 추론과 외부 도구 호출을 거치는 구조여서, CPU가 각 단계 사이의 조율과 응답을 얼마나 빨리 처리하느냐가 전체 서비스 품질을 좌우한다. 엔비디아는 베라 CPU가 이 병목을 줄여 GPU 연산 시간이 컨텍스트 재구성이 아니라 실제 토큰 생성에 더 많이 쓰이도록 한다고 강조했다. 외부 매체 포로닉스(Phoronix)가 수행한 벤치마크 결과도 함께 인용됐으며, 스케일러블 코히런시 패브릭(SCF)과 공간 멀티스레딩(Spatial Multithreading) 기술이 이러한 성능의 기반으로 언급됐다.
베라 CPU는 차세대 GPU 아키텍처인 베라 루빈(Vera Rubin) NVL72 플랫폼과 함께 엔비디아의 AI 팩토리 전략의 한 축을 이룬다. 이번 발표는 GPU 성능 경쟁이 어느 정도 포화 상태에 이르면서, CPU와 메모리 대역폭 같은 주변 인프라가 실질적인 처리량을 좌우하는 요소로 부각되고 있다는 업계 흐름을 반영한다. 엔비디아는 다만 공개한 수치가 상대적 측정치이며 향후 조건에 따라 달라질 수 있다고 단서를 달았다.
저작권자 © STORIUM 무단전재 및 재배포 금지
