엔비디아(NVIDIA)의 블랙웰(Blackwell) 아키텍처 기반 HGX B200이 금융 산업 표준 AI 성능 벤치마크인 STAC-AI LANG6에서 신기록을 달성했다. 전략 기술 분석 센터(STAC, Strategic Technology Analysis Center)가 15년 이상 운영해 온 이 벤치마크는 RAG(검색 증강 생성)와 LLM 추론 파이프라인의 종단간 성능을 측정한다.
이번 벤치마크는 라마(Llama) 3.1 8B와 70B 인스트럭트 모델에 EDGAR 10-K 공시 기반의 금융 전용 데이터셋을 적용해 진행됐다. EDGAR4는 중간 길이의 맥락을, EDGAR5는 단일 기업의 전체 연간보고서를 처리하는 장문 맥락 시나리오에 해당한다. 결과적으로 HGX B200은 배치 모드에서 라마 3.1 8B 기준 초당 5만 2,823 단어(WPS), 라마 3.1 70B 기준 초당 1만 2,040 단어를 처리하며 이전 세대 GH200 대비 최대 2.8배 높은 처리량을 기록했다. NVFP4 양자화를 적용한 블랙웰은 기존 FP8 기반 호퍼 아키텍처와 비교해도 뚜렷한 우위를 보였다.
이번 테스트에는 HPE, 슈퍼마이크로(Supermicro), Lambda 세 파트너사의 시스템이 참여했다. HPE ProLiant DL384 Gen12(GH200 기반), Lambda의 클라우드 HGX B200 인스턴스, Red Hat OpenShift 위에서 구동된 슈퍼마이크로의 RTX PRO 6000 블랙웰 2-GPU 구성이 각각 벤치마크를 통과했다. 슈퍼마이크로 시스템은 컨테이너화된 쿠버네티스 환경이 GPU 집약적 LLM 추론에서 측정 가능한 오버헤드를 발생시키지 않는다는 점도 확인했다. 엔비디아는 GH200 기반의 호퍼 세대 역시 출시 3년이 지난 현재에도 금융 기관의 배치 및 인터랙티브 추론 모두에서 유효한 성능을 유지한다고 밝혔다.
금융 기관들은 LLM을 통해 뉴스·소셜미디어 감성·실적 보고서·시장 데이터를 종합 분석해 주가 움직임을 예측하거나 투자 전략을 자동화하는 방향으로 AI 도입을 가속화하고 있다. STAC-AI 벤치마크는 실제 서버 사이드 토크나이징을 포함해 리얼 배포 시나리오를 재현하는 점에서 차별화되며, 블랙웰의 이번 기록은 이러한 금융 업계 수요에 직접적으로 대응한다.
