NVIDIA가 대규모 GPU 클러스터를 위한 실시간 모니터링 관리형 서비스 Fleet Intelligence를 정식 출시했다. 에이전트 기반 구조로 설계된 이 서비스는 데이터센터 GPU의 전력, 온도, 성능, 하드웨어 건강 상태, 드라이버·펌웨어 설정 일관성을 연속 수집·분석하며, NVIDIA의 수십만 대 GPU 운영 경험을 바탕으로 설계됐다. 클라우드 파트너 Lambda와 IREN이 조기 접근(EA) 단계부터 참여해 피드백을 제공했다.
Fleet Intelligence는 호스트에 경량 에이전트를 설치해 텔레메트리를 클라우드 서비스로 전송하는 방식으로 작동한다. 에이전트는 리눅스 패키지 관리자 또는 helm install로 배포 가능하며, 소프트웨어 스택이나 스케줄러에 종속되지 않는 배포-불가지론적(deployment-agnostic) 구조다. 에이전트 코드는 검토 가능성을 위해 오픈소스로 공개됐으며, GPUd·DCGM(NVIDIA Data Center GPU Manager)·NVIDIA Attestation SDK 같은 기존 오픈소스 솔루션을 활용한다. 에이전트는 읽기 전용으로 호스트 설정을 변경하지 않고, 기기 텔레메트리와 상태 데이터만 수집한다.
이번 GA 출시는 세 가지 핵심 기능 영역에 초점을 맞춘다. 첫째, 인벤토리와 시각화로, 데이터센터 및 클라우드 전역에 걸친 GPU 플릿 현황을 NVIDIA NGC 내 헬스 포털에서 확인할 수 있으며, 컴퓨트 존 단위로 이상 징후를 즉시 감지한다. 둘째, 리포팅·경보·헬스 체크로, 근실시간으로 전력 소비, 온도 추이, ECC 오류, XID 오류, HBM·NVLink·PCIe 이상 등을 분석하고 조치 권고를 제공한다. 이메일·슬랙 등을 통한 경보 수신과 커스텀 임계값 설정도 지원한다. 셋째, 무결성과 증명으로, 드라이버·펌웨어·BIOS 설정의 일관성을 점검해 재현 가능한 결과를 보장하고 펌웨어 무결성을 검증한다.
대규모 GPU 클러스터에서는 단 하나의 열 포인트, 잘못 구성된 드라이버, 미세한 하드웨어 결함만으로도 작업 지연, SLA 위반, 불필요한 비용 낭비가 연쇄적으로 발생할 수 있다. Fleet Intelligence는 이런 리스크를 조기에 식별하고 저활용 구간의 워크로드를 재배치해 GPU 투자 대비 수익을 극대화하는 것을 목표로 한다. 서비스는 Fleet Intelligence 에이전트에서 수집된 익명 신호와 메타데이터를 지속 축적해 예측적 유지보수 기능을 점진적으로 강화할 계획이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
