엔비디아가 자사 AI GPU가 사용되는 데이터 센터 운영자를 위해, 전체 시스템의 상태를 모니터링하여 가동 시간을 극대화할 수 있는 서비스를 개발 중이다.
엔비디아는 해당 서비스를 통해 전력 사용량 추적을 통한 전성비 극대화, 전체 플릿의 사용률, 메모리 대역폭 및 상호 연결 상태 모니터링, 과열 지점과 공기 흐름 문제 조기를 통한 과열 스로틀링 및 부품의 조기 노화 방지, 소프트웨어 구성 및 설정의 일관성 확인, 오류 및 이상 징후의 조기 발견 등에 활용할 수 있다고 알렸다.
엔비디아는 해당 서비스를 통해 각 GPU 시스템이 외부 클라우드 서비스와 통신하고 GPU 메트릭을 공유하여 실시간 모니터링을 제공한다며, GPU에는 하드웨어 추적 기술, 킬 스위치 및 백도어가 없음은 물론, 엔비디아가 등록된 시스템을 원격으로 제어하거나 조치를 취할 수 있는 기능은 없다고 강조했다.
해당 서비스는 고객이 설치하여 노드 수준의 GPU 원격 측정 데이터를 NVIDIA NGC 에서 호스팅되는 포털로 스트리밍할 수 있는 클라이언트 소프트웨어 에이전트를 제공하며, 고객은 대시보드에서 전체 또는 컴퓨팅 영역(동일한 물리적 또는 클라우드 위치에 등록된 노드 그룹)별로 GPU 플릿 사용률을 시각화할 수 있다.
해당 기능은 엔비디아의 블랙웰 칩에서 먼저 제공될 예정이지만, 이전 세대 칩에도 적용할지 검토 중이다.
한편, 해당 기술은 네트워크 지연값 등을 기준으로 실제 사용 위치를 대략적으로 파악할 수 있는 것으로 알려졌는데, 이는 최근 강화된 미국의 대외 수출 규제와 고성능 AI 칩의 밀수 논란을 의식해 요구되는 공급망 투명성을 의식해 보조하는 차원에서 개발한 것으로 판단된다.
단지, 엔비디아는 킬 스위치나 원격 제어 기능은 없다고 강조하고 있지만, 중국을 포함한 일부 국가에서는 보안성 검증 요구가 이어지고 있어 기술 도입 과정에서 관련 논란이 이어질 가능성이 있다.
|
[영상] AI 수요가 늘면 왜 DDR5 값이 오를까?, [메모리 가격 폭등 1부] 
