엔비디아는 엣지(edge)에서 낮은 지연시간으로 실시간 인공지능(AI) 수행이 가능한 가속 컴퓨팅 플랫폼 '엔비디아 EGX(NVIDIA EGX)'를 발표했다.
엔비디아 EGX는 클라우드로 전송돼야 하는 데이터 양을 줄이는 동시에, 데이터가 생성되는 엣지에서 즉각적이며 높은 스루풋(throughput)의 AI를 수행하려는 수요를 충족시키기 위해 개발됐다. 이를 통해 기업들이 5G 기지국, 웨어하우스, 리테일, 공장 등에서 발생하는 연속 스트리밍 데이터를 실시간으로 감지, 이해 및 대응할 수 있도록 돕는다.
엔비디아 EGX는 소형 AI 컴퓨터 엔비디아 젯슨 나노(NVIDIA Jetson Nano)로 시작 가능하며, 이미지 인식과 같은 작업을 처리하기 위해 불과 몇 와트에 불과한 저전력으로 1초당 5천억 회의 연산이 가능하다. 또한, 이 제품은 실시간 음성 인식 및 기타 실시간 AI 작업을 위해 최대 1만 초당테라연산(TOPS)의 성능을 제공하는 엔비디아 T4 서버의 전체 랙으로 연결된다.
엔비디아는 레드햇(Red Hat)과 협력해 엔터프라이즈급 쿠버네티스(Kubernetes) 컨테이너 오케스트레이션(orchestration) 플랫폼인 오픈시프트(Openshift)와 엔비디아 엣지 스택(NVIDIA Edge Stack)을 통합 및 최적화했다.
엔비디아 엣지 스택은 엔비디아 드라이버, 쿠다 쿠버네티스 플러그인(CUDA Kubernetes plugin), 쿠다 컨테이너 런타임(CUDA container runtime), 쿠다-X 라이브러리(CUDA-X libraries), 텐서RT(TensorRT), 텐서RT 인퍼런스 서버(TensorRT Inference Server)와 딥스트림(DeepStream)을 포함한 컨테이너형 AI 프레임워크 및 애플리케이션을 포함한 소프트웨어에 최적화돼 있다. 엔비디아 엣지 스택은 엔비디아 NGC 레지스트리(NVIDIA NGC registry)에서 다운받을 수 있다.
엔비디아 EGX는 엔비디아의 모든 AI 컴퓨팅 기술, 그리고 레드햇 오픈시프트 및 엔비디아 엣지 스택을 멜라녹스(Mellanox) 및 시스코(Cisco)의 보안, 네트워킹 및 스토리지 기술과 결합한다. 이를 통해 통신, 제조, 소매, 헬스케어, 운송 등을 포함한 주요 산업분야 기업들은 최첨단의 엔터프라이즈급 AI 인프라를 신속하고 안전하게 구축할 수 있다.
엔비디아 AI 컴퓨팅은 주요 클라우드 서비스에 의해 제공되며, 구조적으로 엔비디아 EGX와 호환된다. 클라우드에서 개발된 AI 애플리케이션은 엔비디아 EGX에서 실행될 수 있으며, 그 반대도 가능하다. 엔비디아 엣지 스택은 주요 클라우드 IoT 서비스에 연결되며, 고객은 AWS IoT 그린그래스(AWS IoT Greengrass) 및 마이크로소프트 애저 IoT 엣지(Microsoft Azure IoT Edge)에서 원격으로 서비스를 관리할 수 있다.
[영상] 24년 하드웨어 전문기자가 바라는 새정부의 소버린 AI 정책의 방향, 칩부터 모델링 산업융합까지 우리 것으로 
