엔비디아는 아마존웹서비스(Amazon Web Services, 이하 AWS)의 아마존 EC2 G4 인스턴스가 엔비디아 T4 텐서 코어(Tensor Core) GPU를 통해 하이퍼스케일 인공지능(AI) 인퍼런스(inference), 클라우드 게이밍, 최신 RTX 그래픽을 가속화한다고 밝혔다. 엔비디아 T4 텐서 코어 GPU를 장착한 아마존 EC2 G4 인스턴스는 현재 북미, 유럽 및 아시아지역에서 이용 가능하다.
광범위한 소프트웨어 스택을 지원하는 엔비디아 T4 GPU는 아마존 EC2 G4 인스턴스 사용자에 높은 성능, 효율성 그리고 다양한 기능을 제공한다.
해당 소프트웨어 플랫폼은 딥 러닝을 위한 엔비디아 cuDNN, 데이터 분석 및 머신 러닝을 위한 엔비디아 래피즈(RAPIDS), 클라우드 워크스테이션 그래픽을 위한 엔비디아 쿼드로 가상 워크스테이션(Quadro Virtual Workstation), 클라우드 게이밍을 위한 엔비디아 지포스(GeForce)를 포함한 다양한 애플리케이션에 최적화되어 있다.
또한 소프트웨어 스택에는 다양한 API, 쿠다(CUDA), 그리고 텐서RT(TensorRT), NCCL, 옵틱스(OptiX), 비디오 코덱 SDK와 같은 도메인별로 특화된 쿠다-X 라이브러리가 포함된다. 사용자는 단일 인스턴스를 활용해 여러 유형의 워크로드를 원활하고 비용 효율적으로 가속화할 수 있다.
AWS 컴퓨트 서비스 담당 부사장 매트 가먼(Matt Garman)은 “우리는 고객들이 컴퓨트 집약적인 애플리케이션의 이점을 누릴 수 있도록 하는데 집중하고 있다. AWS는 다양한 머신 러닝 사용 사례에 최적화된 아마존 EC2의 다양한 인스턴스 유형을 기반으로 머신 러닝 모델을 개발, 훈련, 구축할 수 있는 가장 포괄적인 포트폴리오를 제공한다. T4 GPU로 구동되는 새로운 G4 인스턴스를 통해 모든 개발자들이 머신 러닝을 보다 합리적인 비용으로 활용할 수 있게 됐다”고 말했다.
엔비디아 T4는 2세대 텐서 코어 GPU로, 쿠다의 프로그래밍 성능을 유지하면서 AI 애플리케이션을 위한 최고의 성능을 지원하는 GPU로 재창조된 것이다. INT8에서 최대 130 TOPS(초당 테라 연산)의 성능을 구현하는 엔비디아 T4는 이미지 분류, 객체 감지, 자연어 이해, 자동 음성 인식 및 추천 시스템과 같은 AI 기반 애플리케이션의 끊임없는 혁신, 다양성 및 복잡성을 가속화하는데 필요한 혼합 정밀 텐서 프로세싱 기능을 갖췄다.
AWS는 업계에서 가장 빠른 하이퍼스케일 클라우드 플랫폼 중 하나로, 훈련 및 인퍼런스를 위해 즉시 사용가능한 엔비디아 NGC 컨테이너를 지원하여 엔비디아 GPU를 프로비저닝 한다. EC2 P3 인스턴스에는 엔비디아 V100 텐서 코어 GPU가 탑재되어 있어 고객들은 AMP(Automatic Mixed Precision) 기능을 사용해 머신 러닝 훈련 기간을 며칠에서 단 몇 시간으로 단축시킬 수 있다. 또한, EC2 G4를 통해 고객들은 AI 서비스를 대규모로 구축하면서 운영비용은 크게 절감할 수 있다.
기업들은 이러한 엔터프라이즈급 하이브리드 클라우드 플랫폼을 사용해 애플리케이션의 현대화를 가속화할 수 있다. 또한, 데이터 센터에서 AWS 클라우드에 이르는 VM웨어 인프라 전반에서 구축, 마이그레이션 및 운영을 통합하여 AI, 머신 러닝, 데이터 분석을 포함한 가장 컴퓨트 집약적인 워크로드를 지원할 수 있다.
자세한 내용은 NVIDIA 공식 홈페이지를 통해 확인할 수 있다.
[영상] AI 수요가 늘면 왜 DDR5 값이 오를까?, [메모리 가격 폭등 1부] 
