아마존웹서비스(Amazon Web Services, 이하 AWS)와 엔비디아(NVIDIA)는 AWS 리인벤트(re:Invent)에서 고객의 인공지능(AI) 혁신을 지원하는 최첨단 인프라와 소프트웨어, 서비스를 제공하기 위해 전략적 협력을 확대한다고 발표했다.
양사는 차세대 GPU, CPU, AI 소프트웨어를 갖춘 엔비디아의 최신 멀티노드 시스템부터 AWS 니트로 시스템(AWS Nitro System) 고급 가상화 및 보안, 엘라스틱 패브릭 어댑터(Elastic Fabric Adapter, EFA) 상호 연결, 울트라클러스터(UltraCluster) 확장성까지, 파운데이션 모델(FM) 학습과 생성형 AI 애플리케이션 구축에 이상적인 엔비디아와 AWS의 최고 기술들을 결합할 예정이다.
이번 협력 확대는 초기 머신러닝(ML) 선도 기업들에게 최첨단 기술을 발전시키기 위해 필요한 컴퓨팅 성능을 제공함으로써 생성형 AI 시대를 촉진해온 양사의 오랜 파트너십을 기반으로 한다.
모든 산업 분야에서 생성형 AI를 강화하기 위한 이번 협력 확대의 일환으로 다음과 같은 내용들이 포함된다.
• AWS는 클라우드 제공 업체 중 최초로 새로운 멀티노드 NV링크(NVLink) 기술이 적용된 엔비디아 GH200 그레이스 호퍼 슈퍼칩(NVIDIA GH200 Grace Hopper Superchip)을 클라우드에 도입할 예정이다. 엔비디아 GH200 NVL32 멀티노드 플랫폼은 32개의 그레이스 호퍼 슈퍼칩과 엔비디아 NV링크 및 NV스위치(NV Switch) 기술을 하나의 인스턴스로 연결한다. 이 플랫폼은 아마존의 강력한 네트워킹(EFA)과 연결된 아마존 EC2 인스턴스에서 사용할 수 있으며, 고급 가상화(AWS 니트로 시스템) 및 하이퍼 스케일 클러스터링(Amazon EC2 울트라클러스터)을 지원하여 고객은 GH200 슈퍼칩을 수천 개까지 확장할 수 있다.
• 엔비디아와 AWS는 협업을 통해 엔비디아의 서비스형 AI 트레이닝(AI-training-as-a-service)인 엔비디아 DGX 클라우드(NVIDIA DGX Cloud)를 AWS에서 호스팅할 예정이다. 이는 GH200 NVL32를 탑재한 최초의 DGX 클라우드로, 개발자에게 단일 인스턴스에서 가장 큰 공유 메모리를 제공한다. AWS 상의 DGX 클라우드는 1조 개 이상의 파라미터에 달하는 최첨단 생성형 AI 및 대규모 언어 모델(LLM)의 학습을 가속화할 것이다.
• 엔비디아와 AWS는 프로젝트 세이바(Project Ceiba)에서 협력해 세계에서 가장 빠른 GPU 기반 AI 슈퍼컴퓨터, 즉 엔비디아의 자체 연구 개발팀을 위해 AWS가 호스팅하는 GH200 NVL32 및 아마존 EFA 인터커넥트를 갖춘 대규모 시스템을 설계하고 있다. 16,384개의 엔비디아 GH200 슈퍼칩을 탑재하고 65 엑사플롭의 AI를 처리할 수 있는 이 동종 최초의 슈퍼컴퓨터는 엔비디아가 차세대 AI 혁신을 추진하는 데 사용될 것이다.
• AWS는 다음의 아마존 EC2 인스턴스 3종을 추가로 도입할 예정이다: ▲대규모 최첨단 생성형 AI 및 HPC 워크로드를 위한 엔비디아 H200 텐서 코어(Tensor Core) GPU 기반의 P5e 인스턴스 ▲AI 미세 조정, 추론, 그래픽, 비디오 워크로드와 같은 광범위한 애플리케이션을 위한 엔비디아 L4 GPU 기반 G6 인스턴스 ▲동일 용도의 엔비디아 L40S GPU 기반 G6e 인스턴스. 특히 G6e 인스턴스는 생성형 AI 지원 3D 애플리케이션을 연결하고 구축하기 위한 플랫폼인 엔비디아 옴니버스(NVIDIA Omniverse)를 사용해 3D 워크플로우, 디지털 트윈 및 기타 애플리케이션을 개발하는 데 적합하다.
아담 셀립스키(Adam Selipsky) AWS CEO는 "AWS와 엔비디아는 세계 최초의 GPU 클라우드 인스턴스를 시작으로 13년 이상 협력해 왔다. 오늘날 양사는 그래픽, 게임, 고성능 컴퓨팅, ML, 그리고 이제 생성형 AI를 포함한 워크로드를 위한 가장 광범위한 엔비디아 GPU 솔루션을 제공하고 있다"며 "우리는 차세대 엔비디아 그레이스 호퍼 슈퍼칩과 AWS의 강력한 네트워킹, EC2 울트라클러스터의 하이퍼스케일 클러스터링, 니트로의 고급 가상화 기능을 결합함으로써 AWS를 GPU를 실행하기 가장 좋은 곳으로 만들기 위해 엔비디아와 함께 혁신을 지속하고 있다"고 말했다.
젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO는 "생성형 AI는 클라우드 워크로드를 혁신하고 가속 컴퓨팅을 다양한 콘텐츠 생성의 기반으로 삼고 있다"며 "모든 고객에게 비용 효율적인 최첨단 생성형 AI를 제공한다는 공동의 사명을 바탕으로, 엔비디아와 AWS는 AI 인프라, 가속 라이브러리, 기반 모델, 생성형 AI 서비스에 이르는 전체 컴퓨팅 스택에 걸쳐 협력하고 있다"고 말했다.
엔비디아와 AWS의 최첨단 기술을 결합한 새로운 아마존 EC2 인스턴스
AWS는 멀티노드 NV링크 기술이 적용된 NVIDIA GH200 그레이스 호퍼 슈퍼칩을 제공하는 최초의 클라우드 제공 업체가 될 것이다. 각 GH200 슈퍼칩은 동일한 모듈에 Arm 기반 그레이스 CPU와 호퍼 아키텍처 GPU를 결합한다. GH200 NVL32가 탑재된 단일 아마존 EC2 인스턴스는 최대 20TB의 공유 메모리를 제공하여 테라바이트 규모의 워크로드를 구동할 수 있다.
이러한 인스턴스는 AWS의 3세대 EFA 인터커넥트를 활용하여 슈퍼칩당 최대 400Gbps의 저지연, 고대역폭 네트워킹 처리량을 제공하므로 고객은 EC2 울트라클러스터에서 수천 개의 GH200 슈퍼칩으로 확장할 수 있다.
GH200 NVL32가 탑재된 AWS 인스턴스는 고객에게 슈퍼컴퓨터급 성능에 대한 온디맨드 액세스를 제공하며, 이는 FM, 추천 시스템, 벡터 데이터베이스 등 복잡한 생성형 AI 워크로드를 위해 여러 노드에 분산해야 하는 대규모 AI/ML 워크로드에 매우 중요하다.
엔비디아 GH200 기반 EC2 인스턴스는 현 세대 H100 기반 EC2 P5d 인스턴스에 비해 7.2배 증가한 4.5TB의 HBM3e 메모리를 탑재하여 고객이 더 큰 모델을 실행하는 동시에 학습 성능을 개선할 수 있도록 지원한다. 또한 CPU-GPU 메모리 상호 연결은 PCIe보다 최대 7배 더 높은 대역폭을 제공하여 애플리케이션에 사용할 수 있는 총 메모리를 확장하는 칩 간 통신을 가능하게 한다.
GH200 NVL32가 탑재된 AWS 인스턴스는 고밀도로 구성된 서버 랙이 최대 성능으로 효율적으로 작동할 수 있도록 액체 냉각 기능을 갖춘 최초의 AWS AI 인프라가 될 것이다.
GH200 NVL32가 탑재된 EC2 인스턴스는 차세대 EC2 인스턴스를 위한 기본 인프라인 AWS 니트로 시스템의 이점도 누릴 수 있다. 니트로 시스템은 호스트 CPU/GPU에서 특수 하드웨어로 기능에 대한 I/O를 오프로드하여 보다 일관된 성능을 제공하며, 강화된 보안으로 처리 중에 고객 코드와 데이터를 보호한다.
AWS, 최초로 그레이스 호퍼 기반 엔비디아 DGX 클라우드 호스팅 개시
AWS는 엔비디아와 협력해 GH200 NVL32 NV링크 인프라 기반의 엔비디아 DGX 클라우드를 호스팅한다. 엔비디아 DGX 클라우드는 기업이 가장 복잡한 LLM 및 생성형 AI 모델 학습을 위한 멀티노드 슈퍼컴퓨팅에 빠르게 액세스할 수 있는 AI 슈퍼컴퓨팅 서비스로, 통합된 엔비디아 AI 엔터프라이즈 소프트웨어와 엔비디아 AI 전문가에 대한 직접 액세스를 제공한다.
NVIDIA의 AI 개발을 가속화하는 대규모 프로젝트 세이바 슈퍼컴퓨터
AWS와 엔비디아가 협력하고 있는 프로젝트 세이바 슈퍼컴퓨터는 아마존 가상 프라이빗 클라우드(VPC) 암호화 네트워킹 및 아마존 엘라스틱 블록 스토어(Amazon Elastic Block Store) 고성능 블록 스토리지와 같은 AWS 서비스와 통합되어 엔비디아가 포괄적인 AWS 기능 세트에 액세스할 수 있게 된다.
엔비디아는 이 슈퍼컴퓨터를 연구 개발에 활용하여 LLM, 그래픽(이미지/비디오/3D 생성) 및 시뮬레이션, 디지털 생물학, 로봇공학, 자율 주행 자동차, 지구-2 기후 예측 등을 위한 AI를 발전시킬 계획이다.
엔비디아와 AWS, 생성형 AI, HPC, 디자인 및 시뮬레이션을 강화
가장 큰 LLM의 개발, 학습, 추론을 지원하기 위해 AWS P5e 인스턴스에는 H100 GPU보다 1.8배 더 크고 1.4배 더 빠른 141GB의 HBM3e GPU 메모리를 제공하는 엔비디아의 최신 H200 GPU가 탑재될 예정이다. 고객은 이러한 GPU 메모리 향상과 함께 AWS 니트로 시스템에서 지원하는 최대 3,200Gbps의 EFA 네트워킹을 통해 AWS에서 최첨단 모델을 지속적으로 구축, 학습, 배포할 수 있다.
비디오, AI, 그래픽 워크로드를 위한 비용 효율적이고 에너지 효율적인 솔루션을 제공하기 위해 AWS는 엔비디아 L40S GPU를 탑재한 새로운 아마존 EC2 G6e 인스턴스와 L4 GPU 기반의 G6 인스턴스를 발표했다. 새로운 제품은 스타트업, 기업, 연구자들이 AI 및 고해상도 그래픽 요구 사항을 충족하는 데 도움이 될 수 있다.
G6e 인스턴스는 생성형 AI 및 디지털 트윈 애플리케이션과 같은 복잡한 워크로드를 처리하도록 설계됐다. 엔비디아 옴니버스를 사용하면 AWS IoT 트윈메이커(AWS IoT TwinMaker), 지능형 챗봇, 어시스턴트, 검색, 요약과 같은 서비스의 실시간 데이터를 사용해 사실적인 3D 시뮬레이션을 개발하고 맥락화하고 향상시킬 수 있다. 아마존 로보틱스(Amazon Robotics)와 아마존 풀필먼트 센터(Amazon Fulfillment Center)는 엔비디아 옴니버스 및 AWS IoT 트윈메이커로 구축한 디지털 트윈을 통합하여 창고 설계 및 흐름을 최적화하고, 더 지능적인 로봇 어시스턴트를 훈련하고, 고객 배송을 개선할 수 있게 된다.
L40S GPU는 최대 1.45페타플롭스의 FP8 성능을 제공하며, 최대 209테라플롭스의 레이 트레이싱 성능을 제공하는 레이 트레이싱(Ray Tracing) 코어를 갖추고 있다. G6 인스턴스에 탑재된 L4 GPU는 자연어 처리, 언어 번역, AI 비디오 및 이미지 분석, 음성 인식, 개인화 등을 위한 AI 모델 배포를 위한 저비용의 에너지 효율적인 솔루션을 제공할 것이다. 또한 L40S GPU는 영화 수준의 실시간 그래픽 제작과 렌더링, 게임 스트리밍과 같은 그래픽 워크로드를 가속화한다. 세 가지 인스턴스 모두 내년에 출시될 예정이다.
AWS 기반 엔비디아 소프트웨어, 생성형 AI 개발 촉진
엔비디아는 생성형 AI 개발을 촉진하기 위한 AWS 기반 소프트웨어를 발표했다. 엔비디아 니모 리트리버(NVIDIA NeMo Retriever) 마이크로서비스는 가속화된 의미 검색을 사용해 매우 정확한 챗봇과 요약 도구를 만들 수 있는 새로운 도구를 제공한다. 현재 아마존 세이지메이커에서 제공되고 있으며, 향후 AWS의 엔비디아 DGX 클라우드에서도 제공될 예정인 엔비디아 바이오니모(NVIDIA BioNeMo)는 제약 회사들이 자체 데이터를 사용해 모델 학습을 간소화하고 가속화함으로써 신약 개발 속도를 높일 수 있도록 지원한다.
AWS 상의 엔비디아 소프트웨어는 아마존이 서비스 및 운영에 새로운 혁신을 가져올 수 있도록 지원한다. AWS는 일부 차세대 아마존 타이탄(Amazon Titan) LLM을 학습시키는 데 엔비디아 니모 프레임워크를 사용하고 있다. 아마존 로보틱스는 가상 환경에서 자율 창고를 자동화, 최적화 및 계획하기 위한 디지털 트윈을 구축하여 현실 세계에 배포하기 전에 엔비디아 옴니버스 아이작(NVIDIA Omniverse Isaac)을 활용하기 시작했다.
[영상] 엔비디아에 대응하는 인텔 가우디3/AMD MI300/범클라우드 진영의 NPU/,그리고 AI 하드웨어 개발 흐름과 추세는? 
