엔비디아가 아마존웹서비스(Amazon Web Services, AWS)와 협력해 차세대 머신 러닝(machine learning, ML) 워크로드용 아마존 EC2 캐퍼시티 블록(Amazon Elastic Compute Cloud Capacity Blocks)에 엔비디아(NVIDIA) H100 텐서 코어 GPU(H100 Tensor Core GPUs)를 탑재한다고 소개했다.
이번 협력을 통해 고객들은 아마존 일래스틱 컴퓨트 클라우드(EC2)로 고성능 머신러닝 워크로드용 아마존 EC2 울트라클러스터(UltraCluster)에 구축된 수백 개의 엔비디아 GPU를 확보할 수 있다.
머신러닝의 발전으로 모든 규모의 산업 분야 조직은 새로운 제품을 개발하고 비즈니스를 혁신할 수 있는 기회가 생겼다. 기존 머신러닝 워크로드에는 상당한 컴퓨팅 용량이 필요하다. 여기에 생성형 AI의 등장으로 파운데이션 모델(foundation models, FM)과 대규모 언어 모델(LLM)을 훈련하는 데 사용되는 방대한 데이터세트를 처리하기 위해서는 보다 더 큰 컴퓨팅 용량이 요구된다. GPU 클러스터는 병렬 처리 기능이 결합돼 훈련과 추론 프로세스를 가속화함으로써 이 과제에 매우 적합하다.
기업들이 생성형 AI의 혁신적인 역량을 알게 되면서, GPU에 대한 수요가 공급을 능가하고 있다. 따라서, 최신 머신러닝 기술을 활용하고자 하는 고객, 특히 도입 단계에 따라 필요한 용량이 변동하는 고객은 머신러닝 워크로드를 실행하는 데 필요한 GPU 클러스터에 액세스하는 데 어려움을 겪을 수 있다. 고객들은 장기 계약을 맺지 않고도 보다 유연하고 예측 가능하도록 필요한 GPU 용량을 확보할 방법을 모색하고 있다.
머신러닝용 아마존 EC2 캐퍼시티 블록은 업계 최초 새로운 소비형 아마존 EC2 사용 모델로, GPU 인스턴스에 쉽게 액세스해 머신러닝과 생성형 AI 모델을 훈련하고 배포할 수 있도록 함으로써 머신러닝을 더욱 대중화한다. EC2 캐퍼시티 블록을 통해 고객은 고성능 머신러닝 워크로드로 설계된 EC2 울트라클러스터에 배치된 수백 개의 엔비디아 GPU를 예약할 수 있다. 페타비트(peta-bit) 규모의 논블로킹(non-blocking) 네트워크에서 EFA(Elastic, Fabric Adapter) 네트워킹을 사용해 아마존 EC2에서 사용 가능한 최고의 네트워크 성능을 제공할 수 있다.
EC2 캐퍼시티 블록은 최대 8주 전에 미리 확보할 수 있으며, 예약 가능한 총 일수는 1일 단위로 1~14일이다. EC2 캐퍼시티 블록은 1~64개 인스턴스(512개 GPU)의 클러스터 크기로 엔비디아 H100 텐서 코어 GPU 기반의 아마존 EC2 P5 인스턴스(EC2 P5 Instances)에서 사용할 수 있다. 이를 통해 고객은 광범위한 머신러닝 워크로드를 유연하게 실행하고 필요한 GPU 시간만큼만 비용을 지불할 수 있다. EC2 캐퍼시티 블록은 고객이 중요한 머신러닝 프로젝트에 필요한 GPU 컴퓨팅 용량에 안정적이고 예측 가능하며 중단 없이 액세스할 수 있도록 지원한다.
EC2 캐퍼시티 블록을 통해 EC2에서 머신러닝을 훈련하는 데 최고 성능을 제공하는 EC2 P5 인스턴스를 예측 가능하도록 쉽게 이용할 수 있다. 또한 이를 통해 단 몇 번의 클릭만으로 GPU 인스턴스를 확보하고 자신 있게 머신러닝 개발을 계획할 수 있다. EC2 캐퍼시티 블록이 예약되면, 고객은 필요할 때 GPU 용량을 확보할 수 있다는 것을 알고 확실하게 머신러닝 워크로드 배포를 계획할 수 있다.
더불어 EC2 캐퍼시티 블록은 머신러닝 모델을 훈련하고 미세 조정과 짧은 실험, 향후 머신러닝 애플리케이션에 대한 수요 급증에 대비하기 위해 용량 보장이 필요할 때 사용될 수 있다. 또는 비즈니스 핵심 애플리케이션, 규제 요구 사항 또는 재해 복구 등 컴퓨팅 용량 보장이 필요한 다른 모든 워크로드 유형에 대해 온디맨드 용량 예약(On-Demand Capacity Reservations)을 계속 사용할 수 있다.
고객은 AWS 관리 콘솔(Management Console), AWS 커맨드 라인 인터페이스(Command Line interface) 또는 AWS SDK를 통해 사용 가능한 캐퍼시티 블록을 찾아 예약할 수 있다. EC2 캐퍼시티 블록으로 고객은 예약한 시간만큼만 비용을 지불하면 된다. EC2 캐퍼시티 블록은 AWS 미국 동부 오하이오 지역에서 사용할 수 있으며, 추가 AWS 지역과 로컬 영역에서 사용 예정이다.
자세한 내용은 EC2 캐퍼시티 블록 설명서를 확인하고 EC2용 AWS 리포스트(Re:Post) 또는 일반적인 AWS 지원 연락처로 피드백을 보내면 된다.
[영상] AI 에이전트의 핵심 서버 CPU 흥망사, 메인프레임과 워크스테이션 시대 [PC흥망사 18-1] 
