엔비디아(CEO 젠슨 황)가 구글 클라우드(Google Cloud)와 파트너십을 강화한다고 발표했다. 이번 파트너십 강화를 통해 엔비디아(NVIDIA)는 머신러닝(ML) 커뮤니티가 생성형 AI 애플리케이션을 쉽게 구축, 확장, 관리할 수 있도록 지원할 예정이다.
구글은 자사 제품과 개발자에게 AI 혁신을 지속적으로 제공하기 위해 새로운 엔비디아 그레이스 블랙웰(Grace Blackwell) AI 컴퓨팅 플랫폼을 도입하고, 구글 클라우드에 엔비디아 DGX 클라우드(DGX Cloud) 서비스를 적용한다고 발표했다. 아울러 엔비디아 H100 기반 DGX 클라우드 플랫폼은 이제 구글 클라우드에서 정식으로 사용할 수 있다.
구글은 최근 개방형 모델인 젬마(Gemma) 제품군 최적화를 위한 협력을 기반으로, 엔비디아 NIM 추론 마이크로서비스도 도입한다고 밝혔다. 이를 통해 구글은 개발자들이 선호하는 툴과 프레임워크를 사용해 훈련하고 배포할 수 있는 개방적이고 유연한 플랫폼을 제공할 계획이다. 또한, 양사는 엔비디아 GPU와 엔비디아 H100 그리고 L4 텐서 코어(L4Tensor Core) GPU 기반의 버텍스 AI(Vertex AI) 인스턴스에서 JAX를 지원한다고 발표했다.
엔비디아와 구글 클라우드 간의 새로운 통합은 AI 스택의 모든 계층에서 선도적인 기능을 AI 커뮤니티에 제공하려는 두 회사의 오랜 노력의 결실이다. 파트너십 확장의 주요 내용은 다음과 같다:
엔비디아 그레이스 블랙웰 채택: 새로운 그레이스 블랙웰 플랫폼을 통해 조직은 수조 개의 매개변수를 가진 대규모 언어 모델(LLM)에서 실시간 추론을 구축하고 실행할 수 있다. 구글은 다양한 내부 배포를 위해 이 플랫폼을 채택하고 있으며, 블랙웰 기반 인스턴스를 제공하는 최초의 클라우드 제공업체 중 하나가 될 것이다.
그레이스 블랙웰 기반 DGX 클라우드, 구글 클라우드에서 사용 가능: 구글은 확장성과 성능이 뛰어난 클라우드 인프라에 5세대 NV링크(NVLink)로 상호 연결된 72개의 블랙웰 GPU와 36개의 그레이스 CPU를 결합한 엔비디아 GB200 NVL72 시스템을 도입할 예정이다. 이는 조 단위 파라미터를 가진 LLM 시대에 에너지 효율적인 훈련과 추론을 위해 설계됐다. LLM을 구축하고 제공하는 엔터프라이즈 개발자에게 서버리스 경험을 제공하는 AI 플랫폼인 DGX 클라우드를 통해 해당 시스템을 이용할 수 있다. 또한 DGX 클라우드는 이제 엔비디아 H100 텐서 코어 GPU로 구동되는 구글 클라우드 A3 VM 인스턴스에서 정식으로 사용할 수 있다.
GPU에서 JAX 지원: 양사의 협업으로 JAX의 장점을 엔비디아 GPU에 제공해 더 광범위한 ML 커뮤니티에서 대규모 LLM 훈련에 대한 접근성이 강화됐다. JAX는 고성능 ML을 위한 프레임워크로, 컴파일러 지향적이며 파이썬(Python) 기반으로 제작돼 사용하기가 매우 쉽고 성능이 가장 뛰어난 LLM 훈련용 프레임워크 중 하나이다. 이제 AI 실무자들은 맥스텍스트(MaxText)와 가속 처리 키트(Accelerated Processing Kit, XPK)를 통해 구글 클라우드에서 엔비디아 H100 GPU와 함께 JAX를 사용할 수 있다.
구글 쿠버네티스 엔진(Google Kubernetes Engine, GKE)의 엔비디아 NIM: 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼의 일부인 엔비디아 NIM 추론 마이크로서비스가 GKE에 통합된다. 텐서RT-LLM을 비롯한 추론 엔진을 기반으로 구축된 NIM은 기업에서 생성형 AI 배포 속도를 높인다. 아울러 광범위하고 선도적인 AI 모델을 지원하며, 원활하고 확장 가능한 AI 추론까지 보장한다.
엔비디아 네모(NeMo) 지원: 구글 클라우드는 GKE과 구글 클라우드 HPC 툴킷을 통해 플랫폼 전반에서 엔비디아 네모 프레임워크를 보다 쉽게 배포할 수 있도록 했다. 이를 통해 개발자는 생성형 AI 모델의 훈련과 제공을 자동화하거나 확장할 수 있으며, 개발 프로세스를 빠르게 시작하는 맞춤형 청사진을 통해 턴키 환경을 신속하게 배포할 수 있다. 엔비디아 AI 엔터프라이즈의 일부인 엔비디아 네모는 구글 마켓플레이스에서도 사용할 수 있다. 이를 통해 고객은 네모와 기타 프레임워크에 쉽게 액세스해 AI 개발을 가속화하는 또 다른 방법을 활용할 수 있다.
버텍스 AI와 데이터플로우(Dataflow), 엔비디아GPU에 대한 지원 확대: 데이터 사이언스와 분석을 발전시키기 위해 이제 버텍스 AI는 엔비디아 H100 GPU 기반의 구글 클라우드 A3 VM과 엔비디아 L4 텐서(Tensor) 코어 GPU 기반의 G2 VM을 지원한다. 따라서 MLOps 팀은 확장 가능한 인프라와 툴을 통해 AI 애플리케이션을 자신 있게 관리하고 배포할 수 있다. 데이터플로우 또한 엔비디아 GPU에서 가속화된 데이터 처리에 대한 지원을 확대했다.
구글 클라우드는 오랫동안 엔비디아의 최첨단 하드웨어와 구글의 선도적인 혁신이 결합된 GPU VM 인스턴스를 제공해 왔다. 엔비디아 GPU는 성능 최적화된 하드웨어, 개방형 소프트웨어, 유연한 소비 모델을 통합하는 슈퍼컴퓨팅 아키텍처인 구글 클라우드 AI 하이퍼컴퓨터(AI Hypercomputer)의 핵심 구성요소이다. 이번 파트너십을 통해 AI 연구자, 과학자, 개발자들은 가장 크고 정교한 AI 모델을 훈련, 미세 조정, 서비스할 수 있다. 또한, 이제 더 많은 도구와 프레임워크를 공동으로 최적화해 구글 클라우드에서 사용할 수 있다.
[영상] 엔비디아에 대응하는 인텔 가우디3/AMD MI300/범클라우드 진영의 NPU/,그리고 AI 하드웨어 개발 흐름과 추세는? 
