AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 인텔과 협력해 AI 컴퓨팅 효율성 극대화에 나선다고 밝혔다.
인공지능(AI)은 코로나 백신을 빠른 속도로 개발했을 뿐만 아니라 암 진단, 자율주행 자동차 동력 공급, 기후 변화 분석 등 인류를 변화시키는 혁신의 핵심이 됐다.
사실상 모든 산업이 AI의 혜택을 활용할 것으로 예상되지만, 신경망이 복잡해지면서 기술은 더욱 자원 집약적으로 변화했다. 따라서 최대한 효율적인 기반 기술이 필요한데, 이러한 기술은 컴퓨터 인프라 운영에 필요한 전력 생산이 지속 불가능한 수준이 되지 않도록 예방한다.
엔비디아 GPU와 엔비디아 AI 플랫폼으로 구동되는 가속 컴퓨팅은 데이터센터가 지속적으로 차세대 혁신을 이어갈 수 있도록 효율성을 제공한다.
더불어 4세대 인텔 제온 스케일러블(Gen Intel Xeon Scalable) 프로세서 출시는 엔비디아와 인텔이 높은 에너지 효율성을 가진 AI로 구축된 차세대 가속 컴퓨팅 시스템 제작을 가능하게 했다. 엔비디아 H100 텐서 코어(Tensor Core) GPU와 결합된 이 시스템들은 이전 세대보다 훨씬 더 뛰어난 성능, 더 큰 규모, 더 높은 효율성을 제공해, 와트당 더 높은 연산 성능과 문제 해결 능력을 제공한다.
새로운 인텔 CPU는 엔비디아 DGX H100 시스템은 물론 전세계 엔비디아 파트너들이 제공하는, H100 GPU를 탑재한 60개 이상의 서버에 사용될 계획이다.
엔터프라이즈용 AI에 향상된 속도와 효율성 제공 및 에너지 비용 절감
인텔의 새로운 CPU가 탑재된 엔비디아 시스템들로 인해 기업은 기존 CPU 전용 데이터센터 서버 대비 평균 25배 높아진 효율성으로 워크로드를 실행할 수 있다. 와트당 제공되는 놀라운 성능은 작업을 마치는 데 필요한 전력이 적게 소요된다는 뜻이다. 따라서 데이터센터에 쓰이는 전력을 최대한 효율적으로 사용해 가장 중요한 작업에 힘을 쏟을 수 있게 해준다.
이 신세대 엔비디아 가속 서버들은 훈련과 추론 속도를 높이기 때문에 이전 세대의 가속 시스템 대비 에너지 효율성을 3.5배 높여준다. 다시 말해 AI 데이터센터는 총 소유 비용(TCO)을 3배 이상 절감한다.
새로운 4세대 인텔 제온 CPU, 데이터 이동 늘려 엔비디아 AI 가속
새로운 4세대 인텔 제온 CPU의 기능 중 하나는 PCIe Gen 5를 지원하는 것이다. 이는 CPU에서 엔비디아 GPU와 네트워킹으로의 데이터 전송 속도를 두 배로 높인다. PCIe 레인(lane)이 증가하면 각 서버 내에서 GPU와 고속 네트워킹의 밀도가 향상된다.
또한 빨라진 메모리 대역폭으로 AI처럼 데이터 집약적인 워크로드의 성능을 향상시킨다. 여기에 연결 당 최대 400Gbps(초당 기가비트)의 네트워킹 속도로 서버와 스토리지 간의 데이터 전송 속도를 높였다.
H100 PCIe GPU를 탑재한 엔비디아 DGX H100 시스템들과 엔비디아 파트너가 제공하는 서버들은 AI 개발 및 배포 소프트웨어의 엔드 투 엔드, 안전한 클라우드 네이티브 제품군인 엔비디아 AI 엔터프라이즈 라이선스와 함께, 효율적인 기업용 AI의 우수성을 위한 완벽한 플랫폼을 제공한다.
초대형 AI를 위해 효율성 극대화하는 엔비디아 DGX H100 시스템
세계 최고의 목적기반 AI 인프라인 4세대 엔비디아 DGX H100 시스템은 가속 데이터센터의 운영 체제인 엔비디아 베이스 코멘드(Base Command) 소프트웨어를 기반으로 완전히 최적화된 플랫폼을 제공한다.
DGX H100 시스템에는 각각 8개의 엔비디아 H100 GPU, 10개의 엔비디아 ConnectX-7 네트워크 어댑터 및 듀얼 4세대 인텔 제온 스케일러블 프로세서를 갖추고 있다. 다라서 대규모 생성 AI 모델, 대형 언어 모델, 추천 시스템 등을 구축하는 데 필요한 성능을 제공한다.
엔비디아 네트워킹과 결합된 이 시스템은 이전 세대보다 최대 9배 더 높은 성능을 제공한다. 또한 AI 훈련 및 HPC 워크로드에 대해 가속화되지 않은 X86 듀얼 소켓 서버보다 20배에서 40배 더 높은 성능을 제공해 규모에 맞게 컴퓨팅을 효율적으로 만든다. 이전에는 언어 모델을 X86 전용 서버 클러스터에서 훈련시키는 데 40일이 필요했지만, 인텔 제온 CPU와 ConnectX-7 구동 네트워킹을 사용하는 엔비디아 DGX H100에서 이 동일한 작업을 완료하는 데는 불과 하루 이틀 밖에 소요되지 않는다.
엔비디아 DGX H100 시스템은 엔터프라이즈용 턴키(turnkey) 엔비디아 DGX 슈퍼POD(SuperPOD)의 구성 요소로, 최대 1 엑사플롭(exaflop)의 AI 성능을 낼 수 있어 대규모 엔터프라이즈 AI 구축에 효율성을 제공한다.
데이터센터의 효율성을 향상시키는 엔비디아 파트너
AI 데이터센터 워크로드의 경우 기업들은 엔비디아H100 GPU를 통해 애플리케이션을 보다 효율적으로 구축하고 배포할 수 있다.
H100 GPU와 4세대 인텔 제온 스케일러블 CPU를 갖춘 시스템들은 에이수스(ASUS), 아토스(Atos), 시스코(Cisco), 델 테크놀로지스(Dell Technologies), 후지쯔(Fujitsu), 기가바이트(GIGABYTE), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 레노버(Lenovo), QCT, 슈퍼마이크로(Supermicro), 인스퍼(Inspur) 등의 엔비디아 파트너에서 곧 출시될 예정이다. 이로써 전세계 기업에 새로운 세대의 성능과 에너지 효율성을 제공하게 될 것이다.
효율성 면에서 선두자로 떠오른 엔비디아 H100 GPU를 탑재한 플랫아이언 연구소(Flatiron Institute)의 레노버 씽크 시스템(Lenovo Think System)은 최근 에너지 효율성이 뛰어난 슈퍼 컴퓨터 순위를 평가하는 그린500(Green500)에서 1위를 차지했으며, 엔비디아 기술은 상위 30개 시스템 중 23위를 차지했다. 레노버 씽크 시스템은 이전 세대의 인텔 CPU를 사용하고 있었기 때문에 시장에 이제 출시되는 시스템에서 훨씬 더 높은 효율성이 기대된다.
그 외에도 서버가 엔비디아 커넥트X-7(ConnectX-7) 네트워킹과 인텔 4세대 제온 스케일러블 프로세서와 연결되면 효율성이 향상되고 인프라와 전력 소비가 감소된다.
엔비디아 커넥트X-7 어댑터는 이더넷(Ethernet)이나 인피니밴드(InfiniBand)를 사용해 연결 당 PCIe Gen 5와 400Gbps를 지원한다. 이를 통해 서버와 스토리지 간의 네트워킹 처리량을 두 배로 늘린다. 어댑터는 고급 네트워킹, 스토리지, 보안 오프로드를 지원한다. 커넥트X-7은 필요한 케이블과 스위치 포트의 수를 줄여 대형 GPU 가속 HPC와 AI 클러스터의 네트워킹에 필요한 전기를 17% 이상 절약하고 새로운 서버의 에너지 효율성을 향상시킨다.
풀스택 AI 솔루션을 제공하는 엔비디아AI 엔터프라이즈 소프트웨어
이러한 차세대 시스템은 엔비디아 AI 엔터프라이즈 소프트웨어 제품군에 최적화돼 운영 효율성을 크게 향상시킨다.
엔비디아 H100에서 실행되는 엔비디아 AI 엔터프라이즈는 데이터사이언스 파이프라인을 가속화하고 예측 AI 모델의 개발 및 배포를 간소화해서 필수적인 프로세스를 자동화하며, 데이터로부터 빠른 인사이트를 제공한다.
해당 소프트웨어는 참조 애플리케이션, 프레임워크, 사전 훈련된 모델 및 인프라 최적화에 관여된 AI 워크플로우 등의 광범위한 풀스택 소프트웨어 라이브러리를 통해 성공적으로 엔터프라이즈용 AI를 확장시키는 데 필요한 이상적인 기반을 제공한다.
[영상] 누구나 쉽게 이해하는 엔비디아 블랙웰 B200/GB200/GB200 NVL72,(PC조립 한번이라도 해보았다면) 
