엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 엔비디아 HGX 인공지능(AI) 슈퍼컴퓨팅 플랫폼을 구동하는 새로운 엔비디아 A100 80GB GPU를 공개했다. A100 80GB GPU는 이전 모델 대비 2배 높아진 메모리는 물론, 연구자 및 엔지니어들의 과학적 발견과 AI 혁신을 지원하는 전례 없는 속도와 성능을 제공한다.
HBM2e 기술이 적용된 해당 제품은 연구자들이 애플리케이션을 더욱 빠르게 가속화하고, 대규모의 모델 및 데이터셋을 활용할 수 있도록 A100 40GB GPU의 고대역폭 메모리를 2배인 80GB로 늘리고, 초당 2TB 이상의 메모리 대역폭을 제공한다.
A100 80GB GPU는 GPT-2 자연어 처리 모델과 같이 단일 HGX 탑재 서버에서 더 많은 매개변수를 가진 방대한 모델을 훈련할 수 있고, 멀티 인스턴스 GPU(MIG) 기술을 통해 최대 7개의 GPU 인스턴스로 분할할 수 있으며, 각각의 인스턴스는 10GB 메모리를 갖는다.
해당 기술은 안전한 하드웨어 격리를 제공하고, 다양한 소규모 워크로드를 위해 GPU 활용도를 극대화한다. RNN-T와 같은 자동 음성 모델의 AI 추론의 경우 단일 A100 80GB MIG 인스턴스가 훨씬 더 큰 배치 사이즈를 작업해 1.25배 더 많은 추론 처리량을 제공한다.
A100 80GB GPU는 새로운 TF32 형식, 2.5배 뛰어난 HPC 성능을 제공하는 FP64, 20배 향상된 AI 추론을 지원하는 INT8, BF16 데이터 포맷을 지원한다. 이를 통해 볼타(Volta) V100 대비 20배 높은 AI 처리량을 제공한다.
또한 희소 모델(sparse model)을 추론하는 속도를 최대 2배까지 향상키며, 이전 세대 연결 기술에 비해 2배 높은 GPU-투-GPU 대역폭을 제공하는 3세대 NV링크(NVLink) 및 NV스위치(NVSwitch)를 통해 데이터 집약적 워크로드를 위해 GPU로의 데이터 전송을 초당 600GB로 가속화한다.
엔비디아 A100 80GB GPU는 함께 발표된 엔비디아 DGX A100과 DGX 스테이션 A100(DGX Station A100) 시스템에서 이용 가능하며, 해당 제품들은 이번 분기에 출하될 예정이다.
|
[영상] 월드IT쇼? 월클은 아닌거 같은데요, WIS 2024 현장 취재 
