AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 MLPerf 업계 표준 AI 벤치마크에서 엔비디아 H100 텐서 코어(NVIDIA H100 Tensor Core) GPU를 발표했다. 이는 모든 워크로드에 대한 추론에서 세계 기록을 세웠으며, 이전 세대 GPU보다 최대 4.5배 더 높은 성능을 제공한다.
이 결과는 호퍼(Hopper)가 고급 AI 모델에서 최고의 성능을 요구하는 사용자를 위한 프리미엄 선택임을 보여준다.
더불어 AI 기반 로보틱스를 위한 엔비디아 A100 텐서 코어 GPU와 엔비디아 젯슨 AGX 오린(Jetson AGX Orin) 모듈은 이미지 및 음성 인식, 자연어 처리 및 추천 시스템과 같은 모든 MLPerf 테스트에서 전반적인 리더십 추론 성능을 지속적으로 제공했다.
호퍼로 알려진 H100은 라운드의 모든 6개 신경망에서 가속기 당 성능 기준을 높였다. 별도의 서버와 오프라인 시나리오에서 처리량과 속도 모두에서 리더십을 보였다.
엔비디아 H100 GPU는 데이터 센터 범주의 모든 워크로드에 대해 새로운 최고점을 설정한다.
엔비디아 호퍼 아키텍처는 MLPerf 결과에서 전반적인 리더십을 계속 제공하는 엔비디아 암페어(Ampere) 아키텍처 GPU보다 최대 4.5배 더 높은 성능을 제공한다.
부분적으로는 트랜스포머 엔진 덕분에 호퍼는 자연어 처리를 위한 인기 있는 BERT 모델에서 탁월했다. 이는 MLPerf AI 모델 중 가장 크고 성능이 필요한 모델 중 하나이다.
이러한 추론 벤치마크는 올해 말에 출시될 H100 GPU의 첫 공개 데모이다. H100 GPU는 훈련을 위해 향후 MLPerf 라운드에 참여할 예정이다.
A100 GPU의 리더십
현재 주요 클라우드 서비스 제공업체와 시스템 제조업체에서 제공하는 엔비디아 A100 GPU는 최신 테스트에서 AI 추론의 주류 성능에서 전반적인 리더십을 계속 보여줬다.
A100 GPU는 데이터 센터, 엣지 컴퓨팅 범주 및 시나리오에서 제출된 것보다 더 많은 테스트를 통과했다. A100은 지난 6월에 MLPerf 교육 벤치마크에서도 전반적인 리더십을 발휘해 AI 워크플로 전반에 걸쳐 능력을 입증했다.
2020년 7월 MLPerf에서 데뷔한 A100 GPU는 엔비디아 AI 소프트웨어의 지속적인 개선 덕분에 성능이 6배 향상됐다.
엔비디아 AI는 데이터 센터 및 엣지 컴퓨팅에서 모든 MLPerf 추론 워크로드 및 시나리오를 실행하는 유일한 플랫폼이다.
다양한 성능이 필요한 사용자
엔비디아 GPU는 모든 주요 AI 모델에서 최고의 성능을 제공하는 능력으로 사용자를 돕는다. 실제 애플리케이션은 일반적으로 다양한 종류의 많은 신경망을 사용한다.
예를 들어, AI 애플리케이션은 사용자의 음성 요청을 이해하고, 이미지를 분류하고, 추천한 다음 인간 목소리로 음성 메시지로 응답을 전달해야 할 수 있다. 이때 각 단계마다 다른 유형의 AI 모델이 필요하다.
MLPerf 벤치마크는 컴퓨터 비전, 자연어 처리, 추천 시스템, 음성 인식 등 널리 사용되는 AI 워크로드와 시나리오를 다룬다. 테스트를 통해 사용자는 신뢰할 수 있고 유연하게 구현할 수 있는 성능을 얻을 수 있다.
사용자는 정보에 입각한 구매 결정을 내리기 위해 테스트가 투명하고 객관적인 MLPerf 결과에 의존한다. 벤치마크는 아마존(Amazon), Arm, 바이두(Baidu), 구글(Google), 하버드(Harvard), 인텔(Intel), 메타(Meta), 마이크로소프트(Microsoft), 스탠포드(Stanford) 및 토론토 대학교(University of Toronto)를 포함한 광범위한 그룹의 지원을 받는다.
엣지에서 리드하는 오린
엣지 컴퓨팅에서 엔비디아 오린은 모든 MLPerf 벤치마크를 실행해 다른 어떤 저전력 시스템 온 칩(SoC)보다 더 많은 테스트를 통과했다. 그리고 지난 4월 MLPerf에서 처음으로 선보인 것보다 에너지 효율성이 최대 50% 향상됐다.
이전 라운드에서 오린은 이전 세대 젯슨 AGX 자비에(Xavier) 모듈보다 최대 5배 더 빠르게 실행됐으며, 평균 두배 더 나은 에너지 효율성을 제공했다.
오린은 엣지에서 AI 추론을 위해 에너지 효율성을 최대 50% 향상시켰다.
오린은 엔비디아 암페어 아키텍처 GPU와 강력한 Arm CPU 코어 클러스터를 단일 칩에 통합한다. 현재 엔비디아 젯슨 AGX 오린 개발자 키트와 로보틱스 및 자율 시스템용 생산 모듈에서 사용할 수 있으며, 자율주행 차량(NVIDIA Hyperion), 의료 기기(Clara Holoscan) 및 로보틱스(Isaac) 플랫폼을 포함한 전체 엔비디아 AI 소프트웨어 스택을 지원한다.
광범위한 엔비디아 AI 생태계
MLPerf 결과에 따르면 엔비디아 AI는 머신 러닝 업계에서 가장 광범위한 생태계의 지원을 받고 있다.
이번 라운드에서 70개 이상의 제출물이 엔비디아 플랫폼에서 실행됐다. 예를 들어 마이크로소프트 애저(Microsoft Azure)는 클라우드 서비스에서 엔비디아 AI를 실행한 결과를 제출했다.
또한 이번 라운드에는 에이수스(ASUS), 델 테크놀로지(Dell Technologies), 후지쯔(Fujitsu), 기가바이트(GIGABYTE), 휴렛 팩커드 엔터프라이즈(Hewlett Packard Enterprise), 레노버(Lenovo) 및 슈퍼마이크로(Supermicro)를 포함한 10개의 시스템 제조업체에서 19개의 엔비디아 인증 시스템이 등장했다.
이들의 작업은 사용자가 클라우드와 자체 데이터 센터에서 실행되는 서버 모두에서 엔비디아 AI로 뛰어난 성능을 얻을 수 있음을 보여준다.
엔비디아 파트너는 MLPerf가 AI 플랫폼 및 공급업체를 평가하는 고객에게 유용한 도구라는 것을 알고 있기 때문에 MLPerf에 참여한다. 최신 라운드의 결과는 현재 사용자에게 제공되는 성능이 엔비디아 플랫폼과 함께 성장할 것임을 보여준다.
이러한 테스트에 사용된 모든 소프트웨어는 MLPerf 저장소에서 사용할 수 있기 때문에 누구나 세계적 수준의 결과를 얻을 수 있다. 최적화는 GPU 가속 소프트웨어를 위한 엔비디아 카탈로그인 NGC에서 사용할 수 있는 컨테이너로 계속 접혀진다. 또한 AI 추론을 최적화하기 위해 이번 라운드의 모든 제출물에 사용되는 엔비디아 텐서RT(Tensor RT)도 찾을 수 있다.
[영상] 엔비디아에 대응하는 인텔 가우디3/AMD MI300/범클라우드 진영의 NPU/,그리고 AI 하드웨어 개발 흐름과 추세는? 
