엔비디아가 생성형 AI 시대를 위한 차세대 데이터센터 효율성 측정 기준의 필요성을 강조했다.
데이터센터는 에너지 효율을 높이기 위한 과정을 안내하는 업그레이드된 대시보드, 즉 실제 애플리케이션을 실행하는 진행 상황을 보여주는 대시보드가 필요하다.
에너지 효율의 공식은 간단하다. 수행한 작업을 사용한 에너지로 나누면 된다. 이 공식을 데이터센터에 적용하려면 몇 가지 세부 사항을 파악해야 한다.
오늘날 가장 널리 사용되는 전력효율지수(power usage efficiency, PUE)는 시설에서 소비하는 총 에너지와 컴퓨팅 인프라가 사용하는 양을 비교하는 지표다. 지난 17년 동안 PUE는 가장 효율적인 데이터센터 운영업체들이 전력 변환과 냉각과 같은 프로세스에서 에너지가 거의 낭비되지 않는 이상적인 목표에 가까워지도록 이끌었다.
PUE는 클라우드 컴퓨팅이 부상하는 동안 데이터센터에 유용하게 사용됐으며 앞으로도 계속 해서 활용될 것이다. 그러나 워크로드와 이를 실행하는 시스템이 급격히 변화한 오늘날의 생성형 AI 시대에는 적합하지 않을 수 있다.
PUE는 데이터센터의 유용한 출력을 측정하는 것이 아니라 소비하는 에너지만 측정하기 때문이다. 이는 마치 자동차가 얼마나 멀리 갔는지는 모른 채 엔진이 사용하는 연료의 양만 측정하는 것과 같다.
데이터센터 효율성에 대한 많은 기준들이 존재한다. 2017년의 한 논문에는 약 30개의 기준이 나열돼 있으며, 그중 일부는 냉각, 용수 사용, 보안 그리고 비용과 같은 특정 목표에 초점을 맞추고 있다.
컴퓨터 업계는 오랜 시간 동안 에너지 효율과 관련해 시스템과 사용하는 프로세서를 일반적으로 와트로 표시하고 있다. 와트는 가치 있는 측정 기준이지만, 와트는 특정 시점의 입력 전력만을 측정할 뿐 컴퓨터가 실제로 사용하는 에너지나 효율성을 측정하지 못한다.
따라서 최신 시스템과 프로세서의 입력 전력 수준이 와트 단위로 상승한다고 해서 에너지 효율이 떨어진다는 의미는 아니다. 오히려 사용하는 에너지의 양에 비해 처리하는 작업의 양이 훨씬 더 효율적인 경우가 많다.
최신 데이터센터 지표는 엔지니어링 커뮤니티에서 킬로와트시(kWh)나 줄(joules)로 알려진 에너지에 초점을 맞춰야 한다. 핵심은 이 에너지로 얼마나 유용한 작업을 수행하는지에 있다.
업계에서는 프로세서 명령어나 수학 계산과 같은 추상적인 용어로 측정하는 관행이 있었다. 따라서 밉스(millions of instructions per second, MIPS)와 플롭스(floating point operations per second, FLOPS)가 널리 인용된다.
컴퓨터 과학자들만이 시스템이 이러한 저수준 작업을 얼마나 많이 처리할 수 있는지에 관심을 갖는다. 사용자들은 시스템이 얼마나 많은 실제 작업을 수행하는지 알고 싶어 하지만 유용한 작업을 정의하는 것은 다소 주관적이다.
AI에 중점을 둔 데이터센터는 MLPerf 벤치마크에 의존할 수 있다. 과학 연구를 다루는 슈퍼컴퓨팅 센터는 일반적으로 추가적인 작업 측정을 사용한다. 스트리밍 미디어에 중점을 둔 상업용 데이터센터는 다른 기준을 원할 수 있다.
그 결과 애플리케이션 제품군은 시간이 지남에 따라 최신 기술과 가장 관련성 높은 사용 사례를 반영해 진화할 수 있어야 한다. 예를 들어, 지난 MLPerf 라운드에서는 5년 전에는 존재하지도 않았던 두 가지 생성형 AI 모델을 사용한 테스트가 추가됐다.
가속 컴퓨팅을 위한 측정 기준
새로운 벤치마크는 가속 컴퓨팅의 발전을 측정하는 것이 이상적이다. 병렬 처리 하드웨어, 소프트웨어 그리고 방법들의 조합은 많은 최신 워크로드에서 CPU보다 훨씬 빠르고 효율적으로 애플리케이션을 실행하고 있다.
예를 들어, 미국 국립에너지 연구 과학 컴퓨팅 센터(National Energy Research Scientific Computing Center, NERSC)의 펄머터(Perlmutter) 슈퍼컴퓨터는 과학 애플리케이션에서 가속 컴퓨팅을 사용해 평균 5배의 에너지 효율 향상을 입증했다. 이것이 바로 그린500(Green500) 리스트의 상위 50개 슈퍼컴퓨터 중 1위 시스템을 포함한 39개가 엔비디아(NVIDIA) GPU를 사용하는 이유다.
GPU는 많은 작업을 병렬로 실행해 CPU보다 짧은 시간에 더 많은 작업을 수행하고, 에너지를 절약할 수 있다.
여러 산업 분야의 기업들은 비슷한 결과를 공유하고 있다. 예를 들어, 페이팔(PayPal)은 가속 컴퓨팅을 통해 실시간 사기 탐지를 10% 개선하고 에너비 소비를 8배에 가까이 줄였다.
새로운 세대의 GPU 하드웨어와 소프트웨어가 등장할 때마다 이러한 이점은 점점 더 커지고 있다.
최근 보고서에 따르면, 스탠포드 대학교(Stanford University)의 인간중심 AI 그룹(Human-Centered AI group)은 “2003년 이후 GPU 성능은 약 7,000배 증가했으며, 성능당 가격은 5,600배 더 높아졌다”고 추정했다.
데이터센터는 주요 워크로드 전반의 에너지 효율성을 추적하기 위해 일련의 벤치마크가 필요하다.
전문가들도 새로운 에너지 효율성 지표의 필요성을 인식하고 있다.
PUE와 같은 지표와 그린500과 같은 순위 덕분에 데이터센터와 슈퍼컴퓨팅 센터는 에너지 효율 측면에서 엄청난 발전을 이루었다.
생성형 AI 시대에 효율성의 발전을 확대하기 위해 더 많은 노력이 요구된다. 오늘날의 주요 애플리케이션에서 유용한 작업을 수행하는 데 소비되는 에너지를 측정하면 슈퍼컴퓨팅과 데이터센터의 에너지 효율성을 새로운 차원으로 끌어올릴 수 있다.
[영상] 메모리 때문에 모든게 엉망! 지포스 RTX 5090 단종 및, 5080 24GB 출시 루머 총정리 
