엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)이 로스앤젤레스에서 열린 세계적인 컴퓨터 그래픽 콘퍼런스인 시그래프(SIGGRAPH)에서 기조연설에 나섰다고 발표했다. 8월 8일 밤 12시(한국 시간)에 진행된 기조연설에서 젠슨 황은 아이폰의 순간(iPhone moment)이라고 칭할 수 있는 생성형 AI의 시대가 다가오고 있다고 밝혔다.
엔비디아의 시그래프 주요 발표로는 차세대 GH200 그레이스 호퍼 슈퍼칩(Grace Hopper Superchip) 플랫폼, 엔비디아 AI 플랫폼에서 모델 튜닝과 배포를 간소화하는 새로운 통합 툴킷인 엔비디아 AI 워크벤치(NVIDIA AI Workbench), 생성형 AI와 오픈USD(OpenUSD)를 포함한 엔비디아 옴니버스(Omniverse)의 대대적인 업그레이드 등이 있다.
점점 더 디지털화되고 초연결화되는 세상을 생성형 AI가 주도하고 있는 상황에서, 이번 발표는 AI, 가상 세계, 가속, 시뮬레이션, 협업 등 지난 10년간의 모든 혁신을 총망라했다.
5년 전 시그래프에서 엔비디아는 GPU에 AI와 실시간 레이 트레이싱(ray tracing)을 도입해 그래픽을 재창조했다. 젠슨 황은 이에 대해 우리는 AI로 컴퓨터 그래픽을 재창조하는 한편, AI를 겨냥한 GPU를 완전히 새롭게 만들고 있었다고 말했다.
그 결과, 8개의 GPU와 총 1조 개의 트랜지스터를 활용해 CPU 기반 시스템보다 획기적인 가속을 제공하는 엔비디아 HGX H100과 같은 점점 더 강력한 시스템이 등장했다.
젠슨 황은 이것이 바로 전 세계 데이터센터가 가속 컴퓨팅으로 빠르게 전환하고 있는 이유다. 더 많이 구매할수록 더 많이 절약할 수 있다고 말했다.
엔비디아는 AI의 모멘텀을 이어가기 위해 72코어 그레이스 CPU와 호퍼 GPU를 결합한 그레이스 호퍼 슈퍼칩인 엔비디아 GH200을 개발했으며, 5월부터 본격적인 생산에 들어갔다.
젠슨 황은 이미 생산 중인 엔비디아 GH200은 최첨단 HBM3e 메모리를 탑재한 추가 버전으로 보완될 것이라고 발표했다.
이어서 그는 차세대 GH200 그레이스 호퍼 슈퍼칩 플랫폼을 발표했다. 해당 플랫폼은 여러 GPU를 연결해 뛰어난 성능과 손쉬운 확장이 가능한 서버 설계 지원한다.
새로운 플랫폼은 대규모 언어 모델, 추천 시스템, 벡터 데이터베이스를 아우르는 세계에서 가장 복잡한 생성 워크로드를 처리하도록 설계됐으며, 다양한 구성으로 제공될 예정이다.
현 세대 제품보다 최대 3.5배 더 많은 메모리 용량과 3배 더 많은 대역폭을 제공하는 듀얼 구성은 144개의 암 네오버스(Arm Neoverse) 코어, 8페타플롭의 AI 성능, 282GB의 최신 HBM3e 메모리 기술을 갖춘 단일 서버로 구성된다.
주요 시스템 제조업체는 2024년 2분기에 이 플랫폼을 기반으로 한 시스템을 제공할 예정이다.
젠슨 황은 AI 워크벤치를 발표했다. AI 워크벤치는 개발자가 PC 또는 워크스테이션에서 생성형 AI 모델을 신속하게 생성, 테스트, 미세 조정한 다음 거의 모든 데이터센터, 퍼블릭 클라우드 또는 엔비디아 DGX 클라우드(DGX Cloud)로 확장할 수 있는 쉬운 통합 툴킷을 제공한다. 이로써 전 세계 기업들이 맞춤형 생성 AI를 신속하게 도입할 수 있도록 돕는다.
AI 워크벤치는 엔터프라이즈 AI 프로젝트의 초기 단계에서 발생하는 복잡성을 제거한다. 로컬 시스템에서 실행되는 간소화된 인터페이스를 통해 액세스할 수 있으며, 개발자는 사용자 지정 데이터를 사용해 허깅 페이스(Hugging Face), 깃허브(GitHub), NGC와 같은 인기 리포지토리에서 모델을 미세 조정할 수 있다. 이후 모델은 여러 플랫폼에서 쉽게 공유가 가능하다.
현재 수십만 개의 사전 훈련된 모델을 사용할 수 있지만, 오픈 소스 도구를 사용해 모델을 맞춤화하는 것은 까다롭고 많은 시간이 소요될 수 있다.
젠슨 황은 "이 기능이 대중화되기 위해서는 어디에서나 작동되야 한다고 말했다.
AI 워크벤치를 통해 개발자는 단 몇 번의 클릭만으로 생성형 AI를 맞춤형으로 설정하고 실행할 수 있다. 이를 통해 필요한 모든 엔터프라이즈급 모델, 프레임워크, 소프트웨어 개발 키트, 라이브러리를 통합된 개발자 작업 공간으로 불러올 수 있다.
델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), HP Inc., 람다(Lambda), 레노버(Lenovo), 슈퍼마이크로(Supermicro)를 비롯한 선도적인 AI 인프라 공급업체는 로컬 디바이스를 포함해 개발자가 원하는 모든 곳에서 엔터프라이즈 생성형 AI 기능을 제공하는 AI 워크벤치를 채택하고 있다.
또한, 젠슨 황은 200만 명의 사용자를 보유한 스타트업 허깅 페이스와의 파트너십을 발표했다. 이를 통해 대규모 언어 모델과 기타 고급 AI 애플리케이션을 구축하는 수백만 명의 개발자는 생성형 AI 슈퍼컴퓨팅을 손쉽게 사용할 수 있다.
개발자들은 허깅 페이스 플랫폼 내에서 엔비디아 DGX 클라우드 AI 슈퍼컴퓨팅에 액세스해 고급 AI 모델을 훈련하고 조정할 수 있다.
영상 속에서, 그는 AI 워크벤치와 챗USD(ChatUSD)가 어떻게 모든 것을 통합해 사용자가 지포스 RTX 4090 노트북에서 프로젝트를 시작하는지, 프로젝트가 복잡해지면 어떻게 워크스테이션이나 데이터센터로 원활하게 확장할 수 있는지 시연했다.
사용자는 주피터 노트북(Jupyter Notebook)을 사용해 모델에게 우주에 있는 토이 젠슨(Toy Jensen)의 사진을 생성하라는 메시지를 입력할 수 있다. 모델이 토이 젠슨을 본 적이 없어 작동하지 않는 결과를 제공한다면 사용자는 토이 젠슨의 이미지 8장으로 모델을 미세 조정한다. 그런 다음 올바른 결과를 얻을 수 있도록 다시 메시지를 요청할 수 있다.
이후 AI 워크벤치를 통해 새로운 모델을 엔터프라이즈 애플리케이션에 배치할 수 있다.
엔비디아는 생성형 AI의 도입을 가속화하기 위한 일환으로, 엔터프라이즈 소프트웨어 제품군의 최신 버전인 엔비디아 AI 엔터프라이즈 4.0(AI Enterprise 4.0)을 발표했다.
엔비디아 AI 엔터프라이즈는 기업이 생성형 AI를 도입하는 데 필요한 도구에 액세스하는 동시에 대규모 엔터프라이즈 배포에 필요한 보안과 API 안정성을 제공한다.
젠슨 황은 툴과 가상 세계 전반에서 구축, 시뮬레이션, 협업을 위한 오픈USD 네이티브 개발 플랫폼인 엔비디아 옴니버스의 새로운 버전을 발표했다. 이를 통해 개발자와 기업이 오픈USD 프레임워크와 생성형 AI로 3D 파이프라인을 최적화하고 개선할 수 있도록 새로운 기반의 애플리케이션과 서비스를 제공할 수 있다.
또한 그는 3D 툴을 설명, 시뮬레이션, 협업하기 위한 프레임워크이자 범용 인터페이스인 오픈USD에 대한 엔비디아의 노력에 대해서도 언급했다
옴니버스 플랫폼의 업데이트에는 네이티브 오픈USD 애플리케이션과 확장 프로그램 개발을 위한 엔진인 옴니버스 키트와 엔비디아 옴니버스 오디오2페이스(Omniverse Audio2Face) 파운데이션 앱 그리고 공간 컴퓨팅 기능에 대한 향상된 성능이 포함된다.
이제 오픈USD를 통해 세슘(Cesium), 컨베이(Convai), 무브 AI(Move AI), 사이드FX 후디니(SideFX Houdini), 원더 다이내믹스(Wonder Dynamics)가 옴니버스에 연결된다.
또한 어도비(Adobe)와 엔비디아는 어도비 서브스턴스 3D(Adobe Substance 3D), 생성형 AI, 오픈USD 이니셔티브 전반에 걸쳐 협업을 확대하고, 어도비의 창의적인 생성형 AI 모델 제품군인 어도비 파이어플라이(Adobe Firefly)를 옴니버스에서 API로 제공할 계획이라고 발표했다.
이제 옴니버스 사용자는 에이알킷(ARKit)과 리얼리티킷(RealityKit)과 같은 다른 오픈USD 기반의 공간 컴퓨팅 플랫폼과 호환되는 콘텐츠, 경험, 애플리케이션을 제작할 수 있다.
젠슨 황은 개발자와 기업이 오픈USD로 알려진 유니버설 씬 디스크립션(Universal Scene Description)의 채택을 가속화할 수 있는 광범위한 프레임워크, 리소스, 서비스를 발표했다. 여기에는 지형 공간 데이터 모델, 메트릭 어셈블리(metrics assembly), 시뮬레이션 지원, 심레디(SimReady) 등의 내용이 포함된다.
또한 그는 엔비디아가 구축한 4개의 새로운 옴니버스 클라우드(Omniverse Cloud) API를 발표했다. 이를 통해 개발자들은 오픈USD 파이프라인과 애플리케이션을 보다 원활하게 구현하고 배포할 수 있다.
챗USD - 챗USD는 오픈USD 데이터와 씬(scene)으로 작업하는 개발자와 아티스트를 지원한다. 챗USD는 텍스트에서 파이썬(Python)-USD 코드 스크립트를 생성하고 USD 지식 질문에 답변하는 대규모 언어 모델(LLM) 에이전트이다.
런USD(RunUSD) - 오픈USD 릴리스 버전에 대해 업로드된 파일의 호환성을 확인하고 옴니버스 클라우드로 렌더링을 생성해 오픈USD 파일을 완전한 경로 추적 렌더링 이미지로 변환하는 클라우드 API다.
딥서치(DeepSearch) - 태그가 지정되지 않은 애셋의 대규모 데이터베이스를 통해 빠른 의미 검색(semantic search)을 가능하게 하는 LLM 에이전트이다.
USD-GDN 퍼블리셔(Publisher) - 기업과 소프트웨어 제작자를 위한 원클릭 서비스이다. USD 컴포저(Composer)와 같은 옴니버스 기반 애플리케이션에서 충실도가 높은 오픈USD 기반 경험을 옴니버스 클라우드 그래픽 전송 네트워크(GDN)에 게시하고, 웹 브라우저와 모바일 디바이스로 실시간 스트리밍할 수 있다.
이는 지난 번 엔비디아, 픽사(Pixar), 어도비, 애플(Apple)과 오토데스크(Autodesk)의 오픈USD 얼라이언스 발표의 연장선상이다.
엔비디아와 글로벌 워크스테이션 제조업체들은 더 강력한 컴퓨팅을 제공하기 위해 강력한 신형 RTX 워크스테이션을 발표했다. 이는 생성형 AI와 디지털화 시대에서 개발과 콘텐츠 제작을 지원한다.
이 시스템은 BOXX, 델 테크놀로지스, HP, 레노버에 탑재되며, 엔비디아 RTX 6000 에이다 제너레이션 GPU(NVIDIA RTX 6000 Ada Generation GPU)를 기반으로 한다. 이로써 엔비디아 AI 엔터프라이즈(AI Enterprise)와 엔비디아 옴니버스 엔터프라이즈(Omniverse Enterprise) 소프트웨어를 통합한다.
이외에도 엔비디아는 전 세계 전문가들에게 최신 AI, 그래픽, 실시간 렌더링 기술을 제공하기 위해 엔비디아 RTX 5000, RTX 4500과 RTX 4000의 새로운 데스크톱 워크스테이션용 에이다 세대 GPU 3종도 출시했다.
엔비디아는 글로벌 데이터센터 시스템 제조업체들과 함께 새로운 엔비디아 OVX를 통해 생성형 AI과 산업 디지털화를 지속적으로 가속화하고 있다. 엔비디아 OVX는 강력한 범용 데이터센터 프로세서 설계인 새로운 엔비디아 L40S GPU를 탑재한다.
이러한 강력한 새 시스템은 엔비디아 옴니버스 플랫폼을 통해 AI 훈련과 추론, 3D 디자인과 시각화, 비디오 처리와 산업 디지털화 등 가장 컴퓨팅 집약적이고 복잡한 애플리케이션을 가속화한다.
엔비디아 리서치(Research)로 인해 더욱 많은 혁신이 이루어지고 있다.
이번 실시간 라이브(Real Time Live) 행사에서 엔비디아 연구원들은 생성형 AI 워크플로우를 시연할 예정이다. 이를 통해 아티스트는 텍스트와 이미지 프롬프트를 사용해 3D 장면의 재료를 빠르게 생성하고 반복할 수 있다. 또한 커스텀 텍스처 재료를 더 빠르고 세밀하게 창의적으로 제어할 수 있도록 지원한다.
또한 엔비디아 리서치는 새로운 3D 기능을 통해 AI가 화상 회의를 한 단계 더 발전시킬 수 있는 방법을 시연한다. 엔비디아 리서치는 최근 최소한의 캡처 장비로 AI가 3D 화상 회의 시스템을 강화할 수 있는 방법에 대한 논문을 발표했다.
더불어 엔비디아 엔터프라이즈에서 사용 가능한 맥신(Maxine) 프로덕션 버전을 통해 누구나 AI의 강력한 기능을 활용할 수 있다. 표준형 마이크와 웹캠을 사용하더라도 고품질의 오디오와 비디오 효과를 만들 수 있다.
[영상] 엔비디아에 대응하는 인텔 가우디3/AMD MI300/범클라우드 진영의 NPU/,그리고 AI 하드웨어 개발 흐름과 추세는? 
