AI 컴퓨팅 기술 분야의 선두주자인 엔비디아가 미국 시애틀에서 개최된 마이크로소프트(Microsoft) 연례 개발자 콘퍼런스 ‘마이크로소프트 빌드(Microsoft Build) 2024’에서 엔비디아(NVIDIA) GTC에서 공유한 양사의 협력 상황을 바탕으로 지속적인 협업을 강화한다고 밝혔다.
최적화된 AI 워크플로우가 하드웨어 인프라에서 소프트웨어 라이브러리에 이르기까지 각 구성 요소가 정확한 음을 내는 완벽하게 조율된 오케스트라에 비유될 수 있다면, 엔비디아와 마이크로소프트의 오랜 조화는 개발자의 귀에 음악과도 같은 존재다.
마이크로소프트에서 개발한 최신 AI 모델은 파이-3(Phi-3) 소형 언어 모델(small language model, SLM) 제품군을 포함한다. 또한 엔비디아 GPU에서 실행 가능하도록 최적화돼 엔비디아 NIM 추론 마이크로서비스로 사용할 수 있다. cuOpt 경로 최적화 AI와 같이 엔비디아에서 개발한 다른 마이크로서비스는 마이크로소프트 애저 마켓플레이스(Azure Marketplace)에 정기적으로 추가되고 있다. 이는 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼의 일부이다.
이러한 AI 기술 외에도 엔비디아와 마이크로소프트는 더 많은 최적화와 통합 세트를 제공하고 있다. 이를 통해 엔비디아 지포스 RTX(GeForce RTX)와 엔비디아 RTX GPU 기반 PC용 고성능 AI 앱을 만드는 개발자를 지원한다.
마이크로소프트의 파이-3 모델 가속화
마이크로소프트는 38억 개의 파라미터가 있는 파이-3-미니(Phi-3-mini)와 유사한 소형(70억 개 파라미터)과 중형(140억 개 파라미터) 모델을 추가해 파이-3 개방형 소형 언어 모델 제품군을 확장하고 있다. 또한 이미지와 텍스트를 지원하는 42억 개 파라미터의 새로운 멀티모달 모델인 파이-3-비전(Phi-3-vision)을 도입한다.
이 모든 모델은 엔비디아 텐서RT-LLM(TensorRT-LLM)을 통해 GPU에 최적화돼 있다. 또한 엔비디아 NIM으로 사용할 수 있는데, 이는 어디에나 배포할 수 있는 표준 API를 갖춘 가속화된 추론 마이크로서비스이다.
NIM 기반 파이-3 모델용 API는 여기와 애저 마켓플레이스의 엔비디아 AI 엔터프라이즈에서 사용할 수 있다.
애저 마켓플레이스에서 엔비디아 cuOpt 제공
경로 최적화를 위한 GPU 가속 AI 마이크로서비스인 엔비디아 cuOpt가 이제 엔비디아 AI 엔터프라이즈를 통해 애저 마켓플레이스에서 제공된다. cuOpt는 배송 서비스, 철도 시스템, 창고와 공장 등에서 실시간 물류 관리를 가능하게 만드는 대규모 병렬 알고리즘을 지원한다.
이 모델은 주요 라우팅 벤치마크(routing benchmarks)에서 24개에 달하는 세계 기록을 세우며 최고의 정확도와 신속성을 입증했다. 차량 경로를 최적화하고 이동 시간을 절약하며 유휴 기간을 최소화해 물류와 공급망 산업에서 수십억 달러를 절약할 수 있다.
개발자는 애저 마켓플레이스를 통해 cuOpt 마이크로서비스를 애저 맵스(Maps)에 쉽게 통합할 수 있다. 이로써 엔터프라이즈급 관리 도구와 보안이 뒷받침된 실시간 물류 관리와 기타 클라우드 기반 워크플로우를 지원할 수 있다.
엔비디아 RTX로 PC에서 AI 성능 최적화
엔비디아 가속 컴퓨팅 플랫폼은 최신 AI의 중추로, 개발자들이 전 세계 1억 개 이상의 윈도우용 지포스 RTX 기반 PC와 엔비디아 RTX 기반 워크스테이션을 위한 솔루션 구축을 지원한다.
엔비디아와 마이크로소프트는 차세대 PC와 워크스테이션 애플리케이션에서 AI를 가속화하기 위해 윈도우 개발자에게 다음과 같은 새로운 최적화와 통합 기능을 제공한다.
• 엔비디아 다이렉트X(DirectX) 드라이버, 생성형 AI ONNX 런타임(Generative AI ONNX Runtime) 확장과 다이렉트ML(DirectML)을 통해 거대 언어 모델(large language model, LLM)에 대한 더 빠른 추론 성능을 제공한다. 이러한 최적화는 엔비디아 지포스 RTX와 엔비디아 RTX GPU에서 최대 3배 더 빠른 성능을 제공한다. 현재 지포스 게임 레디(Game Ready), 엔비디아 스튜디오(Studio)와 엔비디아 RTX 엔터프라이즈 드라이버에서 사용할 수 있다.
• WebNN을 통해 스테이블 디퓨전(Stable Diffusion)과 위스퍼(Whisper) 같은 AI 모델을 위한 RTX GPU의 최적화된 성능을 제공한다. WebNN은 개발자가 온디바이스 하드웨어를 사용해 웹 애플리케이션에서 AI 모델을 가속화할 수 있도록 돕는 API이다.
• 윈도우가 다이렉트ML을 통해 파이토치(PyTorch)를 지원하도록 설정되면 수천 개의 허깅페이스(Hugging Face) 모델이 윈도우에서 기본으로 작동한다. 엔비디아와 마이크로소프트는 1억 개 이상의 RTX GPU에서 성능을 확장하기 위해 협력하고 있다.
마이크로소프트 빌드에서 엔비디아와 함께하기
콘퍼런스 참가자들은 엔비디아의 FP28 부스를 방문해 개발자 전문가를 만나고 엔비디아 NIM, 엔비디아 cuOpt, 엔비디아 옴니버스(Omniverse), 엔비디아 RTX AI 플랫폼의 라이브 데모를 체험할 수 있다. 부스에서는 의료 이미징 워크플로우를 위한 엔비디아 모나이(MONAI) 플랫폼과 신약 개발을 위한 엔비디아 바이오네모(BioNeMo) 생성형 AI 플랫폼도 선보이며, 두 플랫폼 모두 엔비디아 AI 엔터프라이즈의 일부로 애저에서 사용할 수 있다.
엔비디아 연사가 참여한 세션에 참석해 윈도우 PC에서 엔비디아 RTX AI 플랫폼 기능에 대해 자세히 확인할 수 있다. 또한 마이크로소프트 애저에서 생성형 AI와 디지털 트윈 도구를 배포하는 방법을 알아볼 수 있다.
5월 22일(수) 오전 6시 30분부터 23일(목) 오전 3시 15분까지(한국시간) 열리는 개발자 쇼케이스(Developer Showcase)에 등록해 개발자들이 애저에서 엔비디아 AI 소프트웨어를 활용해 혁신적인 생성형 AI를 구축하는 방법을 알아볼 수 있다.
[영상] 메모리 때문에 모든게 엉망! 지포스 RTX 5090 단종 및, 5080 24GB 출시 루머 총정리 
