엔비디아가 엔비디아(NVIDIA) NIM 기반 추론 서비스가 허깅페이스(Hugging Face)에서 제공된다고 밝혔다.
4백만 명의 개발자로 구성된 세계 최대 AI 커뮤니티 중 하나인 허깅페이스 플랫폼에서 가장 인기 있는 일부 AI 모델에서 엔비디아 가속 추론에 쉽게 액세스할 수 있게 됐다.
새로운 추론 서비스 기능으로 개발자들은 엔비디아 DGX 클라우드(DGX Cloud)에서 실행되는 엔비디아 NIM 마이크로서비스 최적화를 통해 라마 3(Llama 3) 제품군과 미스트랄 AI(Mistral AI) 모델과 같은 주요 거대 언어 모델(large language model, LLM)을 빠르게 배포할 수 있다.
이번 시그라프(SIGGRAPH) 콘퍼런스에서 발표된 이 서비스는 개발자가 허깅페이스 허브에서 호스팅되는 오픈 소스 AI 모델을 사용해 신속하게 프로토타입을 제작하고 프로덕션에 배포할 수 있도록 지원한다. 엔터프라이즈 허브(Enterprise Hub) 사용자는 서버리스 추론을 활용해 유연성을 높이고, 인프라 과부화를 최소화하며, 엔비디아 NIM을 통해 성능을 최적화할 수 있다.
이 추론 서비스는 허깅페이스에서 이미 사용 가능한 AI 훈련 서비스인 트레인 온 DGX 클라우드 (Train on DGX Cloud)를 보강한다.
점점 더 많은 오픈 소스 모델에 대응해야 하는 개발자들은 선택지를 쉽게 비교할 수 있는 허브의 혜택을 누릴 수 있다. 이러한 훈련과 추론 도구는 허깅페이스 개발자들에게 엔비디아 가속 인프라에서 최첨단 모델을 실험, 테스트, 배포할 수 있는 새로운 방법을 제공한다. 이러한 도구는 허깅페이스 모델 카드의 훈련과 배포 드롭다운 메뉴를 사용해 몇 번의 클릭만으로 쉽게 이용할 수 있다.
엔비디아 NIM은 업계 표준 API를 사용하는 추론에 최적화된 AI 마이크로서비스 모음으로, 엔비디아 AI 파운데이션 모델과 오픈 소스 커뮤니티 모델을 포함하고 있다.
NIM은 언어 모델에서 사용하고 생성하는 데이터의 단위인 토큰을 처리하는 데 있어 사용자에게 더 높은 효율성을 제공한다. 또한 최적화된 마이크로서비스는 기본 엔비디아 DGX 클라우드 인프라의 효율성을 개선해 중요한 AI 애플리케이션의 속도를 높일 수 있다.
즉, 개발자는 다른 버전의 모델에 비해 NIM으로 액세스하는 AI 모델에서 더 빠르고 강력한 결과를 확인할 수 있다. 예를 들어, 700억 개의 파라미터를 가진 라마 3 버전을 NIM으로 액세스하면, 엔비디아 H100 텐서 코어(Tensore Core) GPU 기반 시스템에서 기성품으로 배포할 때보다 최대 5배 더 높은 처리량을 구현한다.
생성형 AI를 위해 특별히 설계된 엔비디아 DGX 클라우드 플랫폼은 개발자가 안정적인 가속 컴퓨팅 인프라에 쉽게 액세스할 수 있도록 돕는다. 이를 통해 프로덕션 지원 애플리케이션을 더 빠르게 시장에 출시할 수 있다.
이 플랫폼은 개발자가 장기적인 AI 인프라에 투자할 필요 없이 프로토타입에서 프로덕션에 이르는 모든 AI 개발 단계를 지원하는 확장 가능한 GPU 리소스를 제공한다.
NIM 마이크로서비스로 구동되는 엔비디아 DGX 클라우드의 허깅페이스 추론 서비스는 AI 배포에 최적화된 컴퓨팅 리소스에 쉽게 액세스할 수 있다. 이는 사용자가 엔터프라이즈급 환경에서 최신 AI 모델을 실험할 수 있도록 지원한다.
엔비디아는 이번 시그라프에서 오픈USD(Universal Scene Description, OpenUSD) 프레임워크용 생성형 AI 모델과 NIM 마이크로서비스를 소개했다. 이는 개발자들이 차세대 AI 발전을 위해 매우 정확한 가상 세계를 구축할 수 있는 능력을 가속화한다.
[영상] AI 수요가 늘면 왜 DDR5 값이 오를까?, [메모리 가격 폭등 1부] 
