엔비디아가 아마존 웹 서비스(Amazon Web Services, AWS) AI 서비스 전반에 엔비디아(NVIDIA) NIM 마이크로서비스를 확장한다고 발표했다.
생성형 AI는 산업을 빠르게 변화시키고 있으며, 점점 더 복잡해지는 모델을 효율적이고 비용 효과적으로 확장하기 위해 안전한 고성능 추론 솔루션에 대한 수요를 촉진하고 있다.
AWS는 지난 4일(현지시간) 열린 연례 AWS 리인벤트(re:Invent) 콘퍼런스에서 엔비디아와의 협업을 확대해 주요 AWS AI 서비스 전반에 걸쳐 엔비디아 NIM 마이크로서비스를 확장한다고 발표했다. 이를 통해 생성형 AI 애플리케이션을 위한 더 빠른 AI 추론과 짧은 지연 시간을 지원한다.
엔비디아 NIM 마이크로서비스는 이제 AWS 마켓플레이스(Marketplace), 아마존 베드록 마켓플레이스(Bedrock Marketplace), 아마존 세이지메이커 점프스타트(SageMaker JumpStart)에서 직접 제공된다. 이로 인해 개발자들이 일반적으로 사용되는 모델에 대해 엔비디아 최적화 추론을 대규모로 배포하는 것이 더욱 쉬워졌다.
엔비디아 NIM은 AWS 마켓플레이스에서 제공되는 엔비디아 AI 엔터프라이즈(Enterprise) 소프트웨어 플랫폼의 일부이다. 이는 개발자에게 클라우드, 데이터센터, 워크스테이션 전반에서 고성능 엔터프라이즈급 AI 모델 추론을 안전하고 안정적으로 배포하도록 설계된 사용하기 쉬운 마이크로서비스 세트를 제공한다.
이 사전 구축된 컨테이너는 엔비디아 트리톤 추론 서버(Triton Inference Server), 엔비디아 텐서RT(TensorRT), 엔비디아 텐서RT-LLM, 파이토치(PyTorch)와 같은 강력한 추론 엔진을 기반으로 구축됐다. 아울러 오픈 소스 커뮤니티 모델부터 엔비디아 AI 파운데이션(AI Foundation) 모델, 맞춤형 모델에 이르기까지 광범위한 범위의 AI 모델을 지원한다.
NIM 마이크로서비스는 아마존 엘라스틱 컴퓨트 클라우드(Elastic Compute Cloud, EC2), 아마존 엘라스틱 쿠버네티스 서비스(Elastic Kubernetes Service, EKS), 아마존 세이지메이커를 비롯한 다양한 AWS 서비스에 배포할 수 있다.
개발자들은 일반적으로 사용되는 모델과 모델 제품군으로 구축된 100개 이상의 NIM 마이크로서비스를 엔비디아 API 카탈로그에서 미리 볼 수 있다. 여기에는 메타(Meta)의 라마 3(Llama 3), 미스트랄 AI(Mistral AI)의 미스트랄과 믹스트랄(Mixtral), 엔비디아의 네모트론(Nemotron), 스태빌리티 AI(Stability AI)의 SDXL 등이 있다. 가장 일반적으로 사용되는 모델은 AWS 서비스에 배포하기 위한 자체 호스팅에 사용할 수 있으며, AWS의 엔비디아 가속 컴퓨팅 인스턴스에서 실행되도록 최적화돼 있다.
현재 AWS에서 직접 사용할 수 있는 NIM 마이크로서비스는 다음과 같다:
엔비디아 네모트론-4: 아마존 베드록 마켓플레이스, 아마존 세이지메이커 점프스타트, AWS 마켓플레이스에서 이용 가능하다. 이는 실제 데이터와 매우 유사한 다양한 합성 데이터를 생성하도록 설계된 최첨단 거대 언어 모델(Large Language Model, LLM)로, 다양한 도메인에서 맞춤형 LLM의 성능과 견고성을 향상시킨다.
라마 3.1 8B-인스트럭트(8B-Instruct): AWS 마켓플레이스에서 이용 가능하다. 80억 개의 파라미터를 가진 이 다국어 LLM은 언어 이해, 추론, 텍스트 생성을 위해 사전 훈련되고, 지침이 조정됐다.
라마 3.1 70B-인스트럭트: AWS 마켓플레이스에서 이용 가능하다. 700억 개의 파라미터로 사전 훈련되고 지침이 조정된 이 모델은 다국어 대화에 최적화돼 있다.
믹스트랄 8x7B 인스트럭트 v0.1: AWS 마켓플레이스에서 이용 가능하다. 이 고품질 희소 전문가 혼합(sparse mixture of experts) 모델은 개방형 가중치를 사용해 지침을 따르고 요청을 완료하며 창의적인 텍스트 형식을 생성할 수 있다.
다양한 산업 분야의 고객과 파트너들이 AWS에서 NIM을 활용하며 시장에 더 빨리 진입하고, 생성형 AI 애플리케이션과 데이터의 보안과 제어를 유지하며, 비용을 절감하고 있다.
IT 컨설팅과 디지털 서비스 제공업체인 소프트서브(SoftServe)는 AWS에 완전히 배포되고, 엔비디아 NIM과 AWS 서비스로 가속화된 6가지 생성형 AI 솔루션을 개발했다. 이 솔루션은 AWS 마켓플레이스에서 제공되며, 소프트서브 생성형 AI 신약 개발(Gen AI Drug Discovery), 소프트서브 생성형 AI 산업 비서(Industrial Assistant), 디지털 컨시어지(Digital Concierge), 멀티모달 RAG 시스템(Multimodal RAG System), 콘텐츠 크리에이터(Content Creator), 음성 인식 플랫폼(Speech Recognition Platform)으로 구성된다.
이들 모두는 AI 애플리케이션 개발과 배포를 가속화하는 포괄적인 참조 워크플로우인 엔비디아 AI 블루프린트(Blueprint)를 기반으로 한다. 아울러 AI 에이전트, 디지털 트윈 등을 위한 엔비디아 가속 라이브러리, 소프트웨어 개발 키트, NIM 마이크로서비스가 포함된다.
개발자는 고유한 필요와 요구사항에 따라 AWS에 엔비디아 NIM 마이크로서비스를 배포할 수 있다. 이를 통해 개발자와 기업은 다양한 AWS 서비스 전반에서 엔비디아에 최적화된 추론 컨테이너로 고성능 AI를 구현할 수 있다.
엔비디아 API 카탈로그를 방문해 100개 이상의 다양한 NIM 최적화 모델을 사용해 볼 수 있다. 또한, 개발자 라이선스 또는 90일 엔비디아 AI 엔터프라이즈 체험 라이선스를 요청해 AWS 서비스에 마이크로서비스 배포를 할 수 있다. 개발자는 AWS 마켓플레이스, 아마존 베드록 마켓플레이스 또는 아마존 세이지메이커 점프스타트에서 NIM 마이크로서비스를 알아볼 수도 있다.
[영상] 메모리 때문에 모든게 엉망! 지포스 RTX 5090 단종 및, 5080 24GB 출시 루머 총정리 
