모든 엔지니어를 위한 올인원 옵저버빌리티 플랫폼 기업 뉴렐릭은 기업고객이 생성형 AI 애플리케이션 개발, 배포 및 모니터링 과정의 복잡성을 완화하고 비용을 절감할 수 있도록 뉴렐릭 플랫폼을 엔비디아 NIM 추론 마이크로서비스(NVIDIA NIM inference microservice)와 통합했다. 이제 고객은 뉴렐릭 AI 모니터링(New Relic AI monitoring)을 통해 엔비디아 NIM으로 구축된 애플리케이션의 AI 스택 전반에 걸쳐 통합적인 가시성을 확보할 수 있으며, 설정을 더욱 간소화하고 데이터 보안을 보장받을 수 있다. 이는 엔비디아 NIM 자체 호스팅 모델의 강력한 보안 기능과 사용 용이성을 보완해 생성형 AI 애플리케이션 제작을 가속화한다. 또한 뉴렐릭과 엔비디아 NIM의 통합을 통해 고객은 보다 빠르게 AI를 도입하고 투자수익률(ROI)을 달성할 수 있다.
기업은 디지털 경험 향상, 생산성 증대 및 수익성 개선을 목적으로 생성형 AI를 빠르게 도입하고 있다. 가트너(Gartner)에 따르면, 2026년까지 80% 이상의 기업이 생성형 AI를 이용하거나 생성형 AI 애플리케이션을 배포할 것으로 예상된다. 기업이 시장에서 우위를 점하기 위해선 빠른 배포 및 ROI 실현이 매우 중요하며, 이를 가능케 하는 핵심 요소는 옵저버빌리티다. 해당 옵저버빌리티 기술은 서비스, 인프라 및 AI 레이어 전반에 걸쳐 AI 애플리케이션 스택에 대한 전체적인 정보를 실시간 확인할 수 있도록 하여 효율적이고, 안정적이며, 비용 효과적인 운영을 지원한다.
AI 애플리케이션은 기술 스택 관리를 더 어렵게 만들고, 보안 문제를 증가시키며, 막대한 비용을 초래할 수 있다. 뉴렐릭 AI 모니터링은 데이터 프라이버시를 보장하면서 처리량, 레이턴시, 비용에 대한 주요 메트릭과 함께 AI 스택에 대한 통합적인 가시성을 제공한다. 또한 서비스 및 모델 전반의 요청 흐름(request flow)을 추적해 AI 애플리케이션의 내부 작동 상황을 이해할 수 있다. 뉴렐릭은 데이터브릭스 DBRX(Databricks DBRX), 구글 젬마(Google Gemma), 메타 라마 3(Meta Llama 3), 마이크로소프트 파이-3(Microsoft Phi-3), 미스트랄 라지(Mistral Large), 미스트랄 8x22B(Mixtral 8x22B) 및 스노우플레이크 아크틱(Snowflake Arctic)을 포함한 다양한 AI 모델을 지원하며 엔비디아 NIM에 대해 심층적인 모니터링을 확대하여 제공한다. 이를 통해 기업은 엔비디아 NIM으로 구축된 AI 애플리케이션을 효과적으로 배포하고, 시장 출시 시간을 단축하며, ROI를 개선할 수 있다.
이번 뉴렐릭과 엔비디아의 기술 통합은 최근 뉴렐릭이 엔비디아의 AIOps 파트너 생태계(NVIDIA’s AIOps partner ecosystem)에 합류한 후 실현됐다. 뉴렐릭은 엔비디아 AI의 가속 컴퓨팅을 활용해 옵저버빌리티와 AI를 결합함으로써 IT 운영을 간소화하고 머신러닝 및 뉴렐릭 AI 생성형 AI 어시스턴트를 통한 혁신을 가속화할 수 있게 됐다. 뉴렐릭은 엔비디아 GPU 및 엔비디아 트리톤 추론 서버 소프트웨어(NVIDIA Triton Inference Server software)를 포함한 60개 이상의 부문에서 AI 기술을 통합함으로써 가장 종합적인 옵저버빌리티 솔루션을 제공하고 있다.
|
[영상] 엔비디아 젠슨황 APEC 한국 방문 비하인드 스토리, 기승전HBM으로 망친 인터뷰까지 
