데이터브릭스(Databricks)가 엔비디아(NVIDIA)와의 협력을 확대하고, 데이터 및 AI 워크로드를 최적화하기 위해 자사 데이터 인텔리전스 플랫폼에 엔비디아 쿠다(CUDA) 가속 컴퓨팅을 도입한다고 발표했다.
이 내용은 데이터브릭스가 미국 현지시간으로 6월 10일에서 13일 개최한 데이터 + AI 서밋(Data + AI Summit)에서 공유됐다. 기업 데이터를 생성 AI 애플리케이션에 사용하기 위해서는 데이터 준비, 큐레이션 및 처리 워크로드가 필수적으로 요구되는데, 이에 양사는 최신 AI 팩토리를 위한 AI 개발 파이프라인의 효율성, 정확성 및 성능을 향상하기 위해 협력한다는 계획이다. 데이터브릭스는 자사 데이터 인텔리전스 플랫폼에 엔비디아 GPU 가속을 위한 기본 지원을 추가할 예정이다. 이는 그동안 양사가 기업에 풍부한 경험을 제공하기 위해 기존 머신러닝(ML) 모델 학습, 생성형 AI 애플리케이션 구축 및 배포, 디지털 트윈 최적화 등의 부문에서 협력해 온 것의 연장선이다.
데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본 지원을 개발할 계획이다. 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 향상한다.
포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스(serverless) 데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다. 데이터브릭스와 엔비디아는 이번 협업으로 가격 대비 성능의 수준을 한 단계 끌어 올린다는 계획이다.
엔비디아는 이달 초 개최된 컴퓨텍스(COMPUTEX)에서 데이터브릭스의 오픈소스 모델인 DBRX가 엔비디아의 NIM 마이크로서비스로 제공된다고 발표했다. 엔비디아 NIM 추론 마이크로서비스는 애플리케이션에 생성형 AI 모델을 추가할 수 있는 간단하고 표준화된 방식을 제공한다. 이로써 모델을 완전히 최적화되고, 사전 구축되었으며, 어디서나 배포할 수 있는 컨테이너로 제공해 엔터프라이즈 개발자의 생산성을 획기적으로 높인다.
올해 3월 출시된 DBRX는 데이터브릭스 고객 및 파트너가 사용할 수 있는 모든 도구와 기술을 활용해 완벽하게 데이터브릭스를 기반으로 구축되었으며, 개발자를 위한 확장 가능한 엔드 투 엔드 AI 플랫폼인 엔비디아 DGX 클라우드로 학습됐다. 조직은 기업 데이터로 DBRX를 커스터마이징해 특정 조직을 위한 고품질 모델을 생성하거나, DBRX와 비슷한 맞춤형 전문가 혼합(MoE, mixture-of-expert) 모델을 처음부터 구축하기 위해 DBRX를 참조 아키텍처로서 사용할 수 있다.
데이터브릭스의 데이터 인텔리전스 플랫폼은 엔드 투 엔드 생성형 AI 애플리케이션의 개발, 평가, 배포, 보안 및 모니터링을 위한 가장 포괄적인 플랫폼을 제공한다. 고객은 데이터브릭스 모자이크 AI의 데이터 중심 접근 방식을 통해 유연한 개방형 플랫폼의 이점을 누리고, 또 안전하고 정확하며 관리 가능한 고유 데이터를 기반으로 생성형 AI 애플리케이션을 손쉽게 확장할 수 있다.
한편, 데이터브릭스는 최근 라이언 블루(Ryan Blue), 다니엘 윅스(Daniel Weeks), 제이슨 리드(Jason Reid)가 설립한 데이터 관리 스타트업인 타뷸러(Tabular)의 전략적 인수를 발표했다. 대표적인 오픈소스 레이크하우스 형식인 아파치 아이스버그™(Apache Iceberg™)와 리눅스 파운데이션 델타 레이크(Linux Foundation Delta Lake) 창시자 간의 시너지를 발휘하고, 데이터 호환성을 선도해 조직이 더 이상 데이터의 형식에 제약을 받지 않도록 지원한다는 방침이다. 또한, 최근 데이터브릭스는 고객이 효율적으로 데이터 사일로를 허물고 AI 혁신을 실현할 수 있도록 개방형 델타 쉐어링(Delta Sharing) 생태계를 강화하기 위해 새로운 제품 혁신과 전략적 파트너십을 발표한 바 있다.
데이터브릭스는 데이터 및 AI 기능에 대한 수요 증가에 힘입어 올 1월 31일 마감된 회계연도를 기준으로 전 세계적으로 16억 달러(약 2조 2천억 원)이상의 매출을 기록했으며, 연간 50% 이상의 성장을 달성했다.
[영상] 엔비디아와 대만의 AI산업 중심기지 전략 '팀타이완', 대만 국내용 메시지에 불과한 이유 
