뉴스
 








 
 
 




메인
전송 2023-09-22 12:41
[뉴스/보도자료]

엔비디아, OCI에 최신 엔비디아 GPU 가속 컴퓨팅 인스턴스 탑재

엔비디아가 오라클과 협력해 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure, 이하 OCI)에 최신 엔비디아(NVIDIA) GPU 가속 컴퓨팅 인스턴스를 탑재한다고 발표했다.

 

생성형 AI와 대규모 언어 모델(LLM)이 획기적인 혁신을 주도하면서 훈련과 추론에 대한 컴퓨팅 요구가 급증하고 있다. 따라서 최신 생성형 AI 애플리케이션에는 대규모 워크로드를 빠르고 정확하게 처리할 수 있는 최첨단 인프라부터 가속화된 풀스택 컴퓨팅이 필요하다. 이러한 요구를 충족하기 위해 OCI는 OCI 컴퓨트(OCI Compute)에서 엔비디아 H100 텐서 코어 GPU(H100 Tensor Core GPUs)를 정식 제공하고, 엔비디아 L40S GPU도 곧 지원 예정이라고 밝혔다.

OCI 컴퓨트 베어 메탈 인스턴스(bare-metal instances)는 엔비디아 호퍼 아키텍처(Hopper architecture)기반의 엔비디아 H100 GPU가 탑재됐다. 이를 통해 모든 워크로드를 위한 탁월한 성능, 확장성, 유연성을 제공하며, 대규모 AI와 고성능 컴퓨팅을 위한 비약적인 도약을 가능하게 한다.

엔비디아 H100 GPU를 사용하는 조직은 엔비디아 A100 텐서 코어 GPU(A100 Tensor Core GPU)를 활용할 때보다 AI 추론 성능이 최대 30배 향상되고, AI 훈련이 4배 향상된다. H100 GPU는 LLM 훈련과 실행 과정에서 추론 등 리소스 집약적인 컴퓨팅 작업을 위해 설계됐다.

BM.GPU.H100.8 OCI 컴퓨트 형태에는 각각 80GB의 HBM2 GPU 메모리를 갖춘 8개의 엔비디아 H100 GPU가 포함된다. 8개의 GPU 간에 3.2TB/s의 이중 대역폭이 제공되므로 각 GPU는 엔비디아 NV스위치(NVSwitch)와 NV링크(NVLink) 4.0 기술을 통해 다른 7개의 모든 GPU와 직접 통신할 수 있다. 또한 여기에는 각각 3.84TB 용량의 로컬 NVMe 드라이브 16개, 112코어의 4세대 인텔 제온(4th Gen Intel Xeon) CPU 프로세서와 2TB의 시스템 메모리도 포함된다.

즉, 이 형태는 조직의 가장 까다로운 워크로드에 최적화돼 있다고 할 수 있다.

아울러 조직은 워크로드의 타임라인과 규모에 따라 OCI 슈퍼클러스터(OCI Supercluster)를 통해 고성능, 초저지연 네트워크를 사용해 단일 노드에서 최대 수만 개의 H100 GPU로 엔비디아 H100 GPU 사용량을 확장할 수 있다.

엔비디아 L40S GPU는 엔비디아 에이다 러브레이스 아키텍처(Ada Lovelace architecture)를 기반으로 하는 데이터센터용 유니버설(universal) GPU이다. L40S GPU는 LLM 추론과 훈련, 비주얼 컴퓨팅과 비디오 애플리케이션을 위한 획기적인 멀티 워크로드 가속화를 제공한다. 엔비디아 L40S GPU가 탑재된 OCI 컴퓨팅 베어 메탈 인스턴스는 올해 말부터 얼리 액세스가 가능하며, 2024년 초 상용화될 예정이다.

이 인스턴스는 그래픽, 비디오 컴퓨팅 작업뿐만 아니라 중소 규모의 AI 워크로드를 다루기 위해 엔비디아 H100과 A100 GPU 인스턴스의 대안을 제공할 예정이다. 엔비디아 L40S GPU는 생성형 AI 워크로드에서 최대 20%의 성능 향상, 엔비디아 A100에 비해 미세 조정(fine-tuning) AI 모델에서 최대 70%의 성능 향상을 제공한다.

BM.GPU.L40S.4 OCI 컴퓨트 형태에는 4개의 엔비디아 L40S GPU가 포함된다. 여기에는 최대 112코어의 최신 세대의 인텔 제온 CPU, 1TB의 시스템 메모리, 데이터 캐싱용(caching) 15.36TB의 저지연 NVMe 로컬 스토리지, 400GB/s의 클러스터 네트워크 대역폭이 함께 제공된다. 이 인스턴스는 LLM 훈련, 미세 조정과 추론부터 엔비디아 옴니버스(Omniverse) 워크로드, 산업 디지털화, 3D 그래픽과 렌더링, 비디오 트랜스코딩과 FP32HPC와 같은 다양한 용도를 다루기 위해 만들어졌다.

이번 엔비디아와 OCI의 협력은 모든 규모의 조직이 최첨단 엔비디아 H100과 L40S GPU 가속 인프라를 통해 생성형 AI 혁신에 동참할 수 있도록 지원한다.

그러나 엔비디아 GPU 가속 인스턴스에 대한 액세스만으로는 충분하지 않을 수 있다. OCI 컴퓨팅에서 엔비디아 GPU의 잠재력을 최대한 활용하려면 최적의 소프트웨어 레이어가 필요하다. 엔비디아 AI 엔터프라이즈는 지원 서비스로 기본 엔비디아 GPU 인프라에 최적화된 오픈 소스 컨테이너와 프레임워크를 활용한다. 이를 통해 엔터프라이즈급 가속화된 AI 소프트웨어의 개발과 배포를 간소화한다.

자세한 내용은 9월 20일 오라클 클라우드 월드(Oracle Cloud World) AI 파빌리온(AI Pavillion)에서 진행되는 새로운 OCI 인스턴스에 대한 세션에서 확인할 수 있다. 또한 OCI, OCI 컴퓨트, 오라클의 AI 접근 방식, 엔비디아 AI 플랫폼과 관련된 내용은 각 웹사이트에서 확인할 수 있다.

  태그(Tag)  : 엔비디아, 그래픽카드(칩셋)
관련 기사 보기
[영상] NVIDIA X ARM 데스크탑 CPU 진출, PC시장을 뒤흔들 수 있을까?
[영상] PC용 ARM은 X86을 이길 수 있을까?,엔비디아 PC용 ARM CPU 인사이트 프리퀄
[영상] INTEL XPU와 NVIDIA에 대항하는 AMD의 전략,그리고 ARM CPU 출시의 상관관계는?
[영상] GPU를 없애버리고 싶은 인텔의 차세대 엔비디아 대응 전략 XPU
[영상] 엔비디아 지포스와 경쟁하다 망한 GPU,XGI / 파워VR / 매트록스...어? 인텔 아크? [PC흥망사 5-4]
[영상] 엔비디아와 경쟁할 때 명심할 것, 무조건 메인스트림에서 존버하기 [PC흥망사 5-3]
태그(Tags) : 엔비디아, 그래픽카드(칩셋)     관련기사 더보기
편집부 / 편집부님에게 문의하기 press@bodnara.co.kr
이기사와 사진은 업체에서 제공받은 보도자료와 사진으로, 보드나라의 논조와는 다르다는 점을 알려드립니다.
싸이월드 공감 기사링크 퍼가기 기사내용 퍼가기 이 기사를 하나의 페이지로 묶어 볼 수 있습니다. 출력도 가능합니다.
홈으로 탑으로
보드나라 많이본 기사
삼성 갤럭시 Z 폴드 6 커버 화면 더 커질 것, Z 폴드 6도?
AMD 라이젠 8000G 시리즈, 스펙과 출시일 유출?
AMD Ryzen Z1 미니 PC 등장, GPU 성능은 Z1 Extreme 약 절반?
홈월드 3 시스템 사양 발표, 최고 옵션은 14900K와 RTX 4080 현 최강급 PC 요구
인텔 하이브리드 CPU 등장 3년차에 아직도, 일부 몰의 코어 표기 이대로 좋은가?
최신 CPU로 즐기는 최신 게임,인텔 코어 i7-14700K의 성능은?
글로벌 셔터 풀프레임 미러리스로 왜곡 없는 촬영을, 소니 a9 III 발표
닌텐도 스위치 전략 따라가나, 밸브 스팀 덱 OLED 발표
   이 기사의 의견 보기
트위터 베타서비스 개시! 최신 PC/IT 소식을 트위터를 통해 확인하세요 @bodnara

기자의 시각이 항상 옳은것은 아닙니다. 나머지는 여러분들이 채워 주십시요.

2014년부터 어려운 이야기를 쉽게 하는 것으로 편집방침을 바꿉니다.

겨울이좋아 / 23-09-22 13:00/ 자국/ 신고/ 이댓글에댓글달기
AI관련된 뉴스볼 때마다 무서운 기분도 같이 드네요.

프리스트 rubychan님의 미디어로그 가기  / 23-09-28 12:47/ 자국/ 신고/ 이댓글에댓글달기
생성형 AI 혁신에 도움이 될듯
닉네임 웹봇방지

홈으로 탑으로
 
 
2023년 12월
주간 히트 랭킹

[결과발표] 2023년 3분기 포인트 소진 로또 16
[결과발표] 2023년 2분기 포인트 소진 로또 18
[결과발표] 2023년 1분기 포인트 소진 로또 15
[결과발표] 2022년 4분기 포인트 소진 로또 27
[결과발표] 2022년 3분기 포인트 소진 로또 24

실시간 댓글
소셜 네트워크