뉴스
 








 
 
 




메인
전송 2022-07-29 10:23
[뉴스/보도자료]

엔비디아, 대규모 언어 모델 AI 플랫폼 네모 메가트론 프레임워크 업데이트

엔비디아(CEO 젠슨 황)가 대규모 언어 모델(LLM)의 크기와 복잡성이 지속적으로 급증함에 따라 최대 30%의 훈련 속도 향상을 제공하는 네모 메가트론(NeMo Megatron) 프레임워크의 업데이트를 발표했다.

 

이번 업데이트는 두 가지 선구적인 기술과 여러 GPU에서 LLM 훈련을 최적화하고 확장하는 하이퍼 파라미터(hyper parameter) 도구를 포함한다. 이를 통해 엔비디아 AI 플랫폼으로 모델을 훈련하고 구축할 수 있는 새로운 기능을 제공한다.

1,760억 개의 파라미터(parameter)를 가진 세계 최대 오픈 사이언스, 오픈 액세스 다국어 언어 모델인 블룸(BLOOM)은 최근 엔비디아 AI 플랫폼에서 훈련돼 46개 언어와 13개 프로그래밍 언어로 텍스트 생성을 가능하게 했다. 또한 엔비디아 AI 플랫폼은 5,300억 개의 파라미터를 포함하는 가장 강력한 변환기 언어 모델인 메가트론-튜링 NLG 모델(MT-NLG)을 지원한다.

LLM은 텍스트에서 학습하는 최대 수조 개의 파라미터를 포함하는 오늘날 가장 중요한 첨단 기술 중 하나다. 하지만 이를 개발하려면 심층적인 기술 전문 지식, 분산된 인프라, 전체 스택 접근 방식이 필요해 비용과 시간이 많이 든다.

그러나 실시간 콘텐츠 생성, 텍스트 요약, 고객 서비스 챗봇, 대화형 AI 인터페이스를 위한 질문과 답변을 발전시키는 데 있어 큰 이점을 갖는다.

AI 커뮤니티는 LLM을 발전시키기 위해 메가트론(Megatron)-LM, 에이펙스(Apex), 그리고 기타 GPU 가속 라이브러리를 포함하는 엔비디아 AI 플랫폼을 기반으로 하는 마이크로소프트 딥스피드(Microsoft DeepSpeed), Colossal-AI, 허깅 페이스 빅사이언스(Hugging Face BigScience), 페어스케일(Fairscale) 같은 도구의 혁신을 이어가고 있다.

엔비디아는 오늘날 엔비디아 AI 플랫폼에 대한 새로운 최적화를 통해 스택 전체에서 기존의 많은 문제점을 해결하며, AI 커뮤니티와 협력해 모든 사람이 LLM의 기능에 액세스할 수 있기를 기대하고 있다.

 

네모 메가트론의 최신 업데이트는 220억에서 1조 파라미터에 이르는 크기의 GPT-3 모델 훈련 속도를 30% 향상시킨다. 이는 1,024개의 엔비디아 A100 GPU를 사용해 1,750억 개의 파라미터 모델에 대한 훈련을 24일 만에 수행하도록 한다. 즉, 결과 도출 시간을 10일 또는 GPU 컴퓨팅 시간으로 약 250,000 시간 단축할 수 있다.

네모 메가트론은 빠르고 효율적이며 사용하기 쉬운 엔드 투 엔드 컨테이너형 프레임워크이다. 데이터 수집, 대규모 모델 훈련, 업계 표준 벤치마크에 대한 모델 평가, 지연 시간(레이턴시)과 처리량 성능에 대한 최첨단 추론이 가능하다.

이를 통해 LLM 훈련과 추론을 다양한 GPU 클러스터 구성에서 쉽게 재현할 수 있다. 현재 얼리 액세스 고객에게 엔비디아 DGX 슈퍼POD(SuperPOD), 엔비디아 DGX 파운드리(Foundry), 마이크로소프트 애저(Microsoft Azure) 클라우드 플랫폼을 제공한다. 또한 다른 클라우드 플랫폼에 대한 지원도 제공될 예정이다.

더불어 사용자에게 엔비디아 가속 인프라의 실습 랩 카탈로그에 대한 단기 액세스를 제공하는 무료 프로그램인 엔비디아 런치패드(LaunchPad)에서 기능을 체험할 수 있다.

LLM 훈련을 최적화하고 확장하는 업데이트에 포함된 두 가지 새로운 기술은 시퀀스 병렬화(SP)와 선택적 활성화 재계산(SAR)이다.

시퀀스 병렬화(SP)는 이전에 병렬화 되지 않은 변환기 레이어의 영역이 시퀀스 차원을 따라 독립적이라는 점을 인식해 텐서 수준 모델 병렬화를 확장한다.

시퀀스 차원을 따라 이러한 레이어를 분할함으로써 텐서 병렬 장치 전반에 걸쳐 컴퓨팅 및 가장 중요한 활성화 메모리를 분산할 수 있다. 활성화가 분산되므로 재계산 대신 역방향 패스에 대해 더 많은 활성화를 저장할 수 있다.

 

LLM을 위한 엔비디아 AI 플랫폼의 최신 업데이트는 여기에서 확인할 수 있다. 또한 기업은 엔비디아 런치패드에서 네모 메가트론을 무료로 사용해 볼 수 있다.

  태그(Tag)  : 엔비디아, 인공지능
관련 기사 보기
[영상] 한국이 IT강국으로 발전할 수 있던 이유?,SSamJang 이기석이 광고하던 그때 [PC흥망사 1-3]
[영상] 인텔 | 애플 | 엔비디아 | AMD | ARM, 각 진영의 해결과제 [반도체 전쟁 1-2]
[영상] 인텔, AMD, 엔비디아, 애플, ARM 전쟁의 서막, 이제는 원칩의 시대 [반도체 전쟁 1-1]
[영상] 인텔 그래픽카드의 부활? ARC 이전의 흑역사는? [인텔 그래픽카드 1부]
[칼럼] 안정화된 그래픽카드 시장,PC 업그레이드 드디어 해보나?
[벤치] 조금씩 안정화되가는 플래그십 그래픽카드, 현 시점에선 어떤 모델을 선택할까?
태그(Tags) : 엔비디아, 인공지능     관련기사 더보기
편집부 / 편집부님에게 문의하기 press@bodnara.co.kr
이기사와 사진은 업체에서 제공받은 보도자료와 사진으로, 보드나라의 논조와는 다르다는 점을 알려드립니다.
싸이월드 공감 기사링크 퍼가기 기사내용 퍼가기 이 기사를 하나의 페이지로 묶어 볼 수 있습니다. 출력도 가능합니다.
홈으로 탑으로
보드나라 많이본 기사
메타크래프트 웹소설 플랫폼 ‘노벨피아’, 웹소설 불법 유통 대응 현황 발표
밸브, 스팀 덱 OS 베타 업데이트.. 성능 저하 문제 수정
HTC, 가상 프로덕션 솔루션 VIVE Mars CamTrack 출시.. 한국도 출시 예정
애플, 스피커 문제 해결을 위해 스튜디오 디스플레이 펌웨어 15.5 출시
8코어 CPU 시대 연 라이젠 7 1800X, 6년 접어든 업그레이드 선택은?
엔트리 CPU 쓴 사무용 PC에 작별을, 이제는 코어 i5급의 시대
게임 때문에 PC를 바꿨어요, (feat. 원숭이 섬의 비밀 | 인디아나 존스) [고전게임 1부]
넷기어 뮤럴 디지털 캔버스로 만나는, 오프노드 스페이스 디지털 작품 전시회
   이 기사의 의견 보기
트위터 베타서비스 개시! 최신 PC/IT 소식을 트위터를 통해 확인하세요 @bodnara

기자의 시각이 항상 옳은것은 아닙니다. 나머지는 여러분들이 채워 주십시요.

2014년부터 어려운 이야기를 쉽게 하는 것으로 편집방침을 바꿉니다.
닉네임 웹봇방지

홈으로 탑으로
 
 
2022년 08월
주간 히트 랭킹

[결과발표] 2022년 2분기 포인트 소진 로또 25
[결과발표] 2022년 1분기 포인트 소진 로또 33
보드나라 컨텐츠 제작자/기자 채용 공고
[최종 결과발표] 2021년 4분기 포인트 소진 31
[결과발표] [20주년 기념] 씨게이트 퀴즈 10

실시간 댓글
소셜 네트워크