뉴스
 








 
 
 




메인
전송 2024-02-23 09:58
[뉴스/보도자료]

엔비디아, 구글과 협력해 AI 모델 젬마 최적화

엔비디아가 구글(Google)과 협력해 모든 엔비디아(NVIDIA) AI 플랫폼에서 AI 모델 젬마(Gemma)를 위한 최적화를 실시했다고 밝혔다. 이를 통해 비용을 절감하고 도메인별 용도에 따라 작업 속도를 혁신적으로 높였다.

 

어디서나 실행 가능한 젬마는 구글의 새로운 경량 오픈 언어 모델로, 20억(2B) 파라미터와 70억(7B) 파라미터 크기로 제공된다.

젬마는 구글의 멀티모달 모델인 제미나이(Gemini) 개발에 사용된 동일한 연구와 기술을 기반으로 구축됐다. 엔비디아는 구글과 긴밀히 협력해 엔비디아 텐서RT-LLM(TensorRT-LLM)으로 젬마의 성능을 가속화했다. 텐서RT-LLM은 데이터센터, 클라우드 혹은 엔비디아 RTX GPU가 탑재된 PC에서 대규모 언어 모델(LLM) 추론을 최적화하는 오픈 소스 라이브러리이다.

이를 통해 개발자는 전 세계 고성능 AI PC에 탑재된 1억 개 이상의 엔비디아 RTX GPU를 활용할 수 있다.

개발자들은 클라우드 상의 엔비디아 GPU에서도 젬마를 실행할 수 있다. 여기에는 H100 텐서 코어(H100 Tensor Core) GPU를 기반으로 하는 구글 클라우드 A3인스턴스(A3 instances)가 포함되며, 초당 4.8테라바이트의 141GB HBM3e 메모리를 갖춘 엔비디아 H200 텐서 코어 GPU도 합류할 예정이다. 구글은 올해 안에 이를 배포할 예정이라고 전했다.

엔비디아는 네모 프레임워크(NeMo Framework)가 적용된 엔비디아 AI 엔터프라이즈(AI Enterprise)와 텐서RT-LLM을 비롯한 광범위한 도구를 갖추고 있다. 엔터프라이즈 개발자들은 이들을 추가로 활용해 젬마를 미세 조정하고 최적화된 모델을 프로덕션 애플리케이션에 배포할 수 있다.

여기에서 개발자를 위한 추가 정보와 함께 텐서RT-LLM이 젬마의 추론을 개선하는 방법에 대해 자세히 알아볼 수 있다. 여기에는 젬마의 여러 모델 체크포인트와 FP8 정량화 버전 모델이 포함되며 모두 텐서RT-LLM으로 최적화돼 있다.

또한, 엔비디아 AI 플레이그라운드(AI Playground)를 통해 브라우저에서 직접 젬마 2B와 젬마 7B를 체험해 볼 수 있다.

엔비디아 기술 데모인 챗 위드 RTX에 곧 젬마가 추가로 지원될 예정이다. 챗 위드 RTX는 검색 증강 생성(Retrieval-augmented generation, RAG)과 텐서RT-LLM 소프트웨어를 사용해 로컬 RTX 기반 윈도우(Windows) PC에서 사용자에게 생성형 AI 기능을 제공하는 기술이다.

사용자는 챗 위드 RTX를 통해 PC의 로컬 파일을 LLM에 쉽게 연결하고 자신의 데이터로 챗봇을 개인화 할 수 있다.

챗 위드 RTX는 로컬에서 모델이 실행되므로 결과가 빠르게 제공되며 사용자 데이터가 디바이스에 유지된다. 클라우드 기반 LLM 서비스에 대신 챗 위드 RTX를 사용하면 민감한 데이터를 제3자와 공유하거나 인터넷에 연결할 필요 없이 로컬 PC에서 처리할 수 있다.

  태그(Tag)  : 엔비디아, 구글, 인공지능
관련 기사 보기
[영상] 누구나 쉽게 이해하는 엔비디아 블랙웰 B200/GB200/GB200 NVL72,(PC조립 한번이라도 해보았다면)
[영상] 올해는 한국도 라데온 뜬다!, AMD 본사 책임자가 생각하는 한국시장과 라데온
[영상] 인텔 애로우레이크/루나레이크 출시 확정,라데온 AFMF와 가격인하/가짜 RTX4090 그리고 감스트라다무스...?
[영상] 2024년 PC 시장 전망, 누가 제일 밝을까?
[영상] [2023년 PC시장 결산],인텔 / 엔비디아 / AMD / 보드나라 let's go.
[영상] AMD 8000G GPU 성능 유출과 윈도우12 예고,예열되는 X86 VS ARM CPU 전쟁 관련 추가 뉴스
태그(Tags) : 엔비디아, 구글, 인공지능     관련기사 더보기
편집부 / 편집부님에게 문의하기 press@bodnara.co.kr
이기사와 사진은 업체에서 제공받은 보도자료와 사진으로, 보드나라의 논조와는 다르다는 점을 알려드립니다.
싸이월드 공감 기사링크 퍼가기 기사내용 퍼가기 이 기사를 하나의 페이지로 묶어 볼 수 있습니다. 출력도 가능합니다.
홈으로 탑으로
보드나라 많이본 기사
FUNKEYS, 풀알루미늄 하우징 기계식 키보드, LEOBOG Hi75 우주비행사 출시
MS, 윈도우 11 24H2서 구버전 UI 커스텀 유틸 차단?
AMD 라이젠 7 8700F와 라이젠 5 8400F 성능 유출
엔비디아 지포스 RTX 5090과 RTX 5080, 올해 4분기 출시?
USB 3.2 Gen2x2 최고 가성비 외장 SSD, ADATA Elite SE880 1TB
USB로 어디서나 쓰는 와이파이 6E, ipTIME AX5400UA 6E
느낌까지 시원하다, 기가바이트 지포스 RTX 4070 Ti Super Eagle OC Ice 제이씨현
AMD 라이젠과 RTX 4060 조합 게이밍 노트북, MSI 씬 A15 B7VF-R7
   이 기사의 의견 보기
트위터 베타서비스 개시! 최신 PC/IT 소식을 트위터를 통해 확인하세요 @bodnara

기자의 시각이 항상 옳은것은 아닙니다. 나머지는 여러분들이 채워 주십시요.

2014년부터 어려운 이야기를 쉽게 하는 것으로 편집방침을 바꿉니다.
닉네임 웹봇방지

홈으로 탑으로
 
 
2024년 04월
주간 히트 랭킹

[결과발표] 2024년 1분기 포인트 소진 로또 14
[결과발표] 2023년 4분기 포인트 소진 로또 23
[결과발표] 2023년 3분기 포인트 소진 로또 16
[결과발표] 2023년 2분기 포인트 소진 로또 18
[결과발표] 2023년 1분기 포인트 소진 로또 15

실시간 댓글
소셜 네트워크