퀄컴(Qualcomm)이 생성형 AI를 위한 새로운 추론 카드를 발표했다.
퀄컴은 13일(현지시간) 공식 블로그를 통해 생성 AI 및 대규모 언어 모델(LLM)을 위해 특별히 제작된 클라우드 AI 추론 카드 포트폴리오의 새로운 구성원인 '퀄컴 클라우드 AI 100 울트라(Qualcomm Cloud AI 100 Ultra)'를 선보였다.
퀄컴 클라우드 AI 100 울트라는 퀄컴이 업계 최고의 AI 코어를 사용하여 이전 세대보다 최대 4배 향상된 성능을 제공하여 총 소유 비용(TCO)에 대해 동급 최고 성능을 제공한다.
단일 150W 카드에서 1,000억 개의 매개변수 모델을 지원할 수 있고, 2개의 카드로 1,750억 개의 매개변수 모델을 지원할 수 있으며, 퀄컴 AI 스택(Qualcomm AI Stack) 및 클라우드 AI 소프트웨어 개발킷(Cloud AI SDK)를 사용하는 여러 퀄컴 클라우드 AI 100 울트라 카드를 통해 더 큰 모델을 지원할 수 있다.
퀄컴 클라우드 AI 100 울트라는 프로그래밍 가능한 AI 가속기로 AI 기술 및 데이터 형식의 최신 발전을 지원할 수 있으며, 고객이 어디에서나 훈련하고 추론할 수 있도록 하는 퀄컴 AI 스택을 활용하여 모델 포팅 및 최적화 프로세스를 지원한다.
퀄컴은 HPE(Hewlett Packard Enterprise)에서 자연어 처리(NLP)를 포함한 가속기 최적화 생성 AI 워크로드용으로 설계된 HPE ProLiant DL380a Gen 11 서버를 통해 퀄컴 클라우드 AI 100 울트라를 지원할 예정이라고 설명했다.
|
[영상] 24년 하드웨어 전문기자가 바라는 새정부의 소버린 AI 정책의 방향, 칩부터 모델링 산업융합까지 우리 것으로 
