무선 커넥티비티와 스마트 센싱 기술 및 맞춤형 시스템온칩(SoC) 솔루션의 라이선스 기업인 CEVA가 향상된 NeuPro-M(뉴프로-M) NPU를 출시했다고 10일 밝혔다.
NeuPro-M NPU는 클라우드에서 에지까지 모든 AI 추론 워크로드에 업계 최고의 성능과 전력 효율성을 바탕으로 차세대 생성형 AI(Generative AI)의 요구 사항을 충족시킨다. NeuPro-M NPU 아키텍처 및 툴은 합성곱 신경망(CNN, Convolution Neural Network)과 기타 네트워크 외에도 트랜스포머 네트워크(transformer network)와 미래의 머신러닝 추론 모델을 지원할 수 있도록 재설계됐다. 이를 통해 NeuPro-M NPU는 통신 게이트웨이(communication gateway), 광학 네트워크, 자동차, 노트북 및 태블릿, AR/VR 헤드셋, 스마트폰 및 기타 클라우드 또는 에지 환경에서 생성형과 기존 AI의 기능을 최적화한 애플리케이션을 원활하게 개발하고 실행할 수 있다.
ABI 리서치는 에지 AI 출하량이 2023년 24억 개에서 2028년 65억 개로 연평균 성장률(CAGR)이 22.4%*로 증가할 것으로 예측했다. 생성형 AI는 이러한 성장을 뒷받침하는 핵심적인 역할을 할 것으로 예상되며, 더욱 정교하고 지능적인 에지 애플리케이션은 더 강력하고 효율적인 AI 추론 기술을 요구하고 있다. 특히 생성형 AI에 사용되는 대규모 언어 모델(LLM)과 비전(vision) 및 오디오 변환기는 제품과 산업을 혁신할 수는 있지만, 에지 디바이스 실행 시 성능, 전력, 비용, 레이턴시 및 메모리 측면에서 새로운 문제를 야기한다.
추론 및 모델링 기술의 발전을 통해, 에지 디바이스 수준에서 작동하는 소규모 도메인 특화 LLM, 비전 트랜스포머(vision transformer) 및 기타 생성형 AI 모델을 활용하는 새로운 기능들이 인프라, 산업, 모바일, 소비자, 자동차, PC 및 모바일 시장의 애플리케이션을 혁신하고 있다. 향상된 NeuPro-M 아키텍처는 통합 벡터 프로세싱 유닛(VPU, Vector Processing Unit)는 다양한 용도에 사용될 수 있으며, 미래에 개발될 네트워크 계층을 지원할 수 있다. 또한, 모든 활성화(activation)와 데이터 흐름을 지원하며, 데이터와 가중치(weight)의 실제 스파시티(true sparsity)를 통해 최대 4배의 성능 가속화가 가능하다. 소비자는 단일 NPU 제품으로 다양한 애플리케이션과 시장에 대응할 수도 있다. NeuPro-M은 다양한 AI 시장에서 요구되는 확장성을 높이기 위해 새로운 NPM12 및 NPM14 NPU 제품을 추가하여 각각 두 개와 네 개의 NeuPro-M 엔진을 포함시켰다. 따라서 고성능 AI 워크로드로 쉽게 마이그레이션이 가능해졌으며, 현재는 NPM11, NPM12, NPM14 및 NPM18 총 네 개의 NPU제품군으로 구성됐다. NeuPro-M은 현재 업계에서 가장 우수한 성능과 전력 효율성을 갖춘 선도적인 NPU IP이다. 3nm 프로세스 노드에서 350 TOPS/와트의 최고 성능을 발휘하며, 트랜스포머 기반 LLM 추론 작업에서 초당 1.5백만 개 이상의 토큰 처리가 가능하다.
향상된 NeuPro-M 아키텍처는 NeuPro-M 병렬 처리 엔진을 완전하게 활용하고 소비자의 AI 애플리케이션 성능 극대화를 위해 아키텍처를 인식하는 CEVA의 네트워크 AI 컴파일러 CDNN을 기반으로 한 혁신적인 종합 개발 툴 체인을 통해서 지원된다. CDNN 소프트웨어에는 메모리 대역폭 최적화와 최적의 로드 밸런싱 알고리즘을 위한 메모리 매니저가 포함되어 있으며, TVM 및 ONNX를 비롯한 일반적인 오픈 소스 프레임워크와 호환된다.
한편, NPM11 NPU IP는 현재 일반 기업 대상으로 라이선스 사용이 가능하며, NPM12, NPM14 및 NPM18은 선두업체 대상으로 라이선스 사용이 가능하다. 보다 자세한 내용은 홈페이지에서 확인 가능하다.
[영상] NVIDIA 젠슨황과 TSMC 모리스창, 이들이 대만의 대표 국민영웅이 된 이유는? 
