AMD가 기존 서버 환경에 바로 장착 가능한 PCIe 형태의 AI 가속기 ‘AMD Instinct MI350P’를 공개했다.
이번 제품은 대규모 수랭 AI 서버나 전용 랙 인프라 없이도 생성형 AI와 에이전트 AI 워크로드를 구축할 수 있도록 설계된 것이 특징으로, PCIe 5.0 인터페이스의 듀얼 슬롯 형태로 제공되는 Instinct MI350P는 기존 공랭식 서버에도 비교적 쉽게 탑재할 수 있어, 보다 범용적인 엔터프라이즈 환경을 겨냥한 제품이다.
AMD Instinct MI350P는 4세대 CDNA 아키텍처 기반으로 설계됐으며, 최대 288GB HBM3E 메모리와 최대 8TB/s 메모리 대역폭을 지원한다. AMD는 이를 통해 이전 세대 MI300X 대비 최대 4배 수준의 AI 연산 성능과 최대 35배 수준의 추론 성능 향상을 제공한다고 설명했다.
특히 FP8과 MXFP8, MXFP4 같은 저정밀 AI 연산 포맷을 지원하며, INT8 및 BF16 기반 추론에서도 희소성(Sparsity) 가속 기능을 활용할 수 있는 것이 특징이다. AMD는 이를 통해 생성형 AI와 LLM 추론 환경에서 메모리 사용량과 전력 소모를 줄이면서 높은 처리량을 확보할 수 있다고 강조했다.
소프트웨어 측면에서는 ROCm 기반 오픈소스 AI 스택을 함께 제공한다. AMD는 별도 라이선스 비용 없이 AI 프레임워크와 모델 지원을 제공하며, 기존 AI 파이프라인과 코드 수정 없이 연동 가능한 점을 주요 강점으로 내세웠다. 또한 Kubernetes 기반 GPU Operator와 주요 AI 프레임워크 지원을 통해 엔터프라이즈 환경에서의 배포 편의성도 강화했다고 설명했다.
|
[영상] 비싼 메모리 시대에 램버스 실패로 알아보는, AI 시대 메모리 확보 전쟁의 끝은? [PC흥망사 17-2] 
