소니는 보도자료를 통해 세계 최초 인공지능(AI) 처리 기능을 탑재한 지능형 비전 센서 2종류를 상품화한다고 밝혔다.
신제품은 이미지 센서에 AI 처리 기능을 탑재하여 빠른 엣지 AI 처리를 가능하게 하고 필요한 데이터만을 추출하여 클라우드 서비스 이용시 데이터 전송 지연 시간 감소, 개인 정보 관리, 그리고 소비 전력 및 통신 비용을 절감할 수 있는 것이 특징이다.
적층 구조를 이용해 화소(픽셀) 칩과 로직 칩을 쌓고 로직 칩에 AI에 의한 이미지 해석 처리 기능을 지원한다. 화소 칩에서 얻은 신호를 센서에서 AI 처리할 수 있는 별도의 고성능 프로세서와 외부 메모리를 필요로 하지 않고 엣지 AI 시스템을 구현할 수 있다.
화소 칩에는 약 1,230만 유효 화소의 이면조사형 이미지 센서를 배치하고 광시야각으로 정보를 파악할 수 있다. 로직 칩은 일반 이미지 센서의 신호 처리 회로 뿐만 아니라 AI에 특화된 신호 처리를 담당하는 소니 고유의 DSP(Digital Signal Processor)와 AI 모델을 쓸 수 있는 메모리를 탑재한다.
화소 칩에서 얻은 신호를 로직 칩에서 처리하는 과정에서 ISP(Image Signal Processor) 처리 및 AI 처리를 함으로써 대상물을 메타 데이터로 출력하고 취급하는 데이터 용량을 줄일 수 있다. 또한 이미지 정보 출력시 보안 위험을 줄이고 개인 정보 보호를 위해 사용자의 필요와 용도에 따라 출력 데이터 형식을 선택할 수 있다.
일반 이미지 센서로 동영상을 촬영하는 경우 출력된 개별 프레임마다 AI 처리에 연결해야 하므로 데이터 전송이 많아지면서 실시간으로 사용하기 어려웠지만, 신제품은 로직 칩에서 ISP 처리 및 빠른 AI 처리를 실시해 한 프레임 내에 모든 처리가 완료된다. 따라서 동영상을 촬영하면서 대상물의 정확한 실시간 추적이 가능해진다.
AI 탑재 지능형 비전 센서는 1/2.3형(7.857mm) 크기에 약 1,230만 유효화소를 가졌으며 4K (4056x2288) 60fps 및 1080p 240fps 비디오 촬영이 가능하지만 Full/Video + AI 처리 및 메타 데이터 출력은 30fps까지 지원한다.
패키지 제품인 IMX501과 베어 칩 제품인 IMX500으로 출시되며 베어 칩은 현재 샘플 출하 중이고 패키지 제품은 6월부터 샘플 출하에 들어간다.
[영상] NVIDIA RTX SPARK는 인텔과 AMD의 X86 노트북 시장을, AI를 무기로 정복할 수 있을까? 
