엔비디아(CEO 젠슨 황)는 미 우편국(USPS)이 우편업무 혁신을 위해 엔비디아 EGX 플랫폼 기반의 엣지(edge) AI 시스템을 구축했다고 밝혔다. 우편국은 이를 통해 1,000개 이상의 메일 처리기계에서 하루에 20테라바이트(TB) 규모의 이미지를 처리하고 있다.
2019년 USPS는 1억 개가 넘는 일일 우편물의 품목을 확인하고 추적해야 했다. USPS AI 설계자인 라이언 심슨(Ryan Simpson)은 내부에서 개발하고 있던 이미지 분석 시스템을 훨씬 더 광범위하게 확장하고자 했다. 그는 USPS 우편물 처리센터에 전략적으로 배치된 엣지 AI 서버를 통해 각 센터가 생성하는 수십억 개의 이미지를 분석할 수 있다고 판단했다.
데이터 사이언티스트, 엔비디아 설계자 6명 등을 포함한 작업자들이 3주 동안 딥 러닝 모델을 빠르게 설계했다. 이 작업을 통해 엔비디아 EGX 플랫폼으로 가동되고 있는 분산형 엣지 AI 시스템인 엣지 컴퓨팅 인프라 프로그램(ECIP)을 구축했다.
ECIP는 마치 자동화된 눈처럼 작동하는 두 번째 애플리케이션을 구동하고 있으며, 이는 비즈니스 요구사항에 맞게 우편물을 추적하고 있다.
컴퓨터 비전작업은 800개의 CPU가 있는 서버 네트워크로 작업시 2주가 소요됐다. HPE 아폴로(Apollo) 6500 서버에는 4개의 엔비디아 V100 텐서(Tensor) 코어 GPU가 장착되어 있는데, 이는 20분 안으로 작업 시간을 단축한다.
오늘날 각 엣지 서버는 1,000개가 넘는 매일 처리기계에서 하루에 20TB의 이미지를 처리한다. 엔비디아 오픈소스 소프트웨어인 트리톤 추론 서버(Triton Inference Server)는 필요한 상황에 맞게 195개의 엣지 시스템에 AI 모델을 제공한다.
USPS는 추가적으로 이미징 워크플로우를 간소화하기 위해 광학적문자판독(OCR)을 사용하는 애플리케이션이 필요했다.
이제 OCR은 쿠버네티스(Kubernetes)에서 관리되고, 트리톤 추론 서버를 활용하는 ECIP 컨테이너의 딥러닝 모델로 처리될 것이다. 이와 같은 시스템을 통해 코로나19 팬데믹 초기 몇 주 동안 ECIP를 원활하게 구축할 수 있었다. 운영자들은 컨테이너를 통해 다른 시스템이 제공되고 있을 때 첫 번째 시스템을 실행하고, 전체 네트워크가 설치될 때 컨테이너를 업데이트했다.
USPS 엔지니어링 시설에 있는 엔비디아 DGX 서버에서 AI 알고리즘이 개발됐다.
ECIP의 트리톤 추론 서버는 서로 다른 버전의 GPU와 CPU를 통해 각각의 딥러닝 프레임워크를 지원하는 시스템을 위한 AI 모델의 전달을 자동화한다. 이는 거의 200대에 달하는 분산형 서버의 ECIP 네트워크와 같은 엣지 AI 시스템의 시간을 절약할 수 있다.
우편 항목을 확인하는 애플리케이션만 하더라도, 각각 특정 기능을 확인하는 6개 이상의 딥러닝 모델의 작업을 조정해야 한다. 더불어, 앞으로 더 많은 기능을 가능케 하는 추가적인 모델을 통해 앱이 더욱 개선될 전망이다.
지금까지 USPS는 엔터프라이즈 애널리틱스 부서에서 재무 및 마케팅 부서에 이르기까지 전반적으로 ECIP를 위한 약 30개의 애플리케이션에 대해 아이디어를 제시했다. 올해 해당 애플리케이션 중 몇 개를 설치하고 실행하게 되길 희망하고 있으며, 그 중 하나는 각 소포의 규격, 무게 및 목적지에 알맞은 우편 요금이 적용됐는지 자동으로 확인하는 애플리케이션이다. 다른 하나는 손상된 바코드를 해석하는 애플리케이션이며, 빠르면 올 여름에 온라인으로 이용할 수 있다.
|
[영상] 엔비디아에 대응하는 인텔 가우디3/AMD MI300/범클라우드 진영의 NPU/,그리고 AI 하드웨어 개발 흐름과 추세는? 
