AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 AT&T와 운영 혁신과 지속가능성 강화를 위해 협력을 맺었다고 밝혔다. AT&T는 엔비디아 기반 AI를 통해 데이터 처리와 서비스 차량 라우팅(routing) 최적화를 달성하고, 직원 지원 및 교육을 위한 디지털 아바타를 생성할 예정이다.
AT&T는 통신 사업자 최초로 엔비디아 AI 제품군 전체를 채택했다. 아파치 스파크(Apache Spark)용 엔비디아 래피즈 가속기(RAPIDS Accelerator)가 포함된 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 제품군으로 데이터 처리를 개선하고, 엔비디아 쿠업트(cuOpt)를 통해 실시간 차량 경로 설정과 최적화를 지원하며, 엔비디아 옴니버스 아바타 클라우드 엔진(Omniverse Avatar Cloud Engine)과 엔비디아 토키오(Tokkio)로 디지털 아바타를 도입하고, 엔비디아 리바(Riva)로 대화형 AI를 활용한다.
AT&T의 앤디 마커스(Andy Markus) 최고 데이터 관리자는 “운영 환경에서 무공해(zero emission)를 추구하면서 가장 효율적인 글로벌 네트워크를 제공하고자 노력하고 있다. 엔비디아와의 협업으로 비즈니스 전반에 AI 솔루션을 확대해 직원과 고객 모두의 경험 개선에 기여할 것”이라고 설명했다.
엔비디아의 마누비르 다스(Manuvir Das) 엔터프라이즈 컴퓨팅 부문 부사장은 “오늘날 산업계는 챗봇, 추천 엔진, 데이터 최적화용 가속 라이브러리로 AI 기반 혁신을 창출하는 새 시대를 맞이하고 있다. 엔비디아와 협업을 통해 AT&T는 데이터 마이닝을 개선하고, AI 기반 통신기업으로 발돋움할 새로운 서비스 및 솔루션 개발에 박차를 가하게 될 것이다”라고 말했다.
데이터 딜레마
AT&T는 2035년까지 탄소 중립을 실현하겠다고 밝혔고 운영 효율 강화를 위해 광범위한 이니셔티브를 시작했다. 주요 과제는 에너지 소비를 최적화하는 동시에 고속으로 데이터를 전달하는 네트워크 인프라를 제공하는 것이다.
AT&T는 하루 평균 590페타바이트(PB) 이상의 데이터를 처리한다. 이는 4K 영화 650만 편, 또는 미국의회도서관의 장서를 디지털화했을 때 생성되는 전체 콘텐츠의 8배 이상에 해당하는 용량이다.
에너지 소비 절감을 목표로 하는 통신사들은 운영 전반에서 난관에 직면해 있다. 모바일 산업 트레이딩 그룹인 GSMA에 따르면 네트워크 내에서는 무선 액세스 네트워크(RAN)가 73%의 에너지를 소비하며, 코어망 서비스, 데이터센터, 운영 부문이 각각 13%와 9%, 5%의 에너지를 사용한다.
AT&T는 먼저 아파치 스파크용 엔비디아 래피즈 가속기를 도입해 자사 AI 와 데이터 사이언스 파이프라인 전반에서 에너지 효율이 높은 GPU를 활용했다. 이를 바탕으로 AI 모델의 훈련, 네트워크 품질의 유지/최적화, 고객 이탈 절감, 사기 탐지 등 모든 측면에서 운영 효율을 높일 수 있었다.
AT&T는 아파치 스파크와 엔비디아 래피즈를 통해 데이터와 AI 파이프라인에서 클라우드 컴퓨팅 비용의 절반을 절약하고 성능을 가속화함과 동시에 탄소 발자국은 줄이고 있다.
현장 파견 서비스 강화
AT&T는 최대 규모의 현장 파견 서비스를 운영하고 있다. 현재 전문기사의 보다 복잡한 동선 처리와 최적화 문제를 해결하기 위해 엔비디아 쿠업트 소프트웨어를 테스트하고 있다.
라우팅에는 교통, 기상 상태, 고객의 계획 변경, 전문기사의 기술 수준 등 다양한 요소를 고려해야 하므로 수조 건의 연산이 필요하며, 복잡한 작업의 경우에는 추가적인 배차가 요구되기도 한다.
초기 테스트에서 쿠업트는 10초 만에 솔루션을 제공한 반면, x86 CPU에서는 동일한 연산에 1,000초가 소요됐다. 쿠업트 사용 시 클라우드 비용의 40%를 절감하고 전문기사가 하루당 수행할 수 있는 출장 서비스의 건수가 늘어났다. AT&T는 엔비디아 쿠업트를 통해 로컬 검색 휴리스틱(heuristics) 알고리즘 및 타부(Tabu) 검색 등 메타 휴리스틱과 엔비디자 래피즈를 결합할 수 있다. 이로써 파견 최적화 소프트웨어를 최소한의 딜레이로 실행할 수 있다.
고객 만족, 네트워크 설계 가속화
AT&T는 15만 명이 넘는 직원의 생산성을 개선하기 위한 노력의 일환으로 클라우드 네이티브 AI 마이크로서비스, 워크플로우 및 애플리케이션 프레임워크인 엔비디아 옴니버스 ACE와 엔비디아 토키오 도입을 계획하고 있다. 이를 기반으로 보고, 인식하고, 똑똑하게 대화하고 추천을 제공해 고객 경험을 증진하는 인터랙티브 아바타의 구축과 커스터마이징, 배포를 지원받을 예정이다.
대화형 AI의 경우 엔비디아 리바 소프트웨어 개발 키트를 사용하고 있으며, 디지털 트윈 및 생성형 AI를 고객 서비스와 운영에 활용하는 여러 사례도 검토 중이다.
AT&T는 또한 빠른 5G와 광섬유 네트워크를 이용해 엔비디아 지포스 나우(GeForce NOW) 클라우드 게이밍을 모바일에서는 초당 120프레임, 가정에서는 240 FPS로 제공한다.
[영상] 엔비디아에 대응하는 인텔 가우디3/AMD MI300/범클라우드 진영의 NPU/,그리고 AI 하드웨어 개발 흐름과 추세는? 
