AI 컴퓨팅 기술 분야의 선두주자인 엔비디아가 영상 검색과 요약(Video search and summarization, VSS)을 위한 AI 블루프린트(AI Blueprint)를 공개했다고 밝혔다. 이 블루프린트는 엔비디아 메트로폴리스(NVIDIA Metropolis) 플랫폼을 기반으로 영상 분석 AI 에이전트 개발을 가속화할 것으로 기대된다.
영상은 전 세계 데이터 트래픽의 50% 이상을 차지하며 현대 디지털 환경의 핵심 요소 중 하나로 자리 잡고 있다. 미디어 분야에서 압도적인 위치를 차지하며, 다양한 산업에서 점점 더 중요한 역할을 하고 있는 영상은 세계적으로 가장 방대하고 널리 사용되는 데이터 소스 중 하나이다. 하지만 인사이트를 도출하기 위해 분석되는 영상은 그 중 1%도 되지 않는다.
에너지, 자동차, 전자 등을 포함한 물리적 산업은 전 세계 GDP의 거의 절반을 차지하고 있다. 노동력 부족, 제조업의 온쇼어링(onshoring), 자동화에 대한 수요 증가로 인해 영상 분석 AI 에이전트는 그 어느 때보다도 중요한 역할을 수행하며 물리적 세계와 디지털 세계의 연결에 기여할 것으로 보인다.
엔비디아는 이러한 에이전트 개발을 가속화하기 위해 엔비디아 메트로폴리스 플랫폼 기반의 VSS 블루프린트를 일반 공개했다. 이는 개발자에게 방대한 양의 실시간 영상과 아카이브된 영상 분석에 필요한 고성능 AI 에이전트를 생성하고 배포할 수 있는 도구를 제공한다.
비전 언어 모델(Vision Language Model, VLM) 기반의 비전 AI 에이전트와 생산성 지원 솔루션이 빠르게 등장하고 있다. 강력한 컴퓨터 비전 모델과 초지능형 거대 언어 모델(Large Language Model, LLM) 기술을 결합한 영상 분석 AI 에이전트는 기업이 방대한 영상 데이터를 손쉽게 탐색, 검색, 요약할 수 있도록 지원한다. 또한, 실시간으로 영상을 분석하거나 테라바이트급의 녹화된 영상을 검토함으로써 다양한 주요 산업에서 전례 없는 가치와 기회를 창출하고 있다.
제조업체와 물류 센터는 AI 에이전트를 활용해 작업자 안전과 생산성을 높이고 있다. 예를 들어 지게차의 이동 경로를 최적화하거나 작업자의 위치를 효율적으로 조정할 수 있다. 스마트 시티는 영상 분석 AI 에이전트를 통해 교통 혼잡을 줄이고 안전을 향상시키며, 그 외에도 다양한 활용 사례가 계속 확대되고 있다.
다양한 영상 분석 AI 에이전트를 만들기 위한 블루프린트
VSS 블루프린트는 엔비디아 메트로폴리스 플랫폼을 기반으로 구축됐다. 또한, 엔비디아 빌라(VILA), 엔비디아 라마 네모트론(Llama Nemotron), 엔비디아 네모 리트리버(NeMo Retriever), 검색 증강 생성(retrieval-augmented generation, RAG) 등 VLM과 LLM을 통해 강화된다. RAG는 LLM을 기업의 엔터프라이즈 데이터에 연결하는 기술이다.
VSS 블루프린트는 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼을 통합하며, 여기에는 VLM, LLM, RAG용 고급 AI 프레임워크를 위한 엔비디아 NIM 마이크로서비스가 포함된다. 이를 통해 사용자는 영상을 실시간으로 시청하는 것보다 100배 빠르게 요약할 수 있다. 예를 들어, 1시간 분량의 영상을 1분 이내에 텍스트로 요약할 수 있다.
VSS 블루프린트는 우수한 영상 이해, 성능, 확장성을 제공하도록 설계된 여러 가지 강력한 기능을 제공한다.
이번 버전에서는 소규모 워크로드를 위해 단일 엔비디아 A100 또는 H100 GPU에 배포할 수 있는 기능을 비롯한 확장된 하드웨어 지원이 도입돼 리소스 할당에 더 큰 유연성을 제공한다. 또한, VSS 블루프린트는 엔비디아 RTX 6000 PRO와 엔비디아 DGX 스파크(DGX Spark) 컴퓨팅 플랫폼의 엣지에서도 배포할 수 있다.
VSS 블루프린트는 수백 개의 라이브 영상 스트림 또는 버스트 클립을 동시에 처리할 수 있다. 시각적 이해 외에도 오디오 텍스트 변환 기능도 제공한다. 음성을 텍스트로 변환하면 교육 영상, 기조연설 또는 팀 회의 등 오디오가 중요한 상황에서 맥락적 깊이를 더할 수 있다.
영상 분석 AI 에이전트를 도입해 비즈니스 가치를 창출하는 업계 선두주자들
세계적인 제조업체부터 스마트 시티, 스포츠 리그에 이르기까지 다양한 조직이 VSS 블루프린트를 활용해 운영 최적화를 위한 AI 에이전트를 개발하고 있다.
글로벌 전자 제품 제조업체인 페가트론(Pegatron)은 VSS 블루프린트를 활용해 작업 공정을 분석하고, 직원들에게 모범 사례에 대한 교육을 진행한다. 또한 이 블루프린트를 자사의 페가Ai(PEGAAi) 플랫폼에 통합해 조직이 제조 공정 혁신을 위한 AI 에이전트를 구축할 수 있도록 지원한다.
이러한 에이전트는 방대한 양의 영상을 수집하고 분석해 자동 모니터링, 이상 감지, 영상 검색, 사고 보고와 같은 고급 기능을 제공한다. 페가트론의 비주얼 애널리틱스 에이전트(Visual Analytics Agent)는 인쇄회로기판 조립 절차를 이해하고 작업이 올바르게 수행되고 있는지 확인할 수 있다. 이를 통해 페카트론은 현재까지 인건비를 7% 절감하고 결함률을 67% 감소시켰다.
대만의 다른 주요 반도체, 전자 제조업체들도 AI 에이전트와 디지털 트윈을 구축해 기획과 운영 애플리케이션을 최적화하고 있다.
대만 가오슝시는 파트너사인 링커 비전(Linker Vision)이 개발한 통합 스마트 시티 비전 AI 애플리케이션을 통해 사고 대응 시간을 단축하고 있다. 과거에는 폐기물 관리, 교통, 비상 대응과 같은 시 부서들이 분리된 인프라로 인해 중요 정보에 접근할 수 없어 대응 시간이 지연됐었다.
VSS 블루프린트를 기반으로 하는 링커 비전의 AI 기반 애플리케이션은 실시간 영상 분석과 생성형 AI를 결합해 시각적 요소를 감지한다. 또한, 홍수나 교통사고와 같은 복잡한 사건을 이해하고 설명할 수 있다.
링커 비전은 현재 12개 시 부서에 시의적절한 인사이트를 제공하고 있으며, 2026년까지 시내 카메라를 3만 대에서 5만 대 이상으로 확대할 계획이다. 이러한 인사이트는 시 서비스 전반에 걸쳐 향상된 상황 인식과 데이터 기반 의사 결정을 개선하며, 사고 대응 시간을 최대 80% 단축한다.
북미아이스하키리그(NHL)는 VSS 블루프린트와 바스트 인사이트엔진(VAST InsightEngine)을 사용해 비전 AI 워크플로우를 간소화하고 가속화하고 있다. 바스트 인사이트엔진은 방대한 양의 경기 영상을 관리한다.
NHL은 바스트 인사이트엔진을 활용해 페타바이트급 영상을 1초 이내에 검색할 수 있어, 하이라이트와 경기 중 순간을 거의 즉각적으로 추출할 수 있다. AI 기반 에이전트 워크플로우는 영상 콘텐츠를 자동으로 스크랩하고, 태그를 지정하고, 조합해 쉽게 접근하고 사용할 수 있도록 함으로써 콘텐츠 제작 경험을 더욱 향상시킨다.
향후 NHL은 실시간 AI 추론을 활용해 선수 통계, 전략 분석 또는 판타지 추천과 같은 맞춤형 인사이트를 라이브 경기 중에 실시간으로 생성해 제공할 수도 있다. 이러한 엔드-투-엔드 자동화는 미디어의 제작, 큐레이션, 전달 방식을 혁신해 AI 기반 스포츠 콘텐츠 제작의 새로운 기준을 제시할 수 있다.
지멘스(Siemens)는 자사의 오퍼레이션용 인더스트리얼 코파일럿(Industrial Copilot for Operations)을 활용해 공장 현장 근로자의 장비 유지보수 작업, 오류 처리, 성능 최적화를 지원하고 있다. 이 생성형 AI 기반 어시스턴트는 운영과 문서 데이터에 대한 정보를 사용해 장비 오류에 대한 실시간 답변을 제공한다.
이 코파일럿은 VLM, LLM, 네모 마이크로서비스와 같은 VSS의 구성 요소를 융합해 구축됐다. 지멘스의 인더스트리얼 코파일럿은 신속한 의사 결정과 장비 다운타임 감소에 기여했다. 지멘스는 생산성이 30% 향상됐으며, 향후 50%까지 향상될 가능성이 있다고 보고했다.
확장되는 파트너 생태계의 지원으로 정교한 AI 에이전트 구축
엔비디아 파트너들은 VSS 블루프린트를 활용해 워크플로우에 필요한 에이전틱 AI 영상 분석 기능을 신속하게 생성해 몇 개월이 걸리던 개발 시간을 몇 주로 단축하고 있다.
지능형 영상 분석 분야의 선두주자인 슈퍼브에이아이(Superb AI)는 인천국제공항에 정교한 공항 운영 프로젝트를 수립해 승객 대기 시간을 단 몇 주 만에 단축했다. 말레이시아의 솔루션 제공업체인 아이티맥스(ITMAX)는 쿠알라룸푸르시를 위해 VSS 블루프린트를 기반으로 전반적인 도시 관리를 개선하고 사고 대응 시간을 단축하기 위한 고급 시각적 AI 에이전트를 구축하고 있다.
광고 분야에서는 파일러(PYLER)가 VSS 블루프린트를 자사의 브랜드 안전성(AiD)과 광고 타겟팅(AiM) 솔루션에 통합했다. 삼성전자는 AiD와 AiM을 활용해 브랜드와 제품에 맞춘 고가치 광고 게재를 통해 광고 효과를 높였다. BYD는 맥락에 맞는 긍정적인 콘텐츠를 타겟팅해 광고 클릭률이 4배 증가했으며, 하나금융그룹은 여러 브랜드 캠페인 목표를 초과 달성했다.
핑거마크(Fingermark)는 퀵 서비스 레스토랑에서 사용하는 실시간 컴퓨터 비전 플랫폼인 아이큐(Eyecue)의 애플리케이션 제공업체이다. 핑거마크는 아이큐에 VSS 블루프린트를 추가해 영상을 드라이브스루 대기 시간, 서비스 병목 현상 또는 직원 관련 사고에 대한 명확하고 실행 가능한 인사이트로 변환하고 있다.
[영상] 엔비디아와 그래픽카드 제조를 '따위' 취급한 댓가를 치르는, 한국 AI 하드웨어 제조산업 [PC흥망사 12-2] 
