엔비디아가 오늘 미국 콜로라도 덴버에서 열린 시그라프(SIGGRAPH) 2024에서 실제 세계의 AI 레디(AI-ready) 가상 모델(virtual representation)을 생성하기 위한 새로운 딥 러닝 프레임워크인 fVDB를 발표했다.
fVDB는 물, 불, 연기, 구름과 같은 희소한 볼류메트릭 데이터(volumetric data)를 시뮬레이션하고 렌더링하기 위한 업계 표준 라이브러리인 오픈VDB(OpenVDB)를 기반으로 구축됐다.
현실 세계에 존재하는 자율주행 차량이나 로봇과 같은 물리 생성형 AI는 3D 공간을 이해하고 그 안에서 작동할 수 있는 능력인 공간지능(spatial intelligence)을 갖춰야 한다.
우리 주변을 둘러싼 세계의 초미세한 대규모 디테일을 포착하는 것은 필수적이다. 하지만 현실을 가상의 표현으로 변환해 AI를 훈련시키는 것은 어려운 일이다.
실제 환경에 대한 원시 데이터는 신경방사장(Neural Radiance Fields, NeRF), 라이다(lidar)와 같은 다양한 기술을 통해 수집할 수 있다. fVDB는 이 데이터를 실시간 렌더링되는 대규모 AI 레디 환경으로 변환한다.
이번 시그라프에서 지난 10년간의 오픈VDB 표준 혁신을 기반으로 한 fVDB 발표는 산업계가 현실 세계의 디지털 트윈을 통해 혜택을 누릴 수 있는 방법에 있어 중요한 도약을 의미한다.
현실 규모의 가상 환경은 자율 에이전트 훈련에 사용된다. 도시 규모의 3D 모델은 기후 과학과 재난 계획을 위해 드론으로 촬영된다. 오늘날 3D 생성형 AI는 도시 공간과 스마트 시티를 계획하는 데에도 사용된다.
fVDB를 통해 산업계는 이전보다 더 큰 규모와 더 높은 해상도로 공간 지능을 활용함으로써 물리적 AI를 더욱 스마트하게 만들 수 있다.
이 프레임워크는 효율적인 3D 시뮬레이션을 위한 GPU 가속 데이터 구조인 나노VDB(NanoVDB) 위에 엔비디아 가속 AI 연산자를 구축한다. 이러한 연산자에는 콘볼루션(convolution), 풀링(pooling), 어텐션(attention), 메싱(meshing)이 포함되며, 모두 고성능 3D 딥 러닝 애플리케이션을 위해 설계됐다.
AI 연산자를 통해 기업은 대규모 포인트 클라우드 재구성이나 3D 생성형 모델링과 같은 공간 지능을 위한 복잡한 신경망을 구축할 수 있다.
fVDB는 엔비디아 연구팀의 오랜 노력의 결과물이며, 이미 크고 복잡한 실제 공간의 고충실도 모델이 필요한 엔비디아 리서치(Research), 엔비디아 드라이브(DRIVE), 엔비디아 옴니버스(Omniverse) 프로젝트를 지원하는 데 사용된다.
지난 10년 동안 아카데미 소프트웨어 재단에 소속된 오픈VDB는 시각 효과 산업 전반에 걸쳐 사용되는 핵심 기술로써 여러 차례 아카데미상을 수상했다. 이후 엔터테인먼트 분야를 넘어 산업 디자인, 로보틱스 등 산업, 과학 분야로 그 활용 범위가 확대됐다.
엔비디아는 오픈 소스 오픈VDB 라이브러리를 지속적으로 개선하고 있다. 4년 전에는 오픈VDB에 GPU 지원을 추가한 나노VDB를 출시했다. 이를 통해 속도가 대폭 향상돼 더 빠른 성능과 더 쉬운 개발이 가능해졌으며 실시간 시뮬레이션과 렌더링의 문이 열렸다.
2년 전, 엔비디아는 뉴럴VDB(NeuralVDB)를 출시했다. 이는 나노VDB를 기반으로 머신 러닝을 구축해 VDB 볼륨의 메모리 공간을 최대 100배까지 압축함으로써 크리에이터, 개발자, 연구자가 매우 크고 복잡한 데이터 세트와 상호 작용할 수 있도록 했다.
fVDB는 나노VDB 위에 AI 연산자를 구축해 현실의 규모에 맞는 공간 지능을 구현한다. 얼리 액세스 프로그램에 신청하면 fVDB 파이토치(PyTorch) 확장 프로그램에 액세스할 수 있다. fVDB는 오픈VDB 깃허브(GitHub) 저장소의 일부로도 제공될 예정이다.
여기에서 fVDB에 대해 더 자세히 알아볼 수 있다. 엔비디아 창립자 겸 CEO인 젠슨 황이 시그라프에서 진행한 두 번의 좌담회에서 가속 컴퓨팅과 생성형 AI가 어떻게 산업을 변화시키고 혁신과 성장을 위한 새로운 기회를 창출하고 있는지는 확인할 수 있다.
[영상] 메모리 때문에 모든게 엉망! 지포스 RTX 5090 단종 및, 5080 24GB 출시 루머 총정리 
