Arm이 차세대 모바일 플랫폼 CSS for Mobile 2와 함께 새로운 Mali G2-Ultra NX GPU를 공개하며, 모바일 GPU에 AI 기반 업스케일링과 프레임 생성, 레이 트레이싱 이미지 복원 기술을 천명했다.
회사에 따르면 Mali G2-Ultra NX는 전용 Neural Accelerator(NX)를 GPU에 통합해 기존 방식처럼 모든 픽셀과 프레임을 직접 렌더링하는 대신 일부 작업을 AI로 재구성해 성능과 전력 효율을 높이는 것이 특징이다.
ARM이 공개한 Neural Technology는 업스케일링 기술인 Neural Super Sampling(NSS), 프레임 생성 기술인 Neural Frame Rate Upscaling(NFRU), 성능 및 완성도 최적화를 위한 Neural Super Sampling and Denoising(NSSD)로 구성된다.
ARM은 NSS와 관련해 540p 해상도를 1080p 네이티브 렌더링에 가까운 이미지 품질을 목표로 한다. NFRU는 기존에 렌더링된 프레임과 모션, 깊이 정보 및 Optical Flow를 이용해 중간 프레임을 생성, 실제 렌더링은 30FPS로 처리하면서 최종 화면은 60FPS 수준으로 출력하는 것이 가능해진다.
NSSD는 AI 업스케일링과 디노이징을 결합한 기술로, 적은 수의 레이로 렌더링한 이미지에서 노이즈를 제거하고 최종 이미지를 복원해 모바일 환경에서도 레이 트레이싱이나 패스 트레이싱에 필요한 연산량을 줄일 수 있도록 설계됐다는 점에서 엔비디아 DLSS의 Ray Reconstruction과 유사하다.
ARM은 자체 Neural Dawn 데모를 통해 AI 기반 렌더링을 활용할 경우 동일한 지속 전력 조건에서 네이티브 렌더링 대비 최대 4배 수준의 성능 향상을 기대할 수 있다고 설명했다. 외부 DRAM 트래픽도 최대 70% 줄일 수 있어 메모리 대역폭과 소비전력이 제한적인 모바일 환경에서 효과가 클 것으로 예상된다.
Arm은 업스케일링 업그레이드와 함께 레이 트레이싱 성능 강화도 발표했다.
Mali G2-Ultra NX에는 3세대 Ray Tracing Unit 도입과 Opacity Micromaps을 하드웨어 차원에서 지원한다. 이를 통해 일부 레이 트레이싱 작업에서 관련 부하를 최대 70% 줄이고, 프레임레이트는 최대 30% 높일 수 있다.
기존 AI 기술을 사용하지 않는 일반 게임 성능 역시 이전 세대 대비 최대 14%, 일부 벤치마크에서는 최대 24% 향상된 것으로 소개했다.
ARM은 이번 Mali G2-Ultra NX를 통해 제한된 소비전력과 발열 환경에서 동작해야 하는 모바일 GPU에서도 연산 성능 자체를 높이는 것뿐 아니라, AI를 이용해 렌더링해야 할 픽셀과 프레임 수를 줄이는 방향으로 그래픽 성능 확대를 추구하는 모습을 보였다.
현재 Mali G2-Ultra NX를 실제로 탑재할 스마트폰이나 SoC는 발표되지 않았으며, 향후 ARM의 모바일 플랫폼을 채택하는 SoC 제조사를 통해 상용 제품에 적용될 전망이다.
[취재] 지포스 게임 경험의 강화, 엔비디아 DLSS 4.5와 지싱크 펄사 발표 
