엔비디아가 SIGGRAPH 2026을 통해 차세대 뉴럴 렌더링 기술 DLSS 5의 구체적인 작동 방식과 개발자용 제어 기능을 공개했다.
DLSS 5는 단순히 낮은 해상도의 화면을 확대하거나 프레임을 생성하는 기존 DLSS 기술에서 한 단계 더 나아가, 전통적인 방식으로 렌더링된 프레임에 AI 기반 후처리를 적용해 재질과 조명, 그림자, 반사 표현 등을 개선하는 기술이다.
게임 엔진이 기본적인 지오메트리와 카메라, 조명, 화면 구성을 결정하고 DLSS 5가 완성된 프레임의 세부 표현을 보강하는 구조로, 초기 DLSS 5 시연에서는 AI가 캐릭터의 얼굴이나 의상 등 원래 디자인까지 바꿀 수 있다는 우려가 제기됐다.
이에 엔비디아는 게임 엔진에서 전달되는 알베도와 표면 노멀, 조명 정보 등을 활용해 결과물을 원본 렌더링과 연결하고 개발자가 최종 화면을 직접 통제할 수 있도록 설계했다고 설명했다.
이번 시연에서는 서로 다른 특성으로 학습된 모델 A와 B, C가 공개됐다. 개발자는 게임 전체에 하나의 모델을 고정할 필요 없이 장면과 환경, 컷신에 따라 다른 모델을 선택할 수 있으며, 실행 중에도 지연 없이 모델을 전환하거나 혼합할 수 있다. 같은 장면에서도 캐릭터와 배경에 서로 다른 모델과 설정을 적용하는 방식도 지원한다.
AI 처리 강도는 구조 강도와 톤 강도 두 가지 항목으로 조절되며, 개발자는 슬라이더를 통해 원본 렌더링에 가까운 결과부터 DLSS 5의 효과가 강하게 드러나는 화면까지 선택할 수 있고, 자동 마스킹 기능을 이용해 캐릭터와 사물별 제어 기능, 특정 대상에서는 DLSS 5 처리를 완전히 끄는 기능도 제공된다.
실시간 구동을 위해 대형 생성형 AI 모델의 지식을 작은 1단계 픽셀 공간 확산 트랜스포머 모델로 압축했다. 엔비디아는 이를 통해 4K 해상도와 높은 프레임, 낮은 지연 시간에 대응하고 단일 GPU에서도 DLSS 5를 구동할 수 있다고 설명했다. VRAM 효율도 강조했지만 실제 요구 사양과 메모리 사용량, 지포스 RTX 제품별 지원 범위는 아직 공개하지 않았다. 초기 시연이 지포스 RTX 5090 두 장으로 진행됐던 만큼 보급형 제품에서의 성능은 추후 확인이 필요하다.
DLSS 5는 AI가 게임 화면을 임의로 다시 그리는 기술이라기보다 개발자가 선택한 영역과 강도에 따라 최종 렌더링을 보완하는 도구에 가까운 모습이다. 모델과 장면, 오브젝트별로 효과를 세밀하게 통제할 수 있다는 점을 공개한 것은, 초기 공개 당시 제기됐던 원작 훼손 우려를 줄이기 위한 장치로 풀이된다.
DLSS 5는 2026년 가을 도입될 예정으로 알려졌으며 구체적인 지원 게임과 그래픽카드 호환 범위는 추후 공개될 전망이다.
[영상] NVIDIA RTX SPARK는 인텔과 AMD의 X86 노트북 시장을, AI를 무기로 정복할 수 있을까? 
