NVIDIA a révélé comment DLSS 5 « complète » l’image, ne se basant que sur un cadre 2D et les vecteurs de mouvement.

Comment fonctionne le DLSS 5 : explication d’un employé Nvidia

Dans une interview récente, Jacob Freeman de Nvidia a expliqué le principe du nouveau système de mise à l’échelle d’images — DLSS 5 — qui utilise l’intelligence artificielle.

Ce qui est fourni au système
* Cadre 2‑D – image rendue standard.

* Vecteurs de mouvement – informations sur la façon dont les objets se déplacent entre les cadres.

Aucune donnée tridimensionnelle n’est utilisée : le modèle ne lit pas la géométrie de la scène, la profondeur, les matériaux ou les cartes normales. Cela signifie que le DLSS 5 repose entièrement sur l’information 2‑D et le mouvement.

Comment il « comprend » la scène
* Sémantique – L’IA reconnaît des objets tels que cheveux, tissu, peau et conditions d’éclairage.

* Pour cela, un seul cadre suffit ; le modèle ne prend pas en compte la métallisation, la rugosité ou d’autres propriétés matérielles.

Par conséquent, les résultats peuvent parfois sembler « imprévisibles » :

- des cheveux apparaissent sur un personnage où il n’y en a pas ;

- les traits du visage changent.

Aucune modification de la géométrie de base ne se produit – c’est simplement une interprétation visuelle par l’IA.

Limitations et possibilités pour les développeurs
* Les développeurs peuvent régler l’intensité de l’effet, la correction des couleurs, le contraste, la saturation et la courbe gamma.

* Il est possible d’utiliser des masques pour exclure certains objets du traitement.

* Cependant, ils ne peuvent pas modifier directement la correction des traits du visage ou supprimer l’effet « maquillage » – la seule façon est de réduire l’intensité, d’appliquer un masque ou de désactiver complètement l’algorithme.

En fin de compte, le visage est généré par l’IA, mais son apparence ne peut être ajustée que de manière indirecte.