Nvidia aclara que DLSS 5 infiere en capturas de pantalla 2D más vectores de movimiento y no utiliza geometría, texturas o iluminación existentes

Inmediatamente después de la reacción pública provocada por el anuncio de DLSS 5, Nvidia proporcionó información adicional sobre la tecnología subyacente en la que se basa la próxima tecnología, aunque la mayoría de las declaraciones seguían siendo poco claras y quedaban sujetas a interpretación. El youtuber Daniel Owen se puso en contacto directamente con Jacob Freeman, de Nvidia, para aclarar toda la verborrea cuidadosamente elaborada de las declaraciones oficiales y explicar en detalle lo que hace realmente DLSS 5. Nvidia optó por responder por correo electrónico en lugar de organizar una conversación en directo.

1. Owen comienza con la pregunta candente. ¿Qué hace realmente DLSS 5 entre bastidores? Los chicos de Digital Foundry ya lo insinuaron en su extenso análisis, así que Owen se adelantó y preguntó si DLSS 5 se limita a tomar un fotograma 2D (una captura de lo que se muestra en la pantalla) combinado con vectores de movimiento y luego emite el resultado.
   
   El funcionario de Nvidia lo confirmó lisa y llanamente. Así que DLSS 5 está convirtiendo la salida de la pantalla en su entrada que luego se ejecuta a través de un modelo de IA generativa para "mejorarlo". El resultado final se renderiza sobre el motor del juego
   
2. La siguiente pregunta pretende aclarar si el DLSS 5 puede analizar de algún modo la geometría 3D y la profundidad o sólo está reinterpretando la imagen 2D lo mejor que puede para hacerla más realista basándose en la inferencia.
   
   "DLSS 5 está entrenado de principio a fin para comprender la semántica de escenas complejas, como personajes, pelo, tela y piel translúcida, junto con las condiciones de iluminación ambiental, como luz frontal, luz de fondo o nublado, todo ello analizando un solo fotograma"
   
   Aquí, Nvidia parece esquivar por completo la parte de la geometría 3D, pero su respuesta sugiere que DLSS 5 no tiene nada que ver con la geometría 3D
   
3. Si la geometría y las texturas subyacentes permanecen inalteradas como afirma Nvidia en su cartilla oficial, entonces ¿por qué algunos ejemplos muestran texturas modificadas, aunque sutilmente, pero aún así aparentemente diferentes en comparación con el render original? Owen incluye un ejemplo con un personaje masculino de Starfield que parece tener más pelo en la sien izquierda tras el tratamiento DLSS 5.
   
   Nvidia esquivó esta pregunta por completo y afirmó que la geometría subyacente no ha cambiado en absoluto y que lo que han presentado es sólo un avance muy temprano de la tecnología. El youtuber se aventura entonces a decir que es posible que la geometría no se modifique, pero que el resultado final que aparezca en la pantalla puede muy bien ser lo que DLSS 5 considere correcto a través de la inferencia. Además, si se trata de una versión temprana, Nvidia debería tomar todos los comentarios y mejorar lo que la tecnología puede hacer en última instancia
   
4. En la cartilla oficial, Nvidia afirma que DLSS 5 mejora las propiedades PBR en los materiales. Owen quiere aclarar si DLSS 5 toma realmente como entradas las especificaciones PBR del desarrollador del juego incluidas en el motor del juego (propiedades de los materiales, rugosidad, mapas normales, etc.) o DLSS 5 sólo infiere todas las propiedades PBR.
   
   Nvidia responde que DLSS 5 sólo toma como entradas el fotograma renderizado y los vectores de movimiento, mientras que los materiales se infieren a partir del fotograma renderizado. Owen argumenta que esta aclaración califica de engañosas las declaraciones oficiales sobre la mejora de las propiedades PBR
   
5. Esta pregunta está bastante cargada, ya que trata de la preservación de la intención artística. Owen pregunta esencialmente si los desarrolladores de juegos pueden controlar algo más allá de la gradación del color que no sea bajar la intensidad de la característica DLSS 5 o enmascararla completamente en objetos / personajes específicos. Pone como ejemplo la escena inicial de RE: Requiemen la que Grace aparece originalmente sin maquillaje, pero el render de DLSS 5 la muestra maquillada. En otras palabras, ¿pueden los desarrolladores ordenar de algún modo a DLSS 5 que renderice a Grace sin llevar maquillaje?
   
   Nvidia da una larga respuesta que está tomada directamente de la cartilla y no proporciona una respuesta sobre la posibilidad de instruir a DLSS 5 para que renderice algo de una manera específica. Tal y como está ahora mismo, parece que la versión inicial no puede preservar realmente la intención artística, pero se puede ser optimista y decir que eso podría cambiar si se reciben suficientes comentarios
   
6. ¿Está DLSS 5 realmente limitado al espacio de la pantalla, por lo que no es consciente de las fuentes de luz fuera de la pantalla ni de los reflejos o la oclusión ambiental y las sombras?
   
   Nvidia confirma que DLSS 5 está realmente limitado al espacio de la pantalla, lo que significa que ni siquiera entiende el trazado de rayos. Entonces, ¿por qué los jugadores activarían siquiera el trazado de rayos en los juegos si DLSS 5 no tiene en cuenta esos complejos cálculos que requieren tanta potencia de procesamiento? ¿Se supone que debemos entender que DLSS 5 puede sustituir por completo al trazado de rayos y, si es así, lo hace de una forma más eficiente que requiere menos potencia de procesamiento? Está claro que utilizar dos tarjetas RTX 5090 no ayuda a demostrar la eficiencia
   
7. La última pregunta no está directamente relacionada con DLSS 5, pero Owen se pregunta si la introducción de DirectML a DirectX para la aceleración agnóstica por hardware de tareas ML en juegos podría significar que tecnologías propietarias como DLSS 5 podrían en algún momento convertirse en código abierto para funcionar en cualquier marca de hardware.
   
   Nvidia dice que no tiene nada que anunciar a este respecto en estos momentos, por lo que no niega completamente la posibilidad, dejando de algún modo la puerta ligeramente abierta a un atisbo de esperanza.