La « magie » des technologies de mise à l’échelle comme DLSS, FSR ou XeSS est souvent assez bluffante. Pour le sport, un Youtubeur s’est amusé à aller beaucoup, mais beaucoup plus (trop ?) loin.
je n’arrive toujours pas à comprendre comment régler tout ca, dans un jeu je mets 1080, et j’active le DLSS mais au final je ne sais pas s’il prend un 720P qu il augmente,…
Oui, normalement, c’est ce qu’il se passe. Tu choisis ta résolution souhaitée (1080p) et tu règles ton upscalling pour qu’il travaille avec une résolution inférieure.
C’est vrai que beaucoup de jeux ne précisent pas quelle est la résolution réellement utilisée et ça, c’est casse-pied, en effet.
2 « J'aime »
D’où l’intérêt d’utiliser OptiScaler pour vérifier et configurer le bouzin.
2 « J'aime »
Merci pour l’info.
Heu… J’ai pas bien compris quel est l’intérêt de descendre la résolution 240p ou 360p puis de l’upscaler. Où c’est encore une démo sans aucun sens?
Techniquement aucun intérêt : l’idée est simplement de voir comment la techno parvient à recréer quelque chose de pas mal du tout alors que c’est quand même une bouillie de pixels.
Après avoir regardé la vidéo, je me demande dans quelle mesure le DLSS adapte vraiment les graphismes en ne travaillant qu’à partir de la résolution la plus basse (ici, le 240p).
J’ai mon radar à embrouille qui bipe fort lorsque je vois quelque chose qui semble trop beau pour être vrai, parce qu’en général ça l’est, et je me demande vraiment si la carte ne calculerait pas en même temps des images en 720p, à raison d’une sur quatre par exemple, qu’elle utiliserait ensuite pour extrapoler les trois autres images à partir de celles en 240p.
Alors oui, cela resterait toujours une prouesse technique et un moyen d’augmenter le nombre de FPS, mais ce serait aussi un mensonge d’affirmer qu’on prend une image aussi basse et qu’on en tire quelque chose d’aussi fin.
Les modèles sont bel et bien capables aujourd’hui de sortir pas mal de détails à partir d’une source où ils sont en grande partie perdus pour l’œil humain…
Voilà un exemple, à partir d’une photo que j’ai faite, et que je n’ai jamais mise en ligne (donc impossible que cette photo soit dans les données d’entrainement des modèles).
Voici l’image originale, en 4032x3024 : https://imgur.com/a/fvihUzq
Je l’ai passée en 240p, ce qui donne cette bouillie de pixels (note en particulier le « Racing » entre « Green » et « Team » devenu quasi illisible :
Et voilà son upscale en 1024x747 avec Gemini :
Il arrive bien à ressortir pas mal de détails, notamment le « Racing » redevient parfaitement lisible.
Par contre sans surprise, y a quand même aussi des beaux ratés, par exemple il n’arrive pas à recréer le phare de la moto qui est à gauche du kakemono, il fait juste une plaques avec des marquages dessus.
3 « J'aime »
Oui, mais là, ça bouge et ça calcule à la volée avec très peu de loupé. Et les détails perdus pour l’œil humain sur une image calculée ne doivent pas être les mêmes que ceux d’une photo, non ?
Ce qui compte pour qu’il arrive à recréer les détails, c’est pas que l’image soit calculée ou une photo, c’est le fait qu’il avait dans sa base d’entrainement des choses similaires. Or justement là nVidia a dû spécifiquement entrainer le modèle avec des images de jeux.
Quand à calculé à la volée, ça peut être un problème éventuellement pour la première image d’une scène, mais ensuite il peut s’aider de l’image précédente pour chaque nouvelle image, ce qui réduit grandement la complexité du travail, il peut y avoir une passe qui détermine ce qui dans la nouvelle image était déjà dans la précédente, et il n’y a à upscaler que le reste, ce qui en général ne sera qu’une petite partie de l’image.
2 « J'aime »
L’upscaling de cette photo (320*240 ?) vers du 4032x3024 à pris combien de temps?
Nota personnelle : si c’est une photo, on ne met pas le « p » après le 240. Le « p » signifie que c’est une « vidéo en mode progressif » (« i » si c’était une vidéo entrelacée). Ah oui… autre chose… à ma connaissance, le 240"p" n’existe pas car forcement progressif à cette résolution. le mode progressif ne commence qu’à partir de 480p et 576p et au delà. En entrelacé on aurait eu du 480i ou 576i et au delà.
1 « J'aime »
4032x3024 c’est l’originale, pas l’upsacle. L’upscale 1024x747, Gemini me l’a renvoyé en 2-3s, mais la durée de génération n’est pas franchement significative, c’est pas un modèle spécialisé dans l’upscale, et les puces utilisées traitent plusieurs requêtes en parallèle.
Le but de cet exemple était juste de montrer que d’un point de vue qualitatif, un upscale peut bien reconstituer des détails, et que parfois cette reconstitution sera assez fidèle, parfois pas du tout.
2 « J'aime »
Ok. merci pour cette précision.
2 à 3 sec pour un upscale? on est loin des besoins de framerate d’un jeu vidéo.
Pour mes besoins d’upscale vidéo vers du 4k, j’utilise Video2x-qt (opensource) et c’est très lent malgré tout
Oui, mais encore une fois, ce n’est pas significatif. Ce n’est pas un modèle spécialisé, donc forcément, plus lent, avec des puces partagées entre plusieurs requêtes, donc plus lentes par requête, et sur un flux le temps moyen par image peut être bien plus faible que le temps pour une unique image, puisqu’il y a possibilité de réutiliser des choses d’une image à l’autre (grosso modo, la même raison qui fait qu’on atteint des taux de compression beaucoup plus élevés en vidéo qu’en photo…).
2 « J'aime »
Je me demande s’il existe des outils qui pourraient utiliser le DLSS 4.5 ou du FSR pour faire de l’upscaling depuis du SD > 4K dans les vidéos.
Bien évidement grace aux GOP (group of picture, aux intras, inter, …)
Pour de la vidéo, ce n’est pas forcément possible, parce que, au moins pour le DLSS, le modèle ne se base pas que sur les images basse résolution pour faire son upscaling, il a aussi accès à des données qui lui sont communiquées par le moteur 3D du jeu sur les objets présents dans la scène pour mieux gérer leurs mouvements.
2 « J'aime »
En effet, je comprend la difficulté… en plus un DLSS (ou FSR) travaille sur des trames complètes et non sur des GOP. Il faudrait que l’outil ait accès au GOP en entier, le reconstruise image par image en trame complète (faire du RAW) pour ensuite l’upscaler et enfin reconstruire un GOP avec le bon codec. Bref, ce que fait déjà Video2x-Qt.
Je confirme, tu n’as rien compris. L’intérêt du DLSS est de soulager la carte graphique en abaissant volontairement la résolution et de laisser faire l’upscaling pour un rendu de meilleure qualité. Dans les exemples donnés, il a expressement réduit la résolution à des valeurs très basses pour voir comment s’en sort le DLSS… et le résultat est la.
1 « J'aime »
Dans le panneau de configuration Nvidia, il y a bien une option qui s’appelle Super Resolution et qui agit en natif sur les videos, quelles que soit le lecteur utilisé.