J'ai l'impression que dans l'IT tout est cyclique

AMD vient de publier une solution de compression de textures qui fonctionne à la volée en générant les textures via des specs, donc de façon procédurale.

Résultat ?

On passe de 34go de texture sur VRAM à 51ko. Oui c'est considérable, mais il y a comme un air de déjà vu.

Source: https://www.frandroid.com/marques/amd/2717573_amd-a-une-solution-spectaculaire-pour-limiter-lusage-de-vram-dans-votre-carte-graphique

De son côté, NVIDIA annonçait il y a 2 ans, une méthode neuronale pour générer des textures: https://hardwareand.co/actualites/breves/amd-aussi-developpe-une-methode-de-compression-des-textures-la-neural-texture-black-compression

En gros, NVIDIA se disait, à partir d'une base de connaissances commune, ils peuvent générer les textures pour des models 3D au lieu de devoir les stocker dans les sources du jeu.

Par exemple: on sait qu'un tronc d'arbre c'est marron et que les feuilles sont vertes la plupart du temps ou orange en automne.

Cependant, cette méthode a aussi ses limites, surtout si l'on doit texturer quelque chose d'inconnu pour notre base de connaissances. Comment va se comporter l'IA ? Et comment s'assurer qu'il n'y a pas de différences énormes d'une exécution à l'autre ?

Pour rappel, les textures sont ce qui pèse le plus sur la mémoire vidéo.

Plus nos résolutions augmentent, plus la taille de ces textures augmente, en sachant que les models 3D (wireframe) se scalent très facilement avec une simple homothétie. Or, les textures deviennent floues si on les agrandi, il convient donc de les avoir aussi en haute résolution dans les fichiers sources, d'où le poids des jeux récents (> 100go).

Donc, on a d'un côté NVIDIA qui veut deviner comment texturer une surface via un model entraîné. De l'autre AMD qui veut qu'on fasse de la spécification pour qu'il puisse par la suite se débrouiller seul pour texturer à grande échelle.

Cela impactera directement la façon de développer les jeux dans l'avenir, en même temps, quand la technologie avance, il faut revoir nos méthodologies.

Pourquoi je dis que tout est cyclique ?

Ces techniques de procédural ne datent pas d'hier, nous avions déjà dans les années 90 des algorithmes procéduraux qui servaient à augmenter considérablement la durée de vie des jeux sans impacter la taille du jeu.

Et nous avions le cas The Elder Scrolls 2 Daggerfall qui permettait de générer une map de 45 000 km2 en 1996. Idem dans Borderlands où un algorithme procédural permettait d'obtenir 17 750 000 armes différentes.

Ou encore https://mypipotron.fr qui permet de générer 8.59 x 10^13 possibilités de phrases WTF.

Pour ce qui est de la compression dans le jeux vidéo, en 1991, Eric Chahi avait mis en place un algorithme pour stocker des points de polygones (vectoriel) dans son jeu, au lieu des sprites et animations complexes. Another World tenait sur 2 disquettes alors que le jeu contenait des cinématiques longues avec parallax etc...

Les optimisations ne datent pas d'hier et j'ai l'impression qu'aujourd'hui, nous arrivons à un stade où nous allons réutiliser les mêmes approches que nous avons déjà mis en place par le passé, soit en les optimisant, soit en les combinant.

Attention, ce qu'a fait AMD est remarquable ! D'ailleurs, je trouve même qu'AMD est moteur dans les grands avancements de ces dernières années:

• Travaux sur OpenCL
• ROCm
• FSR qui est ouvert à tous les GPU
• Ses pilotes open source AMDGPU
• Et maintenant son approche sur la compression

Sans eux, je pense qu'on resterait des années au même stade.

Ok, super tout ça. Mais pourquoi j'en parle ?

Le jeux vidéo est un domaine qui pousse les composants dans leurs retranchements, c'est souvent le domaine dans lequel les grandes innovations arrivent.

Jusqu'à maintenant on était un peu en course à la VRAM sur les cartes graphiques. Il n'y a qu'à regarder chaque génération de GPU pour voir à quel point les tailles minimales et moyennes augmentent.

Mais quid de la VRAM si demain on sur-optimise tout et qu'on a plus besoin d'autant de mémoire ?

• Va-t-on assister à une marche arrière sur le matériel (repasser à 4go de VRAM en moyenne) pour limiter les coûts ? Peu probable mais possible.
• Va-t-on assister à une stagnation de la taille de VRAM entre chaque génération de GPU ? Plus probable.
• Va-t-on continuer à augmenter la VRAM moyenne entre chaque génération de GPU ? Peu probable également sauf sur gamme pro.

Je vous en parle parce que je me dis, que la VRAM ne sert pas que dans les jeux et la 3D, mais aussi dans l'IA.

Et surtout la VRAM est utile pour tous les développeurs, qui sont heureux de pouvoir travailler sur du matériel mainstream peu couteux. Ainsi, il y a un risque que demain, nous soyons obligé de passer en gamme pro pour continuer notre R&D.