NVIDIA GauGAN : transformer des dessins en images photoréalistes

2

NVIDIA est une entreprise qui développe des projets sur différents axes comme l’électronique, l’intelligence artificielle ou l’imagerie numérique. Nous connaissons NVIDIA grâce à ses cartes graphiques et son marketing agressif sur les jeux vidéo. Acteur dans l’innovation dans des domaines comme l’informatique ou l’automobile autonome NVIDIA s’est diversifié au fil des années. L’entreprise ne se limite pas qu’aux joueurs et présente GauGAN, un nouvel outil pour transformer les dessins en images photo-réalistes.

Concept de GauGAN

NVIDIA est un prend part au développement de l’imagerie numérique monde de l’imagerie. Le streaming avec GeForce NOW en est un exemple.  Tout récemment encore la marque a commercialisée des cartes taillées pour ray tracing en temps réel.

Il y a quelques mois déjà la firme présentait une technologie capable de créer des visages de personnes qui n’existent pas. GauGAN lui se concentre sur les paysages.

GauGAN est la contraction de « Gauguin » et de « Generative Adversarial Network« . Ce système a tout d’abord été développé pour les architectes, urbanistes et les concepteurs de jeux vidéo. Il permet de créer des images au rendu réaliste à partir d’une dessin.

Pour le moment le l’outil de NVIDIA prend la forme d’un Paint

On retrouve une interface à la Microsoft Paint – qui sera sûrement améliorer plus tard –  sur laquelle on peut dessiner ce qu’on souhaite voir modéliser par l’IA. La partie inférieure de l’écran présente des boutons avec des mots (en anglais) comme « arbre », « ciel », « nuage », « neige », etc. L’utilisateur fait ainsi usage de ces mots pour matérialiser à l’écran ce qu’il souhaite par biais d’un brouillon ou d’une esquisse. En parallèle de l’image l’IA analyse le dessin et transforme celui-ci en image photoréaliste.

Technique

NVIDIA propose en lecture libre le papier traitant de cette technologie

GauGAN est un système faisant usage du deep learning pour générer des textures et surfaces proches du réel en corrélation avec le mot choisi sur l’interface. Pour obtenir un rendu (plus que) correcte le produit de NVIDIA modifie l’image en fonction des liens entre les éléments qui la composent. Par exemple dessiner un arbre en plein milieu du désert ne donnera pas la même chose que sur une île.

Pour fonctionner ce sont plusieurs millions d’images qui ont été nécessaires à l’entrainement du modèle. Actuellement nous n’avons accès qu’à une démonstration vidéo. On reste sur notre faim quant à ce qu’on peut demander à cette IA de réaliser.

En résumé 

NVIDIA apporte un outil qui a de quoi révolutionner le monde de l’industrie numérique. On imaginer dans l’avenir ne plus avoir besoin d’apprendre à se servir de logiciels comme 3ds Max ou Cinema4D. En effet un simple dessin accompagné de cet outil permettrai de modéliser tout un monde en 2D voire en 3D.

Source : https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealistic-landscapes-nvidia-research/

2 Commentaires

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.