La dernière technologie d’IA de Nvidia transforme les mots en images réalistes

Dans le contexte: La technologie GauGAN de Nvidia a déjà montré de quoi elle est capable, transformer de simples croquis en images photoréalistes. Depuis lors, nous l’avons vu utilisé dans Nvidia Canvas, mais il semble que le géant du GPU vise des terrains plus élevés avec son IA, en lançant une nouvelle version capable de transformer les mots en images.

Nvidia montré sa technologie GauGAN pour la première fois en 2019, mais ce n’est que récemment que nous l’avons vue figurer dans un produit disponible pour le grand public. Nommé Toile, ce logiciel peut être très amusant à utiliser, permettant aux utilisateurs de créer des images étonnantes ressemblant à des photos avec des croquis de base.

Quelques mois se sont écoulés depuis l’annonce de Canvas, mais le travail sur GauGAN s’est poursuivi et il atteint maintenant la version 2.0. La technologie est devenue encore plus impressionnante, car c’est maintenant capable de transformer les mots en images photoréalistes, fournissant un résultat similaire à celui que nous obtenons en utilisant la fonction de dessin sur image.

Comme on le voit dans la vidéo ci-dessus, écrivez quelque chose sur la zone de texte et une image sera générée immédiatement en fonction de vos mots. Ajoutez un adjectif ou remplacez un nom dans la phrase, et l’image changera en conséquence.

Transformer des mots en images n’a jamais été aussi facile

Pour une personnalisation supplémentaire, les utilisateurs peuvent combiner des fonctionnalités de texte et de dessin sur image. En utilisant des mots écrits pour générer la base et des dessins pour détailler l’image, vous pouvez modifier la forme, la taille et les textures de n’importe quel objet dans l’image.

Pour obtenir ces résultats, la fonctionnalité de texte à image GauGAN 2 de Nvidia utilise un modèle d’IA génératif basé sur un réseau contradictoire qui « combine la cartographie de segmentation, l’inpainting et la génération de texte à image ». Ce modèle a été formé à l’aide de 10 millions d’images de paysage, il doit donc être bien préparé pour tout ce que vous lui lancez (ou non).

Vous pouvez Essaie en utilisant la démo interactive AI de Nvidia pour GauGAN 2 à l’aide de votre navigateur Web. Pour jouer avec, vous devrez d’abord accepter les termes et conditions de Nvidia (cochez la case en bas de la page).