DALL-E et autres modèles générateurs d'images et de vidéos

[Pelerin Dumont]

il y a 37 minutes, Sekonda a dit :

Les progrès d'une version à l'autre. Voir les tweets suivants aussi.

 

On a fait de pareils essais sur le Discord

[Adrian]

Le 12/11/2022 à 13:57, Pelerin Dumont a dit :

On a fait de pareils essais sur le Discord

 

Mais on a épuisé la version gratuite en 2 heures

 

Me MP si des gens sont intéressés par le Discord.

[Bézoukhov]

Tiens, ça me fait penser ; si certains n'ont rien à faire de leur réputation et sont capables de lever quelques dizaines de millions. Le business model du futur, c'est probablement la pornographie générée par AI. Tu tapes ton scénario dans la barre de recherche et ça te génère une vidéo.

[Rincevent]

il y a 29 minutes, Bézoukhov a dit :

Tiens, ça me fait penser ; si certains n'ont rien à faire de leur réputation et sont capables de lever quelques dizaines de millions. Le business model du futur, c'est probablement la pornographie générée par AI. Tu tapes ton scénario dans la barre de recherche et ça te génère une vidéo.

Compte tenu des avancées, ça risque d'arriver pour les femmes avant d'arriver pour les hommes (en d'autres termes, le texte est plus aisé que la vidéo).

[Mégille]

Vu la gueule des mains, parfois encore des visages, et des corps lorsqu'ils sont dans des positions inhabituelles... Il vaut mieux attendre encore un peu pour le IA porn !

[ttoinou]

Its not a bug its a feature Ca donnera lieu à de nouveaux kinks

[Lancelot]

Il faut spécifier ce dont vous parlez, mais des trucs du genre "dessin non photoréaliste de pin-up qui pose de manière pas trop complexe" ça existe déjà. Je n'ai aucun doute que quelqu'un quelque part entraîne une version de stable diffusion sur des "poses complexes", quand au "non photoréaliste" l'uncanny valley se réduit de jour en jour. Pour l'animation on est aux balbutiements mais il y a de quoi répondre à des prompts comme "génère la frame suivante sachant que la caméra à fait tel mouvement".

[Jesrad]

J’attends depuis longtemps ce moment fatal pour le concept de propriété intellectuelle où tout le monde aura accès à des générateurs de contenu tendant à produire la même chose dans les mêmes circonstances  Toutes les franchises auront leur litanie de déclinaisons de fan-fictions de qualité comparable au canon, tous les chanteurs à la mode auront de parfaits clones artificiels (y compris ceux morts depuis longtemps), tous les genres musicaux seront explorés et répliqués à l’infini…

[NoName]

Bienvenue dans la Post-scARTcity

 

 

Bon et pour le prono je suis déjà sur un serveur discord de waifu générées par SD donx bon. 

 

 

Killer app ça sera generation de porn par formulaire (nb de participants, durée, physiques, visages, ethnicities, kink, pratiques, décor, etc...) et vu les avancées que je vois sur l'IA je pense qu'on est à moins de 10 ans.  Pratiquement toutes les semaines, entre les languages models et les générateurs d'images, je vois des trucs hallucinant que j'aurais cru nécessiter encore 15 ans avant d'arriver. 

 

 

J'ai l'impression qu'on vient juste de passer le bord de la crête et qu'on est pile poil à la fin du "gradually" et au début du "suddenly" 

[ttoinou]

N'oubliez pas que l'IA est basé sur du contenu humain, en l'occurence ici la description textuelle de ce qu'il se passe dans le contenu. 

 

il y a 24 minutes, NoName a dit :

Killer app ça sera generation de porn par formulaire (nb de participants, durée, physiques, visages, ethnicities, kink, pratiques, décor, etc...) et vu les avancées que je vois sur l'IA je pense qu'on est à moins de 10 ans.  Pratiquement toutes les semaines, entre les languages models et les générateurs d'images, je vois des trucs hallucinant que j'aurais cru nécessiter encore 15 ans avant d'arriver. 

Avec du contenu en entrée proprement décrit, vu les améliorations en GPU je dirais d'ici 2 ans un contenu un peu bizarre, d'ici 4 ans quelque chose de réaliste

[Azref]

J'ai vu des trucs assez impressionnants générés, que ce soit dans un style photoréaliste, ou "dessiné", mais peut-on imaginer le même type de technologies appliqué à la musique?

De même que taper "Personnage dans le style d'Akira" peut donner un truc sympa, "musique jazz" par exemple?

J'ai cru comprendre que le principal soucis est la description des données d'entrée, et autant pour une image je vois bien comment on arrive à quelque chose de bien décrit, comment faire pour du son?

[Lancelot]

38 minutes ago, Azref said:

peut-on imaginer le même type de technologies appliqué à la musique?

Ça existe : https://www.unite.ai/best-ai-music-generators/

[Azref]

il y a 9 minutes, Lancelot a dit :

Ça existe : https://www.unite.ai/best-ai-music-generators/

Haha évidemment ça existe déjà, merci je vais regarder ça.

[Lancelot]

Ma découverte de prompt du jour :
 

Spoiler

 

 

It just works, ça sort des illustrations d'horreur à la pelle. Alors que "sunny uncanny valley" donne juste des visages et "cloudy uncanny valley" donne juste des nuages.

[Lancelot]

Don't worry, there's nothing under your bed.

 

[Lancelot]

Alors celui-ci est un peu technique.

 

Dans un modèle comme DALL-E, on a en input une image de bruit visuel et un prompt. Grossièrement, le modèle marche en "essayant de voir" le prompt dans le bruit pour arriver à une image finale. Mon questionnement était le suivant : le modèle a-t-il un point fixe ? En d'autres termes, existe-t-il un prompt tel que l'image finale soit la même que le bruit initial ? Je pense que si on prend la question au sens strict la réponse est non. Par contre on peut essayer de trouver un prompt qui transforme le bruit visuel initial en un autre bruit visuel (une sorte de point fixe perceptuel). Il se trouve que c'est assez difficile parce que le modèle a très envie d'ajouter de la structure.

 

Voici mon meilleur exemple pour l'instant :

 

 

Pour comparaison :

 

[Lancelot]

 

 

J'étais fier de moi mais évidemment ça existe déjà en mieux : https://www.aiprompt.io/

[WBell]

Stablediffusion est en release 2.0

Part rapport aux versions 1.X, ils ont supprimé beaucoup d'images NSFW, ainsi que les artistes numériques trop connus. 

Les gens râlent : par effet de bord, ça empêche le modèle de construire des représentations "efficaces" des humains (par manque d'images où on voit "l'anatomie", sans que ça soit du porn). 

[Adrian]

 

[Alchimi]

Étant enfant j'avais lu une nouvelle de SF d'un auteur classique, impossible de me souvenir de l'auteur (c'était peut être Asimov?) ou du titre de la nouvelle, qui grosso modo portait sur un robot (ou une AI?) qui devenait tellement bon à l'art qu'il jouait mieux que n'importe quel humain, (je crois que c'était du piano, mais je ne suis plus sûr, ça remonte). Je me souviens qu'enfant j'avais compris que ça portait sur la question de savoir si les humains écouteraient encore d'autres humains interpréter de la musique si une machine peut le faire mieux... Je me souviens que j'avais trouvé ça glaçant.

 

Un liborgien arriverait-il a identifier la nouvelle? J'aimerais la relire. C'est certainement un auteur anglophone, probablement US.

[Mobius]

"

 

"Randian Hero"+ "Movie poster"

[Alchimi]

J'avais entendu que les signatures d'artistes dont les œuvres avaient été pompées pour les databases d'IA ressurgissaient en artefact dans les images de synthèses.

En retestant vite fait, je viens d'en voir une occurrence, regardez en bas à droite.

[Lancelot]

Avicsshsesivrglincsbioir, mon artiste préféré

Bon oui ça montre que les watermarks sont un élément suffisamment saillant dans la base de données d'entraînement pour que leur existence soit reflétée dans le modèle. Ce qui peut être un problème ou pas selon la perspective (est-ce qu'un copyright peut empêcher de regarder une œuvre ou de s'en inspirer ?).

[Alchimi]

spectateur/inspiration =! utilisation de propriété privée d'une autre personne.

Je sais que ça défrise certains communistes.

[Lancelot]

Well encore une fois ça dépend de ce qu'on met dans le terme "utilisation". Il n'y a pas de copie des images dans le modèle (là on pourrait discuter sur la reproduction qui est effectivement un cas prévu par le copyright). Techniquement, le modèle ne fait que "consulter" des images librement accessibles et être influencé par elles, tout comme pourrait l'être un cerveau humain de manière absolument légitime. Mais il le fait systématiquement et automatiquement, et la question se pose de savoir si ça en fait un processus de nature différente. Je pense que l'avenir tranchera de toute manière en faveur d'une multitude de modèles dont chacun sera entraîné sur une base de donnée sélectionnée et contrôlée dans un but précis, suivant l'exemple d'un waifu diffusion :

 

Quote

The Waifu Diffusion 1.3 model is a Stable Diffusion model that has been finetuned from Stable Diffusion v1.4. I would like to personally thank everyone that had been involved with the development and release of Stable Diffusion, as all of this work for Waifu Diffusion would not have been possible without their original codebase and pre-existing model weights from which Waifu Diffusion was finetuned from.

The data used for finetuning Waifu Diffusion 1.3 was 680k text-image samples that had been downloaded through a booru site that provides high-quality tagging and original sources to the artworks themselves that are uploaded to the site. I also want to personally thank them as well, as without their hardwork the generative quality from this model would not have been feasible without going to financially extreme lengths to acquiring the data to use for training. The Booru in question would also like to remain anonymous due to the current climate regarding AI generated imagery.

 

[NoName]

Il y a 9 heures, Alchimi a dit :

J'avais entendu que les signatures d'artistes dont les œuvres avaient été pompées pour les databases d'IA ressurgissaient en artefact dans les images de synthèses.

En retestant vite fait, je viens d'en voir une occurrence, regardez en bas à droite.

 

Les signatures sont en bas à droite sur les peintures réelles, le modèle à retroingenieré que en bas à droite il fallait ajouter une signature pour faire plus vrai.  Ça ne dit absolument pas qu'il s'agisse de plagiat. 

[Alchimi]

Le 21/12/2022 à 22:01, NoName a dit :

Ça ne dit absolument pas qu'il s'agisse de plagiat. 

 

 

Interview du fondateur de midjourney sur forbes:

https://www.forbes.com/sites/robsalkowitz/2022/09/16/midjourney-founder-david-holz-on-the-impact-of-ai-on-art-imagination-and-the-creative-economy/?sh=69cf70a2d2b8

 

Un extrait (mais il a eu quelques autres question sur l'origine des databes et etc, je cite direct le passage le plus précis sur le sujet).

Citation

Did you seek consent from living artists or work still under copyright?

No. There isn’t really a way to get a hundred million images and know where they’re coming from. It would be cool if images had metadata embedded in them about the copyright owner or something. But that's not a thing; there's not a registry. There’s no way to find a picture on the Internet, and then automatically trace it to an owner and then have any way of doing anything to authenticate it.

 

Hm.

[Lancelot]

1 hour ago, Alchimi said:

Ça montre que le modèle a intégré que tel type d'image se démarque souvent par la présence de tel truc, ici les watermarks qui peuvent évoquer telle ou telle  bases de données. Ces bases de données ont donc été utilisées pour l'entraînement (ce que les développeurs ne nient pas), mais outre ça l'image générée n'a aucune raison d'être la reproduction d'une image spécifique d'une base de donnée spécifique. Toujours est-il que oui, comme je le disais plus haut, je pense qu'à l'avenir les images d'entraînement seront plus maîtrisées (pas que pour des raisons de copyright d'ailleurs).

 

1 hour ago, Alchimi said:

Là on est dans un cas plus intéressant : si je demande ouvertement à l'IA de faire du plagiat, est-ce que ça marche ? Plus ou moins bien.

 

Le plus :

 

Le moins :

 

De mon point de vue le responsable du résultat dans ce cas est celui qui a écrit la prompt, et c'est lui qui devrait être emmerdé au cas où il essaierait de gagner de l'argent en se faisant passer pour Van Gogh ou De Vinci. Ici l'IA n'est qu'un outil, techniquement je peux aussi plagier une image en utilisant Paint.

[ttoinou]

Juste pour être clair : tous ceux qui prétendent que le réseau de neurone produit une nouvelle image inconnue d'avant ont pas l'ombre d'un commencement de début de preuves de ce qu'ils avancent. Tous les sites style https://thispersondoesnotexist.com/ ont un titre purement marketing, aucun travail n'a été fait pour ne pas reproduire une donnée d'entrée. Faut pas s'étonner qu'après on vienne leur chercher des noises, ils évitant constamment la question en agitant les mains comme des demeurés et en faisant diversion "oh les réseaux de neurone c'est magique". Je dis ça en étant contre toute forme de PI hein, mais juste bordel les mecs soyez rigoureux un minimum c'est pas trop demandé

[Lancelot]

1 hour ago, ttoinou said:

Juste pour être clair : tous ceux qui prétendent que le réseau de neurone produit une nouvelle image inconnue d'avant ont pas l'ombre d'un commencement de début de preuves de ce qu'ils avancent. Tous les sites style https://thispersondoesnotexist.com/ ont un titre purement marketing, aucun travail n'a été fait pour ne pas reproduire une donnée d'entrée. Faut pas s'étonner qu'après on vienne leur chercher des noises, ils évitant constamment la question en agitant les mains comme des demeurés et en faisant diversion "oh les réseaux de neurone c'est magique". Je dis ça en étant contre toute forme de PI hein, mais juste bordel les mecs soyez rigoureux un minimum c'est pas trop demandé

Wtf? L'image produite est nécessairement inédite dans le sens où l'assemblage particulier de pixels l'est. C'est pas une histoire de magie mais de bruit (tu donnes du bruit aléatoire unique en entrée, tu vas avoir quelque chose d'unique en sortie) et de paramètres du modèle (tu peux jouer avec pour te donner une idée si tu as e.g. une instance de stable diffusion). Elle peut bien sûr ressembler à une autre image connue comme illustré à mon post précédent ou même celui où j'essaie de faire du bruit aléatoire en output, mais ça ne sera jamais exactement la même image qu'un des samples utilisés pour l'entraînement.