Jump to content

GPT-3 et autres modèles générateurs de texte


Recommended Posts

GPT-2 de OpenAI avait déjà beaucoup fait parlé l'année dernière mais son successeur GPT qui a 100 fois plus de paramètres d'apprentissage est sensiblement plus impressionnant même s'il faut être conscient de ses limites (ce n'est pas la base d'une AI généraliste).

 

Les GPT-* (Generative Pretrained Transformer) sont des modèles Transformer de texte non-supervisés. "non-supervisés" veux dire qu'ils sont entrainés sur des données peu structurées et avec un minimum d'intervention humaine. Ils sont notamment très bons pour continuer un texte à partir du début ("imaginer" la suite) et pour faire du transfert de style (changer un texte "à la manière de"). 

 

Voici le meilleur résumé que j'ai trouvé : https://blog.inten.to/gpt-3-language-models-are-few-shot-learners-a13d1ae8b1f9

Quote

TL;DR (Executive Summary)

  • And you probably can’t even train it from scratch unless you have a very powerful infrastructure.
  • The GPT-3 architecture is mostly the same as GPT-2 one (there are minor differences, see below).
  • The largest GPT-3 model size is 100x larger than the largest GPT-2 model (175B vs. 1.5B parameters).
  • The authors do not use fine-tuning or any other task-specific training (except the LM task).
  • Instead, they condition the model with the task description and/or some demonstrations of the task. It is called “in-context learning”.
  • Essentially, they treat the [trained] model as an intelligent entity asking it to perform some task (described as text on the model’s input, possibly with one or more examples given as text as well), the model continues the text, and we treat this continuation as an answer.
  • Evaluation example for CoQA dataset:
  • 1*jkm86lHw5HhiL-NTZ0F9wA.png

 

Quelques exemples:

 

 

 

Ressources:

Le papier

Une intro sur les modèles de langage en général
WP sur ce type de modèle

Gwern qui a déjà beaucoup écrit sur le sujet

Une bonne liste d'exemples chez LessWrong

  • Yea 2
Link to comment

Mon fil Twitter de rationalists/post-rats et tech bros de la silicon Valley est totalement hypée par le truc. Ça fait une semaine que c'est le sujet de conversation partout et je vois des exemples tous plus dingues les uns que les autres. 

 

Les applications, en particuliers en sciences humaines, me paraissent hallucinantes 

  • Yea 1
Link to comment
Citation
Citation
  • Redditor shares an "AI Dungeon" game played with the new GPT-3 -based "Dragon Model", involving a cohesive story generated in response to their actions, with only a little manual editing.

 

 

OMG, on a même plus besoin de DM d'ici bientôt.

  • Yea 1
Link to comment

oui, j'arrive toujours avec plus d'idées, un très con que j'ai vu:

- prends un genre fictif très bien calibré (genre roman harlequin)

- feed le logiciel avec 40 bouquins dans le ton que tu souhaites

- arrange un peu l'API pour lui faire avaler quelques structures narratives plus précises (genre le cercle de Harmon)

- rempli un formulaire avec les items (personnages, couleur de peau, cheveux, yeux, professions, etc...)

- écris un pitch de chaque chapitre (debut milieu fin)

- print et correction

- $$$$$

 

tu peux pondre de la romance à la chaine avec un input égal à 1 ou 2% du volume total du bouquin

  • Yea 2
Link to comment

Je vois quelques trucs sympas:

 

- journalisme automatique avec par exemple un logiciel qui reconnait bien les voix et peut ensuite te pondre automatiquement après chaque interview, chaque émissions de télé, chaque allocution, un article propre et neutre sur qui a dit quoi

- en histoire, feed le logiciel avec les 20 meilleurs bouquins sur une période / un sujet précis, laisser l'ordi faire les connections, profit (a mon avis, quand on va faire une revue systématique des archives et des documents historiques qu'on possède, on va avoir des sacrées surprises)

- écrire des manuels en même temps que les cours: genre Robert Sapolsky fait son cours à Stanford, c'est capturé en visuel/audio, le logiciel écrit le manuel du cours tout seul. A la fin, on ajoute les illustrations et on retape (kassdédi à Pearson)

 

 

Mais pour moi le gros truc par dessus tout, c'est quand ce genre d'IA sera branchée avec un autre programme type google duplex et intgré sur un équipement de type smartphone/smartwatch. Concrètement, on pourra tous se balader avec son Jarvis personnel qui écoutera ce que tu dis et tu pourras juste lui dire "c'est à quelle heure mon rendez vous avec Fabrice ? Tu peux me faire un résumé de la conf-call de ce matin ? Envoie un SMS à ma femme, demande lui si elle veut du pain"

  • Yea 2
Link to comment

Imagine l'impact en terme d'analyse de textes de lois, de production de textes d'analyse sur des données complexes, sur la découverte de diagnostics, etc... C'est absolument énorme.

https://twitter.com/quasimondo/status/1284509525500989445

 

https://twitter.com/QasimMunye/status/1278750809094750211

 

https://twitter.com/pavtalk/status/1285410751092416513?ref_src=twsrc^tfw

  • Yea 2
Link to comment
il y a 19 minutes, NoName a dit :

Mais pour moi le gros truc par dessus tout, c'est quand ce genre d'IA sera branchée avec un autre programme type google duplex et intgré sur un équipement de type smartphone/smartwatch. Concrètement, on pourra tous se balader avec son Jarvis personnel qui écoutera ce que tu dis et tu pourras juste lui dire "c'est à quelle heure mon rendez vous avec Fabrice ? Tu peux me faire un résumé de la conf-call de ce matin ? Envoie un SMS à ma femme, demande lui si elle veut du pain"

Et imagine les dérives avec ça. 

il y a 26 minutes, NoName a dit :

oui, j'arrive toujours avec plus d'idées, un très con que j'ai vu:

- prends un genre fictif très bien calibré (genre roman harlequin)

- feed le logiciel avec 40 bouquins dans le ton que tu souhaites

- arrange un peu l'API pour lui faire avaler quelques structures narratives plus précises (genre le cercle de Harmon)

- rempli un formulaire avec les items (personnages, couleur de peau, cheveux, yeux, professions, etc...)

- écris un pitch de chaque chapitre (debut milieu fin)

- print et correction

- $$$$$

 

tu peux pondre de la romance à la chaine avec un input égal à 1 ou 2% du volume total du bouquin

-> tu peux faire le prochain Musso dans le genre.

Link to comment
il y a 2 minutes, h16 a dit :

-> tu peux faire le prochain Musso dans le genre.

 

quand t'as parlé de Musso j'ai compris ça

 

mussolini.jpg?fit=1361,768&ssl=1

 

 

  

il y a 6 minutes, h16 a dit :

Imagine l'impact en terme d'analyse de textes de lois, de production de textes d'analyse sur des données complexes, sur la découverte de diagnostics, etc... C'est absolument énorme.

https://twitter.com/quasimondo/status/1284509525500989445

 

https://twitter.com/QasimMunye/status/1278750809094750211

 

https://twitter.com/pavtalk/status/1285410751092416513?ref_src=twsrc^tfw

 

d'ailleurs on en est où avec Watson d'IBM ?

  • Haha 1
Link to comment
Il y a 3 heures, h16 a dit :

C'est impressionnant mais tout est faux pour les Etats. La population des Etats "devinée" par GPT3 est fausse, tout comme la date de fondation de l'Alaska.

J'ai du mal à voir les applications s'il faut vérifier systématiquement l'information et que les erreurs sont complètement imprévisibles.

Après, conceptuellement, ça pète et ça laisse espérer.

  • Yea 1
Link to comment

https://aiweirdness.com/post/621186154843324416/all-your-questions-answered

 

Citation

 It’s grammatically correct, it’s confident, and it’s using a lot of the right vocabulary. But it’s also almost completely wrong. I’m sure I’ve had conversations like this at parties. (At a lower creativity setting of 0.6, it was more often correct, but still not reliable).
So what does this mean? Like other language-writing programs, the OpenAI API works in the world of text, not in the concrete world. As far as it’s concerned, there’s no real difference between sounding correct and actually being correct. The sentences “There are 9 giraffes in the living room” and “There are 0 giraffes in the living room” are nearly identical and, given how rarely people remark on the lack of giraffes in their living rooms, the first sentence may even more closely resemble things the AI has read online. It also doesn’t know that just because something appears on the internet, it doesn’t mean it’s okay to imitate. The best applications will take this into account.

 

Link to comment

Un truc qui me travaille : GPT c'est quand même très moche comme nom en français. Sans changer l'orthographe on pourrait traduire en "G-P-Tau" qui est bien plus classe (surtout dans le contexte).

Link to comment
Il y a 12 heures, Neomatix a dit :

C'est impressionnant mais tout est faux pour les Etats. La population des Etats "devinée" par GPT3 est fausse, tout comme la date de fondation de l'Alaska.

J'ai du mal à voir les applications s'il faut vérifier systématiquement l'information et que les erreurs sont complètement imprévisibles.

Après, conceptuellement, ça pète et ça laisse espérer.

Moui c'est pas le résultat exact qui importe ici, c'est le fait que

a/ la question est comprise

b/ l'output correspond à ce qu'on attend (il n'est pas répondu "rose", "dog" ou "3.14159" par exemple)

c/ mieux encore, les ordres de grandeurs aussi (population par exemple, 3 correspond en nature mais pas en ordre de grandeur)

Sur le plan intellectuel, c'est un pas de géant en réalité. 

 

Link to comment
  • 11 months later...

J'ai pas encore lu l'article (j'ai feuilleté en diagonale) mais d'après ce que je vois on est sur quelque chose de fort intéressant. 

https://www.sfchronicle.com/projects/2021/jessica-simulation-artificial-intelligence/

 

Est-ce que le concept même de Test de Turing fonctionne encore avec les générateurs de texte ? Sachant qu'on les gave de texte humain pour qu'ils imitent les humains, c'est normal d'obtenir des trucs qui s'expriment presque comme des humains 

 

En tout cas si on retient comme limite sérieuse à l'artificialité le test de Turing, on s'approche à vitesse grand V des premiers chatbot qui seront concrètement impossible à distinguer d'un humain normal

Link to comment
2 hours ago, NoName said:

J'ai pas encore lu l'article (j'ai feuilleté en diagonale) mais d'après ce que je vois on est sur quelque chose de fort intéressant. 

https://www.sfchronicle.com/projects/2021/jessica-simulation-artificial-intelligence/

 

Est-ce que le concept même de Test de Turing fonctionne encore avec les générateurs de texte ? Sachant qu'on les gave de texte humain pour qu'ils imitent les humains, c'est normal d'obtenir des trucs qui s'expriment presque comme des humains 

 

En tout cas si on retient comme limite sérieuse à l'artificialité le test de Turing, on s'approche à vitesse grand V des premiers chatbot qui seront concrètement impossible à distinguer d'un humain normal

Non, le test de Turing ne concerne pas que le problème de génération de texte, mais surtout la compréhension de l'autre, la capacité à saisir le contexte et à participer à la direction de la conversation.

Répondre à une question dont on trouve la réponse sur wikipedia c'est une chose être capable de raconter un souvenir en est une autre.

Link to comment

Moi ce que j'avais retenu du test de Turing c'était l'idée que si tu discute avec le robot et que tu n'arrives pas à faire la différence avec un être humain, alors on peut considérer qu'il est de niveau intellectuel équivalent.

Link to comment
Il y a 9 heures, Noob a dit :

Non, le test de Turing ne concerne pas que le problème de génération de texte, mais surtout la compréhension de l'autre, la capacité à saisir le contexte et à participer à la direction de la conversation.

Répondre à une question dont on trouve la réponse sur wikipedia c'est une chose être capable de raconter un souvenir en est une autre.

Oui ca a toujours pas bougé depuis mon pamphlet sur alphago au final. Il s'agit de savoir si le robot approche des capacités humaines, pas de savoir s'il sert de ses artifices de robot pour donner le change: dans SC2 , le soft n'oublie rien et voit des indices d'un coup d'oeil, et peut faire 300 actions réellement différentes en 1 minute, plein de trucs que les humains ne savent pas faire , et qui donnent le change dans un match. Ici , on a une data monstrueuse en backend d'un modèle d'apprentissage incroyable, c'est un outil absolument génial, ca ressemble pas vraiment au fonctionnement humain pour autant. Le jour ou il fait de lui même un jeu de mot magique sans historique ni variation simple, dans une conversation qui n'a rien à voir, et sans objectif d'avoir été codé pour, on en reparle.

  • Yea 3
Link to comment
2 hours ago, NoName said:

Moi ce que j'avais retenu du test de Turing c'était l'idée que si tu discute avec le robot et que tu n'arrives pas à faire la différence avec un être humain, alors on peut considérer qu'il est de niveau intellectuel équivalent.

Oui justement, et pour ça il faut que la discussion ne soit pas exclusivement dirigée par l'humain. Si après 30 secondes tu as de nouveau l'impression d'être face à Siri, le test est raté.

Link to comment
  • 3 weeks later...
Le 24/07/2021 à 10:42, Prouic a dit :

Oui ca a toujours pas bougé depuis mon pamphlet sur alphago au final. Il s'agit de savoir si le robot approche des capacités humaines, pas de savoir s'il sert de ses artifices de robot pour donner le change: dans SC2 , le soft n'oublie rien et voit des indices d'un coup d'oeil, et peut faire 300 actions réellement différentes en 1 minute, plein de trucs que les humains ne savent pas faire , et qui donnent le change dans un match. Ici , on a une data monstrueuse en backend d'un modèle d'apprentissage incroyable, c'est un outil absolument génial, ca ressemble pas vraiment au fonctionnement humain pour autant. Le jour ou il fait de lui même un jeu de mot magique sans historique ni variation simple, dans une conversation qui n'a rien à voir, et sans objectif d'avoir été codé pour, on en reparle.

Mmhm il faut faire attention parce que certaines conversations avec de vrais humains ne parviennent pas à ce critère, par exemple.

En gros, on se demande si on n'est plus déjà en train de chercher une discussion avec une IA d'un QI (ou mesure approchante) supérieur à la moyenne.

Link to comment

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...