Jump to content
Sekonda

GPT-3 et autres modèles générateurs de texte

Recommended Posts

GPT-2 de OpenAI avait déjà beaucoup fait parlé l'année dernière mais son successeur GPT qui a 100 fois plus de paramètres d'apprentissage est sensiblement plus impressionnant même s'il faut être conscient de ses limites (ce n'est pas la base d'une AI généraliste).

 

Les GPT-* (Generative Pretrained Transformer) sont des modèles Transformer de texte non-supervisés. "non-supervisés" veux dire qu'ils sont entrainés sur des données peu structurées et avec un minimum d'intervention humaine. Ils sont notamment très bons pour continuer un texte à partir du début ("imaginer" la suite) et pour faire du transfert de style (changer un texte "à la manière de"). 

 

Voici le meilleur résumé que j'ai trouvé : https://blog.inten.to/gpt-3-language-models-are-few-shot-learners-a13d1ae8b1f9

Quote

TL;DR (Executive Summary)

  • And you probably can’t even train it from scratch unless you have a very powerful infrastructure.
  • The GPT-3 architecture is mostly the same as GPT-2 one (there are minor differences, see below).
  • The largest GPT-3 model size is 100x larger than the largest GPT-2 model (175B vs. 1.5B parameters).
  • The authors do not use fine-tuning or any other task-specific training (except the LM task).
  • Instead, they condition the model with the task description and/or some demonstrations of the task. It is called “in-context learning”.
  • Essentially, they treat the [trained] model as an intelligent entity asking it to perform some task (described as text on the model’s input, possibly with one or more examples given as text as well), the model continues the text, and we treat this continuation as an answer.
  • Evaluation example for CoQA dataset:
  • 1*jkm86lHw5HhiL-NTZ0F9wA.png

 

Quelques exemples:

 

 

 

Ressources:

Le papier

Une intro sur les modèles de langage en général
WP sur ce type de modèle

Gwern qui a déjà beaucoup écrit sur le sujet

Une bonne liste d'exemples chez LessWrong

  • Yea 2

Share this post


Link to post
Share on other sites

Mon fil Twitter de rationalists/post-rats et tech bros de la silicon Valley est totalement hypée par le truc. Ça fait une semaine que c'est le sujet de conversation partout et je vois des exemples tous plus dingues les uns que les autres. 

 

Les applications, en particuliers en sciences humaines, me paraissent hallucinantes 

  • Yea 1

Share this post


Link to post
Share on other sites
Citation
Citation
  • Redditor shares an "AI Dungeon" game played with the new GPT-3 -based "Dragon Model", involving a cohesive story generated in response to their actions, with only a little manual editing.

 

 

OMG, on a même plus besoin de DM d'ici bientôt.

  • Yea 1

Share this post


Link to post
Share on other sites

memed-io-output.jpeg

Share this post


Link to post
Share on other sites

Ceci va avoir un impact absolument énorme dans les mois qui viennent. En fait, il y a tellement d'applications que c'est carrément affolant.

  • Yea 1

Share this post


Link to post
Share on other sites

oui, j'arrive toujours avec plus d'idées, un très con que j'ai vu:

- prends un genre fictif très bien calibré (genre roman harlequin)

- feed le logiciel avec 40 bouquins dans le ton que tu souhaites

- arrange un peu l'API pour lui faire avaler quelques structures narratives plus précises (genre le cercle de Harmon)

- rempli un formulaire avec les items (personnages, couleur de peau, cheveux, yeux, professions, etc...)

- écris un pitch de chaque chapitre (debut milieu fin)

- print et correction

- $$$$$

 

tu peux pondre de la romance à la chaine avec un input égal à 1 ou 2% du volume total du bouquin

  • Yea 2

Share this post


Link to post
Share on other sites

Je vois quelques trucs sympas:

 

- journalisme automatique avec par exemple un logiciel qui reconnait bien les voix et peut ensuite te pondre automatiquement après chaque interview, chaque émissions de télé, chaque allocution, un article propre et neutre sur qui a dit quoi

- en histoire, feed le logiciel avec les 20 meilleurs bouquins sur une période / un sujet précis, laisser l'ordi faire les connections, profit (a mon avis, quand on va faire une revue systématique des archives et des documents historiques qu'on possède, on va avoir des sacrées surprises)

- écrire des manuels en même temps que les cours: genre Robert Sapolsky fait son cours à Stanford, c'est capturé en visuel/audio, le logiciel écrit le manuel du cours tout seul. A la fin, on ajoute les illustrations et on retape (kassdédi à Pearson)

 

 

Mais pour moi le gros truc par dessus tout, c'est quand ce genre d'IA sera branchée avec un autre programme type google duplex et intgré sur un équipement de type smartphone/smartwatch. Concrètement, on pourra tous se balader avec son Jarvis personnel qui écoutera ce que tu dis et tu pourras juste lui dire "c'est à quelle heure mon rendez vous avec Fabrice ? Tu peux me faire un résumé de la conf-call de ce matin ? Envoie un SMS à ma femme, demande lui si elle veut du pain"

  • Yea 2

Share this post


Link to post
Share on other sites

Imagine l'impact en terme d'analyse de textes de lois, de production de textes d'analyse sur des données complexes, sur la découverte de diagnostics, etc... C'est absolument énorme.

https://twitter.com/quasimondo/status/1284509525500989445

 

https://twitter.com/QasimMunye/status/1278750809094750211

 

https://twitter.com/pavtalk/status/1285410751092416513?ref_src=twsrc^tfw

  • Yea 2

Share this post


Link to post
Share on other sites
il y a 19 minutes, NoName a dit :

Mais pour moi le gros truc par dessus tout, c'est quand ce genre d'IA sera branchée avec un autre programme type google duplex et intgré sur un équipement de type smartphone/smartwatch. Concrètement, on pourra tous se balader avec son Jarvis personnel qui écoutera ce que tu dis et tu pourras juste lui dire "c'est à quelle heure mon rendez vous avec Fabrice ? Tu peux me faire un résumé de la conf-call de ce matin ? Envoie un SMS à ma femme, demande lui si elle veut du pain"

Et imagine les dérives avec ça. 

il y a 26 minutes, NoName a dit :

oui, j'arrive toujours avec plus d'idées, un très con que j'ai vu:

- prends un genre fictif très bien calibré (genre roman harlequin)

- feed le logiciel avec 40 bouquins dans le ton que tu souhaites

- arrange un peu l'API pour lui faire avaler quelques structures narratives plus précises (genre le cercle de Harmon)

- rempli un formulaire avec les items (personnages, couleur de peau, cheveux, yeux, professions, etc...)

- écris un pitch de chaque chapitre (debut milieu fin)

- print et correction

- $$$$$

 

tu peux pondre de la romance à la chaine avec un input égal à 1 ou 2% du volume total du bouquin

-> tu peux faire le prochain Musso dans le genre.

Share this post


Link to post
Share on other sites
il y a 2 minutes, h16 a dit :

-> tu peux faire le prochain Musso dans le genre.

 

quand t'as parlé de Musso j'ai compris ça

 

mussolini.jpg?fit=1361,768&ssl=1

 

 

  

il y a 6 minutes, h16 a dit :

Imagine l'impact en terme d'analyse de textes de lois, de production de textes d'analyse sur des données complexes, sur la découverte de diagnostics, etc... C'est absolument énorme.

https://twitter.com/quasimondo/status/1284509525500989445

 

https://twitter.com/QasimMunye/status/1278750809094750211

 

https://twitter.com/pavtalk/status/1285410751092416513?ref_src=twsrc^tfw

 

d'ailleurs on en est où avec Watson d'IBM ?

  • Haha 1

Share this post


Link to post
Share on other sites
Il y a 3 heures, h16 a dit :

C'est impressionnant mais tout est faux pour les Etats. La population des Etats "devinée" par GPT3 est fausse, tout comme la date de fondation de l'Alaska.

J'ai du mal à voir les applications s'il faut vérifier systématiquement l'information et que les erreurs sont complètement imprévisibles.

Après, conceptuellement, ça pète et ça laisse espérer.

  • Yea 1

Share this post


Link to post
Share on other sites

 

Share this post


Link to post
Share on other sites

https://aiweirdness.com/post/621186154843324416/all-your-questions-answered

 

Citation

 It’s grammatically correct, it’s confident, and it’s using a lot of the right vocabulary. But it’s also almost completely wrong. I’m sure I’ve had conversations like this at parties. (At a lower creativity setting of 0.6, it was more often correct, but still not reliable).
So what does this mean? Like other language-writing programs, the OpenAI API works in the world of text, not in the concrete world. As far as it’s concerned, there’s no real difference between sounding correct and actually being correct. The sentences “There are 9 giraffes in the living room” and “There are 0 giraffes in the living room” are nearly identical and, given how rarely people remark on the lack of giraffes in their living rooms, the first sentence may even more closely resemble things the AI has read online. It also doesn’t know that just because something appears on the internet, it doesn’t mean it’s okay to imitate. The best applications will take this into account.

 

Share this post


Link to post
Share on other sites

Un truc qui me travaille : GPT c'est quand même très moche comme nom en français. Sans changer l'orthographe on pourrait traduire en "G-P-Tau" qui est bien plus classe (surtout dans le contexte).

Share this post


Link to post
Share on other sites
Il y a 12 heures, Neomatix a dit :

C'est impressionnant mais tout est faux pour les Etats. La population des Etats "devinée" par GPT3 est fausse, tout comme la date de fondation de l'Alaska.

J'ai du mal à voir les applications s'il faut vérifier systématiquement l'information et que les erreurs sont complètement imprévisibles.

Après, conceptuellement, ça pète et ça laisse espérer.

Moui c'est pas le résultat exact qui importe ici, c'est le fait que

a/ la question est comprise

b/ l'output correspond à ce qu'on attend (il n'est pas répondu "rose", "dog" ou "3.14159" par exemple)

c/ mieux encore, les ordres de grandeurs aussi (population par exemple, 3 correspond en nature mais pas en ordre de grandeur)

Sur le plan intellectuel, c'est un pas de géant en réalité. 

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Similar Content

    • By Sekonda
      Un économiste du GMU, physicien de formation. Bryan Caplan en dit "Quand un économiste typique me parle de ses dernières recherches, ma réaction usuelle est « Ok, peut-être », puis je l'oublie. Quand Robin Hanson me parle de ses dernières recherches, ma réaction usuelle est « C'est impossible ! », puis j'y pense pendant des années"
       
      Il est en autre connu pour son travail sur les marchés de prédictions et le concept futarchie qui en découle.
       
      Son blog :  Overcoming Bias
       
      The Age of Em: Work, Love and Life when Robots Rule the Earth (2016)
      http://ageofem.com/
       
      The Elephant in the Brain: Hidden Motives in Everyday Life (avec Kevin Simler) http://elephantinthebrain.com/
       
       
    • By 0100011
      Une étape importante vient d'être franchie par l'IA : un champion de go s'est fait rétamer par un logiciel. J'avoue que je suis surpris de voir comment cela a été rapide (on tablait plutôt pour 10/15 ans avant que ça arrive). Une rencontre est prévue contre celui qui est vu comme le meilleur joueur mondial en mars.
       
        Ce qui est étonnant est que la machine apprend plus ou moins en jouant contre elle-même (d'où le lient avec la singularité). D'ici mars la machine va progresser toute seule...
       
        L'article de Nature est là : http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html
×
×
  • Create New...