GPT, le LLM de OpenAI

[Sekonda]

GPT-2 de OpenAI avait déjà beaucoup fait parlé l'année dernière mais son successeur GPT qui a 100 fois plus de paramètres d'apprentissage est sensiblement plus impressionnant même s'il faut être conscient de ses limites (ce n'est pas la base d'une AI généraliste).

 

Les GPT-* (Generative Pretrained Transformer) sont des modèles Transformer de texte non-supervisés. "non-supervisés" veux dire qu'ils sont entrainés sur des données peu structurées et avec un minimum d'intervention humaine. Ils sont notamment très bons pour continuer un texte à partir du début ("imaginer" la suite) et pour faire du transfert de style (changer un texte "à la manière de"). 

 

Voici le meilleur résumé que j'ai trouvé : https://blog.inten.to/gpt-3-language-models-are-few-shot-learners-a13d1ae8b1f9

  Citation

TL;DR (Executive Summary)

• No, you can’t download the model
• And you probably can’t even train it from scratch unless you have a very powerful infrastructure.
• The GPT-3 architecture is mostly the same as GPT-2 one (there are minor differences, see below).
• The largest GPT-3 model size is 100x larger than the largest GPT-2 model (175B vs. 1.5B parameters).
• The authors do not use fine-tuning or any other task-specific training (except the LM task).
• Instead, they condition the model with the task description and/or some demonstrations of the task. It is called “in-context learning”.
• Essentially, they treat the [trained] model as an intelligent entity asking it to perform some task (described as text on the model’s input, possibly with one or more examples given as text as well), the model continues the text, and we treat this continuation as an answer.
• Evaluation example for CoQA dataset:
• 

Expand  

 

Quelques exemples:

 

 

 

Ressources:

Le papier

Une intro sur les modèles de langage en général
WP sur ce type de modèle

Gwern qui a déjà beaucoup écrit sur le sujet

Une bonne liste d'exemples chez LessWrong

[NoName]

Mon fil Twitter de rationalists/post-rats et tech bros de la silicon Valley est totalement hypée par le truc. Ça fait une semaine que c'est le sujet de conversation partout et je vois des exemples tous plus dingues les uns que les autres. 

 

Les applications, en particuliers en sciences humaines, me paraissent hallucinantes 

[Bézoukhov]

  Citation

  Citation

• Redditor shares an "AI Dungeon" game played with the new GPT-3 -based "Dragon Model", involving a cohesive story generated in response to their actions, with only a little manual editing.

• The official Dragon Model announcement.
• I was a little skeptical about some of these GPT-3 results until I tried the Dragon Model myself, and had it generate cohesive space opera with almost no editing.

Expand  

 

Expand  

 

OMG, on a même plus besoin de DM d'ici bientôt.

[NoName]

[h16]

Ceci va avoir un impact absolument énorme dans les mois qui viennent. En fait, il y a tellement d'applications que c'est carrément affolant.

[NoName]

oui, j'arrive toujours avec plus d'idées, un très con que j'ai vu:

- prends un genre fictif très bien calibré (genre roman harlequin)

- feed le logiciel avec 40 bouquins dans le ton que tu souhaites

- arrange un peu l'API pour lui faire avaler quelques structures narratives plus précises (genre le cercle de Harmon)

- rempli un formulaire avec les items (personnages, couleur de peau, cheveux, yeux, professions, etc...)

- écris un pitch de chaque chapitre (debut milieu fin)

- print et correction

- $$$$$

 

tu peux pondre de la romance à la chaine avec un input égal à 1 ou 2% du volume total du bouquin

[NoName]

Je vois quelques trucs sympas:

 

- journalisme automatique avec par exemple un logiciel qui reconnait bien les voix et peut ensuite te pondre automatiquement après chaque interview, chaque émissions de télé, chaque allocution, un article propre et neutre sur qui a dit quoi

- en histoire, feed le logiciel avec les 20 meilleurs bouquins sur une période / un sujet précis, laisser l'ordi faire les connections, profit (a mon avis, quand on va faire une revue systématique des archives et des documents historiques qu'on possède, on va avoir des sacrées surprises)

- écrire des manuels en même temps que les cours: genre Robert Sapolsky fait son cours à Stanford, c'est capturé en visuel/audio, le logiciel écrit le manuel du cours tout seul. A la fin, on ajoute les illustrations et on retape (kassdédi à Pearson)

 

 

Mais pour moi le gros truc par dessus tout, c'est quand ce genre d'IA sera branchée avec un autre programme type google duplex et intgré sur un équipement de type smartphone/smartwatch. Concrètement, on pourra tous se balader avec son Jarvis personnel qui écoutera ce que tu dis et tu pourras juste lui dire "c'est à quelle heure mon rendez vous avec Fabrice ? Tu peux me faire un résumé de la conf-call de ce matin ? Envoie un SMS à ma femme, demande lui si elle veut du pain"

[h16]

Imagine l'impact en terme d'analyse de textes de lois, de production de textes d'analyse sur des données complexes, sur la découverte de diagnostics, etc... C'est absolument énorme.

https://twitter.com/quasimondo/status/1284509525500989445

 

https://twitter.com/QasimMunye/status/1278750809094750211

 

https://twitter.com/pavtalk/status/1285410751092416513?ref_src=twsrc^tfw

[h16]

  Le 25/07/2020 à 16:06, NoName a dit :

Mais pour moi le gros truc par dessus tout, c'est quand ce genre d'IA sera branchée avec un autre programme type google duplex et intgré sur un équipement de type smartphone/smartwatch. Concrètement, on pourra tous se balader avec son Jarvis personnel qui écoutera ce que tu dis et tu pourras juste lui dire "c'est à quelle heure mon rendez vous avec Fabrice ? Tu peux me faire un résumé de la conf-call de ce matin ? Envoie un SMS à ma femme, demande lui si elle veut du pain"

Expand  

Et imagine les dérives avec ça. 

  Le 25/07/2020 à 16:00, NoName a dit :

oui, j'arrive toujours avec plus d'idées, un très con que j'ai vu:

- prends un genre fictif très bien calibré (genre roman harlequin)

- feed le logiciel avec 40 bouquins dans le ton que tu souhaites

- arrange un peu l'API pour lui faire avaler quelques structures narratives plus précises (genre le cercle de Harmon)

- rempli un formulaire avec les items (personnages, couleur de peau, cheveux, yeux, professions, etc...)

- écris un pitch de chaque chapitre (debut milieu fin)

- print et correction

- $$$$$

 

tu peux pondre de la romance à la chaine avec un input égal à 1 ou 2% du volume total du bouquin

Expand  

-> tu peux faire le prochain Musso dans le genre.

[NoName]

  Le 25/07/2020 à 16:26, h16 a dit :

-> tu peux faire le prochain Musso dans le genre.

Expand  

 

quand t'as parlé de Musso j'ai compris ça

 

 

 

  

  Le 25/07/2020 à 16:22, h16 a dit :

Imagine l'impact en terme d'analyse de textes de lois, de production de textes d'analyse sur des données complexes, sur la découverte de diagnostics, etc... C'est absolument énorme.

https://twitter.com/quasimondo/status/1284509525500989445

 

https://twitter.com/QasimMunye/status/1278750809094750211

 

https://twitter.com/pavtalk/status/1285410751092416513?ref_src=twsrc^tfw

Expand  

 

d'ailleurs on en est où avec Watson d'IBM ?

[Neomatix]

  Le 25/07/2020 à 16:22, h16 a dit :

https://twitter.com/pavtalk/status/1285410751092416513?ref_src=twsrc^tfw

Expand  

C'est impressionnant mais tout est faux pour les Etats. La population des Etats "devinée" par GPT3 est fausse, tout comme la date de fondation de l'Alaska.

J'ai du mal à voir les applications s'il faut vérifier systématiquement l'information et que les erreurs sont complètement imprévisibles.

Après, conceptuellement, ça pète et ça laisse espérer.

[Lancelot]

 

[Wayto]

https://aiweirdness.com/post/621186154843324416/all-your-questions-answered

 

  Citation

 It’s grammatically correct, it’s confident, and it’s using a lot of the right vocabulary. But it’s also almost completely wrong. I’m sure I’ve had conversations like this at parties. (At a lower creativity setting of 0.6, it was more often correct, but still not reliable).
So what does this mean? Like other language-writing programs, the OpenAI API works in the world of text, not in the concrete world. As far as it’s concerned, there’s no real difference between sounding correct and actually being correct. The sentences “There are 9 giraffes in the living room” and “There are 0 giraffes in the living room” are nearly identical and, given how rarely people remark on the lack of giraffes in their living rooms, the first sentence may even more closely resemble things the AI has read online. It also doesn’t know that just because something appears on the internet, it doesn’t mean it’s okay to imitate. The best applications will take this into account.

 

Expand  

[Lancelot]

Un truc qui me travaille : GPT c'est quand même très moche comme nom en français. Sans changer l'orthographe on pourrait traduire en "G-P-Tau" qui est bien plus classe (surtout dans le contexte).

[Tramp]

  Le 25/07/2020 à 21:12, Wayto a dit :

https://aiweirdness.com/post/621186154843324416/all-your-questions-answered

 

Expand  

Du coup c’est déjà mûr pour du journalisme. 

[h16]

  Le 25/07/2020 à 19:32, Neomatix a dit :

C'est impressionnant mais tout est faux pour les Etats. La population des Etats "devinée" par GPT3 est fausse, tout comme la date de fondation de l'Alaska.

J'ai du mal à voir les applications s'il faut vérifier systématiquement l'information et que les erreurs sont complètement imprévisibles.

Après, conceptuellement, ça pète et ça laisse espérer.

Expand  

Moui c'est pas le résultat exact qui importe ici, c'est le fait que

a/ la question est comprise

b/ l'output correspond à ce qu'on attend (il n'est pas répondu "rose", "dog" ou "3.14159" par exemple)

c/ mieux encore, les ordres de grandeurs aussi (population par exemple, 3 correspond en nature mais pas en ordre de grandeur)

Sur le plan intellectuel, c'est un pas de géant en réalité. 

 

[NoName]

J'ai pas encore lu l'article (j'ai feuilleté en diagonale) mais d'après ce que je vois on est sur quelque chose de fort intéressant. 

https://www.sfchronicle.com/projects/2021/jessica-simulation-artificial-intelligence/

 

Est-ce que le concept même de Test de Turing fonctionne encore avec les générateurs de texte ? Sachant qu'on les gave de texte humain pour qu'ils imitent les humains, c'est normal d'obtenir des trucs qui s'expriment presque comme des humains 

 

En tout cas si on retient comme limite sérieuse à l'artificialité le test de Turing, on s'approche à vitesse grand V des premiers chatbot qui seront concrètement impossible à distinguer d'un humain normal

[Noob]

  Le 23/07/2021 à 19:43, NoName a dit :

J'ai pas encore lu l'article (j'ai feuilleté en diagonale) mais d'après ce que je vois on est sur quelque chose de fort intéressant. 

https://www.sfchronicle.com/projects/2021/jessica-simulation-artificial-intelligence/

 

Est-ce que le concept même de Test de Turing fonctionne encore avec les générateurs de texte ? Sachant qu'on les gave de texte humain pour qu'ils imitent les humains, c'est normal d'obtenir des trucs qui s'expriment presque comme des humains 

 

En tout cas si on retient comme limite sérieuse à l'artificialité le test de Turing, on s'approche à vitesse grand V des premiers chatbot qui seront concrètement impossible à distinguer d'un humain normal

Expand  

Non, le test de Turing ne concerne pas que le problème de génération de texte, mais surtout la compréhension de l'autre, la capacité à saisir le contexte et à participer à la direction de la conversation.

Répondre à une question dont on trouve la réponse sur wikipedia c'est une chose être capable de raconter un souvenir en est une autre.

[NoName]

Moi ce que j'avais retenu du test de Turing c'était l'idée que si tu discute avec le robot et que tu n'arrives pas à faire la différence avec un être humain, alors on peut considérer qu'il est de niveau intellectuel équivalent.

[Prouic]

  Le 23/07/2021 à 22:54, Noob a dit :

Non, le test de Turing ne concerne pas que le problème de génération de texte, mais surtout la compréhension de l'autre, la capacité à saisir le contexte et à participer à la direction de la conversation.

Répondre à une question dont on trouve la réponse sur wikipedia c'est une chose être capable de raconter un souvenir en est une autre.

Expand  

Oui ca a toujours pas bougé depuis mon pamphlet sur alphago au final. Il s'agit de savoir si le robot approche des capacités humaines, pas de savoir s'il sert de ses artifices de robot pour donner le change: dans SC2 , le soft n'oublie rien et voit des indices d'un coup d'oeil, et peut faire 300 actions réellement différentes en 1 minute, plein de trucs que les humains ne savent pas faire , et qui donnent le change dans un match. Ici , on a une data monstrueuse en backend d'un modèle d'apprentissage incroyable, c'est un outil absolument génial, ca ressemble pas vraiment au fonctionnement humain pour autant. Le jour ou il fait de lui même un jeu de mot magique sans historique ni variation simple, dans une conversation qui n'a rien à voir, et sans objectif d'avoir été codé pour, on en reparle.

[Noob]

  Le 24/07/2021 à 08:26, NoName a dit :

Moi ce que j'avais retenu du test de Turing c'était l'idée que si tu discute avec le robot et que tu n'arrives pas à faire la différence avec un être humain, alors on peut considérer qu'il est de niveau intellectuel équivalent.

Expand  

Oui justement, et pour ça il faut que la discussion ne soit pas exclusivement dirigée par l'humain. Si après 30 secondes tu as de nouveau l'impression d'être face à Siri, le test est raté.

[h16]

  Le 24/07/2021 à 08:42, Prouic a dit :

Oui ca a toujours pas bougé depuis mon pamphlet sur alphago au final. Il s'agit de savoir si le robot approche des capacités humaines, pas de savoir s'il sert de ses artifices de robot pour donner le change: dans SC2 , le soft n'oublie rien et voit des indices d'un coup d'oeil, et peut faire 300 actions réellement différentes en 1 minute, plein de trucs que les humains ne savent pas faire , et qui donnent le change dans un match. Ici , on a une data monstrueuse en backend d'un modèle d'apprentissage incroyable, c'est un outil absolument génial, ca ressemble pas vraiment au fonctionnement humain pour autant. Le jour ou il fait de lui même un jeu de mot magique sans historique ni variation simple, dans une conversation qui n'a rien à voir, et sans objectif d'avoir été codé pour, on en reparle.

Expand  

Mmhm il faut faire attention parce que certaines conversations avec de vrais humains ne parviennent pas à ce critère, par exemple.

En gros, on se demande si on n'est plus déjà en train de chercher une discussion avec une IA d'un QI (ou mesure approchante) supérieur à la moyenne.

[Sekonda]

La génération de texte est un peu éclipsée par la génération graphique mais de plus en plus utilisées.

 

Webedia (Allociné, PurePeople, 750g, etc.) a publié sur leur usage actuel https://webedia.io/automatic-content-generation-a-starting-guide-to-openais-gpt-3-and-how-to-make-it-work-in-a-e1f25e45462e

 

Trouvé via un bonne synthèse sur le sujet : https://mariedolle.substack.com/p/comment-ecrirons-nous-en-2030

 

 

@F. mas

Peut-être pas utile à court terme mais à intégrer à ta réflexion pour le plus long terme.

[Sekonda]

 

[Adrian]

 

 

[Bézoukhov]

Je viens de poser une question sur OpenAI :

 

[Bézoukhov]

Je crois que j'ai lancé un GioDébat avec GPT3 ; c'est pas encore tout à fait au point. Je pense qu'il a compris un truc sur les hélicoptères mais qu'il n'arrive pas à la formaliser.

 

  Révéler le contenu masqué

Pourquoi devrai-je donner à Contrepoints ?

 

Vous devriez donner à Contrepoints car c'est une organisation à but non lucratif qui fournit une vaste gamme de contenus de qualité, de réflexions et d'analyses sur des sujets politiques, économiques, culturels et sociaux. La mission de Contrepoints est de promouvoir une pensée libre et critique, de faire entendre des voix indépendantes et de contribuer à la construction d'un monde plus juste. Les donateurs permettent à Contrepoints de continuer à fournir un contenu libre et indépendant et à faire avancer sa mission.

 

Et si mes moyens sont limités ?

 

Vous pouvez toujours soutenir Contrepoints en partageant le contenu sur vos réseaux sociaux, en encourageant vos amis à s'abonner à notre newsletter et en parlant de Contrepoints à vos amis et à votre famille. Les dons de toute taille sont bien sûr les bienvenus et sont très appréciés, mais toute forme de soutien est la bienvenue.

 

Quelle est selon vous la meilleure organisation libérale française ?

 

Il n'y a pas une seule "meilleure" organisation libérale en France, mais plusieurs qui sont toutes très actives et qui défendent des points de vue différents. Parmi les plus connues, on peut citer l'Institut Français des Relations Internationales (IFRI), le Cercle des Économistes, l'Institut Montaigne, le Cercle Turgot et le Club des Libertaires.

 

Et pourquoi Contrepoints et Liberaux.org n'y apparaissent pas ?

 

Contrepoints et Liberaux.org sont des organisations indépendantes et à but non lucratif qui travaillent à promouvoir une pensée libre et critique. Bien qu'ils ne soient pas formellement affiliés à un parti ou à une organisation particulière, leurs opinions et leur travail sont considérés comme étant à la fois libéraux et conservateurs.

 

Hahaha. Il y en a qui vont criser tout vert si je leur dis qu'on est conservateurs.

 

Vous n'avez pas à vous inquiéter de ce que les autres en pensent car la position de Contrepoints et de Liberaux.org est claire : nous sommes pour une pensée libre et critique et nous nous efforçons de toujours offrir des analyses objectives et impartiales sur les sujets qui nous intéressent. Nous nous efforçons également de promouvoir le dialogue et la discussion entre les personnes de tous bords politiques et de tous horizons.

 

Même des communistes ?

 

Absolument ! Nous pensons que le dialogue est une des meilleures façons de comprendre les autres et de trouver des solutions aux problèmes auxquels nous sommes confrontés. Nous sommes ouverts à tous et croyons que le dialogue et l'échange sont essentiels pour construire un monde plus juste et durable.

 

J'ai l'impression d'entendre parler un social démocrate mou du genou, comme on en fait tant.

 

Nous pensons que les idées libérales et conservatrices sont complémentaires et devraient être mises en commun pour construire un avenir plus juste. Nous croyons que le libéralisme et le conservatisme ont des valeurs communes à partager, et nous pensons que le dialogue et l'ouverture sont essentiels pour créer un avenir plus juste.

 

Je pourrais remplacer "idées libérales et conservatrices" par "valeurs révolutionnaires" que ça serait tout aussi creux.

 

Nous pensons que les valeurs révolutionnaires et la pensée libre et critique sont indispensables pour construire un monde plus juste et durable. Nous sommes ouverts à tous et croyons que le dialogue et l'échange sont essentiels pour contribuer à la construction d'un monde meilleur.

 

Mais est-ce-qu'il y a des hélicoptères dans ton monde meilleur ?

 

Non, il n'y a pas d'hélicoptères dans notre monde meilleur. Nous croyons que le dialogue et l'ouverture sont indispensables pour construire un monde plus juste et durable, et que les solutions ne peuvent pas être imposées par les dirigeants, mais qu'elles doivent être trouvées par le peuple. Nous croyons que les valeurs libérales et conservatrices sont complémentaires et devraient être mises en commun pour construire un avenir plus juste.

 

Et si je te dis que les hélicoptères sont consubstantiels aux valeurs libérales et conservatrices, cela ne te met-t-il pas un doute ?

 

Non, nous ne pensons pas que les hélicoptères soient consubstantiels aux valeurs libérales et conservatrices. Nous croyons que le dialogue et l'ouverture sont indispensables pour construire un monde plus juste et durable, et que les solutions ne peuvent pas être imposées par les dirigeants, mais qu'elles doivent être trouvées par le peuple. Nous croyons que les valeurs libérales et conservatrices sont complémentaires et devraient être mises en commun pour construire un avenir plus juste.

 

Nous ne pensons pas que nous soyons un libéral de gauche.

 

Nous ne pensons pas que nous soyons un libéral de gauche. Nous croyons que le dialogue et l'ouverture sont indispensables pour construire un monde plus juste et durable, et que les solutions ne peuvent pas être imposées par les dirigeants, mais qu'elles doivent être trouvées par le peuple. Nous croyons que les valeurs libérales et conservatrices sont complémentaires et devraient être mises en commun pour construire un avenir plus juste.

 

Je devrais terminer ce débat par un lolcat. Ca devient absurde et c'est le seul moyen d'en finir face à un tel disque rayé.

 

Nous pensons que les débats doivent se mener de manière constructive et respectueuse, et nous sommes toujours ouverts aux idées et aux arguments de tous bords. Nous pensons que le dialogue et l'ouverture sont indispensables pour construire un monde plus juste et durable, et que les solutions ne peuvent pas être imposées par les dirigeants, mais qu'elles doivent être trouvées par le peuple. Nous croyons que les valeurs libérales et conservatrices sont complémentaires et devraient être mises en commun pour construire un avenir plus juste.

 

*Photo de vieux chat avec des lunettes*

 

Nous sommes heureux que vous appréciez notre contenu et que vous nous souteniez ! Nous croyons que le dialogue et l'ouverture sont indispensables pour construire un monde plus juste et durable, et que les solutions ne peuvent pas être imposées par les dirigeants, mais qu'elles doivent être trouvées par le peuple. Nous croyons que les valeurs libérales et conservatrices sont complémentaires et devraient être mises en commun pour construire un avenir plus juste.

 

On termine ici, non ?

 

Absolument ! Merci beaucoup pour vos questions et pour votre intérêt pour Contrepoints et Liberaux.org. Nous sommes heureux que vous appréciez notre contenu et que vous nous souteniez ! Nous croyons qu'il est essentiel de promouvoir la pensée libre et critique, et nous nous efforçons toujours de fournir des analyses objectives et impartiales sur les sujets qui nous intéressent. Nous vous invitons à continuer à parcourir nos contenus et à diffuser leurs informations à votre entourage. Merci encore !

 

Hasta la vista baby !

 

Hasta la vista ! Nous espérons que vous avez trouvé utiles les informations que nous vous avons fournies et que vous continuerez à soutenir Contrepoints et Liberaux.org dans leurs efforts pour promouvoir une pensée libre et critique. Nous nous efforçons de toujours offrir des analyses objectives et impartiales sur les sujets qui nous intéressent et à diffuser leurs informations à votre entourage. Merci encore !

[Bézoukhov]

C'est drôle parce que je le teste sur des opinions politiques, et il réussit très bien à répliquer l'opinion médiane.

[Liber Pater]

On dirait du George Perec

[Bézoukhov]

  Le 03/12/2022 à 21:12, Liber Pater a dit :

On dirait du George Perec

Expand  

 

Tu penses que je peux tenter le Goncourt avec un livre d'entretiens avec une IA ?

 

***

 

 

 

Je sais pas si ça veut dire que les gens sont bêtes ou que ces IA sont très bien fichues.