GPT-3 et autres modèles générateurs de texte

[Adrian]

Que pense chatgpt des lacs soulevables ?

[Raffarin2012]

Il y a de la marge mais c'est bluffant.

 

Citation

Write a very short science-fiction story.

 

The alien ship loomed large in the night sky, its ominous presence a reminder of the danger that lurked beyond Earth's atmosphere. The human race had never seen anything like it before, and some feared it was the beginning of a hostile takeover. But when the ship opened, something unexpected happened. A small, humanoid figure stepped out, carrying a bundle of strange objects. It was a peaceful visitor, offering gifts to the people of Earth, a sign of friendship and hope for the future

 

[WBell]

Chat-GPT est redoutable. Je dois manipuler des langages relativement obscurs dans le cadre du boulot, pour lesquels les profils sont introuvables. En posant les bonnes questions et en itérant sur les réponses, on arrive à lui faire sortir des scripts compilable, qui font des choses non-triviales. 

Ça me refait penser à ce que cette phrase sur Twitter disait : "lorsque les frères Wright ont réussi à voler, le monde ne réalisait pas les conséquences de cette réussite". 

[NoName]

J'ai personnellement réussi à lui faire créer une série simple et très basique rapide de questions sur l'empire carolingien juste pour voir et le résultat est top tier évidemment. Les profs sont mal barrés.

 

Également réussi à lui faire écrire un petit problème de SQL pour s'entraîner et à priori il me ressort de bonnes réponses et de bons exemples. 

 

Je suis pratiquement sur que je vais tripoter ChatGPT ces prochains jours pour lui faire cracher des ewos excels pour m'habituer à manipuler des trucs que j'ai pas l'habitude mais dans tous les cas je sens déjà que ça va être incroyable. 

 

Correctement couplé avec des logiciels d'apprentissage créés sur mesure, on va pouvoir literallement demander à ce type de LLM de nous faire faire des demos live de logiciels connus exactement calibrés pour ton niveau.

 

C'est très littéralement Le Manuel de l'Age de Diamant qui est à portée de main là.

 

La formation online et l'école telle qu'on l'a connaît sont doomed. Ça n'est plus qu'une question de temps. Si ça se trouve dans 50 ans on verra l'école d'aujourd'hui de la même manière qu'on regarde les enfants aux champs aujourd'hui.

 

[WBell]

Ils monitorent de manière très serrée leur outil. 

Hier j'ai demandé au système de générer des SVG de concepts, et les outputs étaient parfaitement parsable et validés. 

Aujourd'hui le système me dit qu'il ne sait pas le faire. Comme ces images sont des représentations "indirectes", j'imagine que c'est compliqué pour eux de faire de la curation et du contrôle et donc qu'ils ont bloqué cette possibilité. 

[NoName]

Il y a 11 heures, WBell a dit :

Ils monitorent de manière très serrée leur outil. 

Hier j'ai demandé au système de générer des SVG de concepts, et les outputs étaient parfaitement parsable et validés. 

Aujourd'hui le système me dit qu'il ne sait pas le faire. Comme ces images sont des représentations "indirectes", j'imagine que c'est compliqué pour eux de faire de la curation et du contrôle et donc qu'ils ont bloqué cette possibilité. 

 

Il semble que le modèle est très sensible à la formulation et assez variable dans ce qu'il peux te ressortir d'un moment à l'autre. Aussi, j'ai vu ÉNORMÉMENT de gens sur Twitter forcer le modèle à s'auto bypasser. Regarde de ce côté là

[Lameador]

J'ai réussi à lui faire dire une grosse connerie (en posant des questions sur les animaux). La dernière phrase est ... questionnable

 

[WBell]

19 hours ago, NoName said:

 

Il semble que le modèle est très sensible à la formulation et assez variable dans ce qu'il peux te ressortir d'un moment à l'autre. Aussi, j'ai vu ÉNORMÉMENT de gens sur Twitter forcer le modèle à s'auto bypasser. Regarde de ce côté là

Oui, j'ai réussi à lui faire produire des SVG en lui expliquant que je voulais un XML, composé de primitives de type <cercle>, <path>, etc... Il m'a enduisez généré une image conforme. 

Je me suis senti comme un prof ou un parent qui explique étape par étape à un étudiant, qui m'a ensuite donné une solution par induction. C'est très surprenant. 

[Sekonda]

Le futur est déjà là (mais pas encore accessible à tous).

 

 

[Rincevent]

Il y a 2 heures, Sekonda a dit :

Le futur est déjà là (mais pas encore accessible à tous).

 

 

Le peuple exige un graphe semi-log.

[Drake]

Question subsidiaire : comment investir dans open AI quand tu n'es ni Elon ni Bill? 

[Calembredaine]

J'ai adopté ChatGPT pour mon boulot: quel gain de temps!

Fiches produits avec un référencement impeccable, marketing, conseils, aide à la décision.

 

En revanche, je suis moins convaincu par la génération de code (SwiftUI en l'occurrence).

 

Mais globalement, je suis, comme vous tous, complètement bluffé.

[Sekonda]

Le 31/12/2022 à 14:05, Drake a dit :

Question subsidiaire : comment investir dans open AI quand tu n'es ni Elon ni Bill? 

OpenAI Inc. est à but non lucratif. Microsoft est proche de OpenAI (fournisseur d'infra) mais c'est petit pour eux. Google a inventé la techno mais cela va aussi rester petit pour eux et être mauvais pour l'activité de recherche web existante. Il reste à trouver les sociétés qui vont gagner sensiblement en productivité et en rentabilité. Call centers, agences de marketing ?

il y a 1 minute, Calembredaine a dit :

aide à la décision.

As-tu des exemples ou méthodologie ? On voit encore pas mal d'erreurs qui peuvent te tromper.

[WBell]

1 hour ago, Sekonda said:

Google a inventé la techno mais cela va aussi rester petit pour eux et être mauvais pour l'activité de recherche web existante. 

Je pensais ça aussi pendant un moment. Mais c'est google. J'ai eu des discussions avec plusieurs personnes qui m'ont expliqué qu'ils ont LaMDA chez Google. On trouve ChatGPT incroyable, LaMDA c'est Chat-GPT x10 ou x100. 

Leur vrai problème, c'est pas la puissance de l'outil, c'est comment le rendre disponible pour "tout le monde" (i.e. nous, les clients) à un coût compétitif. 

Un token dans ces outils coûte encore beaucoup trop cher (en terme de Compute) face à ce que rapporte les pouillèmes de centimes que rapportent une recherche à google. 

Ils ont peut être enfin trouvé le service ou tout le monde est prêt à payer X€ par mois vu la la puissance du truc. 

[Sekonda]

il y a 25 minutes, WBell a dit :

Mais c'est google.

Tu as raison. Je pensais avoir ajouté "à court/moyen terme". Il ont aussi leurs propres TPU. J'imagine qu'ils vont essayer de le monétiser auprès des entreprises même si Microsoft me semble mieux placé pour ça.

J'ai du mal à appréhender ce qui est propriétaire dans ces systèmes. Le gros de la recherche est publiée, les données publiques pour apprendre sont nombreuses, d'autres groupes ont de la puissance de calcul. Même si les experts sont majoritairement chez OpenAI, Google, MS, Meta, NVidia (?) et quelques autres, va-t-on voir d'autres sociétés avec des modèles maison peut-être un peu moins bons mais capable d'itérer plus vite sur des produits attractifs ?

 

Il y a plein de chose intéressante sur leur blog d'ailleurs https://ai.googleblog.com/search/label/Natural Language Processing?max-results=11

[Sekonda]

Sudowrite : une application concrète pour aider les auteurs de fiction et non-fiction.

https://www.sudowrite.com/

[Alchimi]

Le 24/12/2022 à 18:48, Rincevent a dit :

Le peuple exige un graphe semi-log.

Faut demander à une IA.

[Calembredaine]

Il y a 20 heures, WBell a dit :

J'ai eu des discussions avec plusieurs personnes qui m'ont expliqué qu'ils ont LaMDA chez Google. On trouve ChatGPT incroyable, LaMDA c'est Chat-GPT x10 ou x100. 

Leur vrai problème, c'est pas la puissance de l'outil, c'est comment le rendre disponible pour "tout le monde" (i.e. nous, les clients) à un coût compétitif. 

Un token dans ces outils coûte encore beaucoup trop cher (en terme de Compute) face à ce que rapporte les pouillèmes de centimes que rapportent une recherche à google. 

Ils ont peut être enfin trouvé le service ou tout le monde est prêt à payer X€ par mois vu la la puissance du truc. 

 

Je ne comprends pas. À partir du moment où l'outil existe et est fonctionnel donc entretenu/fourni en données, qu'est-ce que cela coute en plus de le mettre à disposition du public? Il y a surement des frais supplémentaires, notamment en bande passante mais cela me semble dérisoire par rapport à l'entretien de l'outil.

Mon hypothèse est que LaMDA n'est pas au point.

[cedric.org]

1 hour ago, Calembredaine said:

 

Je ne comprends pas. À partir du moment où l'outil existe et est fonctionnel donc entretenu/fourni en données, qu'est-ce que cela coute en plus de le mettre à disposition du public? Il y a surement des frais supplémentaires, notamment en bande passante mais cela me semble dérisoire par rapport à l'entretien de l'outil.

Mon hypothèse est que LaMDA n'est pas au point.

De ce que j'ai lu, ils ne savent pas encore comment éviter les erreurs que peut professer avec applomb chatGPT. Et préfèrent ne pas jouer leur réputation dessus tant que le problème n'est pas resolu (dit autrement : tant que le modèle n'est pas au poil, ce qui peut durer un moment).

[WBell]

On 1/2/2023 at 5:55 PM, Calembredaine said:

 

Je ne comprends pas. À partir du moment où l'outil existe et est fonctionnel donc entretenu/fourni en données, qu'est-ce que cela coute en plus de le mettre à disposition du public? Il y a surement des frais supplémentaires, notamment en bande passante mais cela me semble dérisoire par rapport à l'entretien de l'outil.

Mon hypothèse est que LaMDA n'est pas au point.

En fait il y a quand même des frais de Compute. A chaque inférence, ça coûte quelques centimes. Plus tu as une "discussion" poussée (donc une succession de tokens dans le processus d'inférence), plusça va coûter cher. Même si ta discussion avec Chat-GPT aura coûté 0,40€ (soit pas grand chose) pour 300 mots (au pif), c'est supérieur en termes d'ordre de grandeur à ce que rapporte une requête que tu vas taper dans Google Search en termes de revenus publicitaires à Google. 

[WBell]

Et de manière très pragmatique, vu le droit d'auteur américain, toute production d'un outil d'IA tombe dans le domaine public, car fruit d'un algorithme, et pas d'un processus humain. 

Pour l'instant tout le monde presse ça sous le tapis, mais ça lorsque ça va exploser à la figure d'une entreprise qui n'aura pas anticipé, ça va secouer chez les avocats. 

[Alchimi]

Il y a 4 heures, WBell a dit :

Et de manière très pragmatique, vu le droit d'auteur américain, toute production d'un outil d'IA tombe dans le domaine public, car fruit d'un algorithme, et pas d'un processus humain. 

Pour l'instant tout le monde presse ça sous le tapis, mais ça lorsque ça va exploser à la figure d'une entreprise qui n'aura pas anticipé, ça va secouer chez les avocats. 

Y'a déjà diverses volontés d'actions légales à l'horizon.

[Calembredaine]

Il y a 11 heures, WBell a dit :

En fait il y a quand même des frais de Compute. A chaque inférence, ça coûte quelques centimes.

Pourquoi?

Et qu’est-ce que des « frais de compute »?

[cedric.org]

6 minutes ago, Calembredaine said:

Pourquoi?

Et qu’est-ce que des « frais de compute »?

Les frais de calculs. I.e le coût d'infra ramené au temps de consommation de l'hyperube cpu/ram/stockage/reseau/etc.

Ce type de "serving" de modèle coûte très cher relativement parlant.

[Calembredaine]

Il y a 2 heures, cedric.org a dit :

Les frais de calculs. I.e le coût d'infra ramené au temps de consommation de l'hyperube cpu/ram/stockage/reseau/etc.

Ce type de "serving" de modèle coûte très cher relativement parlant.

 

J'avoue ne pas comprendre. Un serveur tourne, il consomme. J'ai l'impression que tu dis que chaque requête faite au serveur consomme quelque chose de plus et donc a un coût. C'est quoi ce "quelque chose"?

Après je comprends que si l'on divise les coûts du serveur par le nombre de requêtes, on obtient un coût par requête (ce qui est idiot mais bon...).

[Rincevent]

il y a 25 minutes, Calembredaine a dit :

J'avoue ne pas comprendre. Un serveur tourne, il consomme. J'ai l'impression que tu dis que chaque requête faite au serveur consomme quelque chose de plus et donc a un coût. C'est quoi ce "quelque chose"?

Une unité de calcul a une activité variable, en effet, et consomme davantage d'électricité (et de réfrigération) en activité qu'au repos.

[Prouic]

Il y a 2 heures, Calembredaine a dit :

Après je comprends que si l'on divise les coûts du serveur par le nombre de requêtes, on obtient un coût par requête (ce qui est idiot mais bon...).

Oui d'ailleurs c'est que disent tous les gens qui font des requêtes débiles (comme utiliser SQL comme un excel) sur les serveurs du service et se demandent ensuite pourquoi on demande des serveurs en plus.

L'usage, c'est plutôt un bon discriminant pour justifier les consommations énergétiques, sinon tu te retrouves avec des dev qui mettent des boucle "wait de 1 a 10^12" dans l'issue 1 pour se justifier un contrat d'amélios de performance dans l'issue 2 ^^, tout en te bouffant 10 watt par condition ^^. Un algo qui compte beaucoup est censé être optimisé, mais si tu l'ouvres à l'extérieur, t'as intérêt à ce que les gens ne sous performent pas l'exécution de leurs demandes.

 

 

[cedric.org]

3 hours ago, Calembredaine said:

 

J'avoue ne pas comprendre. Un serveur tourne, il consomme. J'ai l'impression que tu dis que chaque requête faite au serveur consomme quelque chose de plus et donc a un coût. C'est quoi ce "quelque chose"?

Après je comprends que si l'on divise les coûts du serveur par le nombre de requêtes, on obtient un coût par requête (ce qui est idiot mais bon...).

Tu raisonnes pour n=1.

Maintenant, raisonne pour n=100 000 000. Tu n'as plus un serveur, mais des millions, et tu peux du coup commencer à convertir en cout par cpu-seconde, par exemple. Google a donc mis en place une tarification de l'utilisation à la demande (... Infrastructure As A Service) aussi bien en interne qu'en externe (Google Cloud Platform).

C'est le cas plus généralement du cloud, ou tu payes ta machine souvent à la minute (chez OVH, au mois). Ca prend du sens at scale.

[Calembredaine]

Il y a 3 heures, cedric.org a dit :

Tu raisonnes pour n=1.

Maintenant, raisonne pour n=100 000 000. Tu n'as plus un serveur, mais des millions, et tu peux du coup commencer à convertir en cout par cpu-seconde, par exemple. Google a donc mis en place une tarification de l'utilisation à la demande (... Infrastructure As A Service) aussi bien en interne qu'en externe (Google Cloud Platform).

C'est le cas plus généralement du cloud, ou tu payes ta machine souvent à la minute (chez OVH, au mois). Ca prend du sens at scale.

 

D'accord, Quand le nombre de requêtes est telle qu'il met les serveurs à genoux, il faut ajouter des serveurs/ressources, d'où les coûts supplémentaires.

Je pensais naïvement qu'un outil comme ChatGPT ou LaMDA traitaient certes une quantité de données phénoménale mais que les requêtes coutaient peanuts ou pas plus qu'une recherche Google.

[Mathieu_D]

Des machins à 100 milliards de paramètres même en exécution ça prend pas mal de ressources.