Jump to content

GPT-3 et autres modèles générateurs de texte


Recommended Posts

Il y a de la marge mais c'est bluffant.

 

Citation

Write a very short science-fiction story.

 

The alien ship loomed large in the night sky, its ominous presence a reminder of the danger that lurked beyond Earth's atmosphere. The human race had never seen anything like it before, and some feared it was the beginning of a hostile takeover. But when the ship opened, something unexpected happened. A small, humanoid figure stepped out, carrying a bundle of strange objects. It was a peaceful visitor, offering gifts to the people of Earth, a sign of friendship and hope for the future

 

Link to comment

Chat-GPT est redoutable. Je dois manipuler des langages relativement obscurs dans le cadre du boulot, pour lesquels les profils sont introuvables. En posant les bonnes questions et en itérant sur les réponses, on arrive à lui faire sortir des scripts compilable, qui font des choses non-triviales. 

Ça me refait penser à ce que cette phrase sur Twitter disait : "lorsque les frères Wright ont réussi à voler, le monde ne réalisait pas les conséquences de cette réussite". 

Link to comment

J'ai personnellement réussi à lui faire créer une série simple et très basique rapide de questions sur l'empire carolingien juste pour voir et le résultat est top tier évidemment. Les profs sont mal barrés.

 

Également réussi à lui faire écrire un petit problème de SQL pour s'entraîner et à priori il me ressort de bonnes réponses et de bons exemples. 

 

Je suis pratiquement sur que je vais tripoter ChatGPT ces prochains jours pour lui faire cracher des ewos excels pour m'habituer à manipuler des trucs que j'ai pas l'habitude mais dans tous les cas je sens déjà que ça va être incroyable. 

 

Correctement couplé avec des logiciels d'apprentissage créés sur mesure, on va pouvoir literallement demander à ce type de LLM de nous faire faire des demos live de logiciels connus exactement calibrés pour ton niveau.

 

C'est très littéralement Le Manuel de l'Age de Diamant qui est à portée de main là.

 

La formation online et l'école telle qu'on l'a connaît sont doomed. Ça n'est plus qu'une question de temps. Si ça se trouve dans 50 ans on verra l'école d'aujourd'hui de la même manière qu'on regarde les enfants aux champs aujourd'hui.

 

Screenshot_20221209-042819_Brave.jpg

Link to comment

Ils monitorent de manière très serrée leur outil. 

Hier j'ai demandé au système de générer des SVG de concepts, et les outputs étaient parfaitement parsable et validés. 

Aujourd'hui le système me dit qu'il ne sait pas le faire. Comme ces images sont des représentations "indirectes", j'imagine que c'est compliqué pour eux de faire de la curation et du contrôle et donc qu'ils ont bloqué cette possibilité. 

  • Yea 1
Link to comment
Il y a 11 heures, WBell a dit :

Ils monitorent de manière très serrée leur outil. 

Hier j'ai demandé au système de générer des SVG de concepts, et les outputs étaient parfaitement parsable et validés. 

Aujourd'hui le système me dit qu'il ne sait pas le faire. Comme ces images sont des représentations "indirectes", j'imagine que c'est compliqué pour eux de faire de la curation et du contrôle et donc qu'ils ont bloqué cette possibilité. 

 

Il semble que le modèle est très sensible à la formulation et assez variable dans ce qu'il peux te ressortir d'un moment à l'autre. Aussi, j'ai vu ÉNORMÉMENT de gens sur Twitter forcer le modèle à s'auto bypasser. Regarde de ce côté là

Link to comment
19 hours ago, NoName said:

 

Il semble que le modèle est très sensible à la formulation et assez variable dans ce qu'il peux te ressortir d'un moment à l'autre. Aussi, j'ai vu ÉNORMÉMENT de gens sur Twitter forcer le modèle à s'auto bypasser. Regarde de ce côté là

Oui, j'ai réussi à lui faire produire des SVG en lui expliquant que je voulais un XML, composé de primitives de type <cercle>, <path>, etc... Il m'a enduisez généré une image conforme. 

Je me suis senti comme un prof ou un parent qui explique étape par étape à un étudiant, qui m'a ensuite donné une solution par induction. C'est très surprenant. 

Link to comment
  • 2 weeks later...

J'ai adopté ChatGPT pour mon boulot: quel gain de temps!

Fiches produits avec un référencement impeccable, marketing, conseils, aide à la décision.

 

En revanche, je suis moins convaincu par la génération de code (SwiftUI en l'occurrence).

 

Mais globalement, je suis, comme vous tous, complètement bluffé.

Link to comment
Le 31/12/2022 à 14:05, Drake a dit :

Question subsidiaire : comment investir dans open AI quand tu n'es ni Elon ni Bill? 

OpenAI Inc. est à but non lucratif. Microsoft est proche de OpenAI (fournisseur d'infra) mais c'est petit pour eux. Google a inventé la techno mais cela va aussi rester petit pour eux et être mauvais pour l'activité de recherche web existante. Il reste à trouver les sociétés qui vont gagner sensiblement en productivité et en rentabilité. Call centers, agences de marketing ?

il y a 1 minute, Calembredaine a dit :

aide à la décision.

As-tu des exemples ou méthodologie ? On voit encore pas mal d'erreurs qui peuvent te tromper.

Link to comment
1 hour ago, Sekonda said:

Google a inventé la techno mais cela va aussi rester petit pour eux et être mauvais pour l'activité de recherche web existante. 

Je pensais ça aussi pendant un moment. Mais c'est google. J'ai eu des discussions avec plusieurs personnes qui m'ont expliqué qu'ils ont LaMDA chez Google. On trouve ChatGPT incroyable, LaMDA c'est Chat-GPT x10 ou x100. 

Leur vrai problème, c'est pas la puissance de l'outil, c'est comment le rendre disponible pour "tout le monde" (i.e. nous, les clients) à un coût compétitif. 

Un token dans ces outils coûte encore beaucoup trop cher (en terme de Compute) face à ce que rapporte les pouillèmes de centimes que rapportent une recherche à google. 

Ils ont peut être enfin trouvé le service ou tout le monde est prêt à payer X€ par mois vu la la puissance du truc. 

Link to comment
il y a 25 minutes, WBell a dit :

Mais c'est google.

Tu as raison. Je pensais avoir ajouté "à court/moyen terme". Il ont aussi leurs propres TPU. J'imagine qu'ils vont essayer de le monétiser auprès des entreprises même si Microsoft me semble mieux placé pour ça.

J'ai du mal à appréhender ce qui est propriétaire dans ces systèmes. Le gros de la recherche est publiée, les données publiques pour apprendre sont nombreuses, d'autres groupes ont de la puissance de calcul. Même si les experts sont majoritairement chez OpenAI, Google, MS, Meta, NVidia (?) et quelques autres, va-t-on voir d'autres sociétés avec des modèles maison peut-être un peu moins bons mais capable d'itérer plus vite sur des produits attractifs ?

 

Il y a plein de chose intéressante sur leur blog d'ailleurs https://ai.googleblog.com/search/label/Natural Language Processing?max-results=11

Link to comment
Il y a 20 heures, WBell a dit :

J'ai eu des discussions avec plusieurs personnes qui m'ont expliqué qu'ils ont LaMDA chez Google. On trouve ChatGPT incroyable, LaMDA c'est Chat-GPT x10 ou x100. 

Leur vrai problème, c'est pas la puissance de l'outil, c'est comment le rendre disponible pour "tout le monde" (i.e. nous, les clients) à un coût compétitif. 

Un token dans ces outils coûte encore beaucoup trop cher (en terme de Compute) face à ce que rapporte les pouillèmes de centimes que rapportent une recherche à google. 

Ils ont peut être enfin trouvé le service ou tout le monde est prêt à payer X€ par mois vu la la puissance du truc. 

 

Je ne comprends pas. À partir du moment où l'outil existe et est fonctionnel donc entretenu/fourni en données, qu'est-ce que cela coute en plus de le mettre à disposition du public? Il y a surement des frais supplémentaires, notamment en bande passante mais cela me semble dérisoire par rapport à l'entretien de l'outil.

Mon hypothèse est que LaMDA n'est pas au point.

Link to comment
1 hour ago, Calembredaine said:

 

Je ne comprends pas. À partir du moment où l'outil existe et est fonctionnel donc entretenu/fourni en données, qu'est-ce que cela coute en plus de le mettre à disposition du public? Il y a surement des frais supplémentaires, notamment en bande passante mais cela me semble dérisoire par rapport à l'entretien de l'outil.

Mon hypothèse est que LaMDA n'est pas au point.

De ce que j'ai lu, ils ne savent pas encore comment éviter les erreurs que peut professer avec applomb chatGPT. Et préfèrent ne pas jouer leur réputation dessus tant que le problème n'est pas resolu (dit autrement : tant que le modèle n'est pas au poil, ce qui peut durer un moment).

Link to comment
On 1/2/2023 at 5:55 PM, Calembredaine said:

 

Je ne comprends pas. À partir du moment où l'outil existe et est fonctionnel donc entretenu/fourni en données, qu'est-ce que cela coute en plus de le mettre à disposition du public? Il y a surement des frais supplémentaires, notamment en bande passante mais cela me semble dérisoire par rapport à l'entretien de l'outil.

Mon hypothèse est que LaMDA n'est pas au point.

En fait il y a quand même des frais de Compute. A chaque inférence, ça coûte quelques centimes. Plus tu as une "discussion" poussée (donc une succession de tokens dans le processus d'inférence), plusça va coûter cher. Même si ta discussion avec Chat-GPT aura coûté 0,40€ (soit pas grand chose) pour 300 mots (au pif), c'est supérieur en termes d'ordre de grandeur à ce que rapporte une requête que tu vas taper dans Google Search en termes de revenus publicitaires à Google. 

  • Yea 1
Link to comment

Et de manière très pragmatique, vu le droit d'auteur américain, toute production d'un outil d'IA tombe dans le domaine public, car fruit d'un algorithme, et pas d'un processus humain. 

Pour l'instant tout le monde presse ça sous le tapis, mais ça lorsque ça va exploser à la figure d'une entreprise qui n'aura pas anticipé, ça va secouer chez les avocats. 

Link to comment
Il y a 4 heures, WBell a dit :

Et de manière très pragmatique, vu le droit d'auteur américain, toute production d'un outil d'IA tombe dans le domaine public, car fruit d'un algorithme, et pas d'un processus humain. 

Pour l'instant tout le monde presse ça sous le tapis, mais ça lorsque ça va exploser à la figure d'une entreprise qui n'aura pas anticipé, ça va secouer chez les avocats. 

Y'a déjà diverses volontés d'actions légales à l'horizon.

Link to comment
6 minutes ago, Calembredaine said:


Pourquoi?

Et qu’est-ce que des « frais de compute »?

Les frais de calculs. I.e le coût d'infra ramené au temps de consommation de l'hyperube cpu/ram/stockage/reseau/etc.

Ce type de "serving" de modèle coûte très cher relativement parlant.

Link to comment
Il y a 2 heures, cedric.org a dit :

Les frais de calculs. I.e le coût d'infra ramené au temps de consommation de l'hyperube cpu/ram/stockage/reseau/etc.

Ce type de "serving" de modèle coûte très cher relativement parlant.

 

J'avoue ne pas comprendre. Un serveur tourne, il consomme. J'ai l'impression que tu dis que chaque requête faite au serveur consomme quelque chose de plus et donc a un coût. C'est quoi ce "quelque chose"?

Après je comprends que si l'on divise les coûts du serveur par le nombre de requêtes, on obtient un coût par requête (ce qui est idiot mais bon...).

Link to comment
il y a 25 minutes, Calembredaine a dit :

J'avoue ne pas comprendre. Un serveur tourne, il consomme. J'ai l'impression que tu dis que chaque requête faite au serveur consomme quelque chose de plus et donc a un coût. C'est quoi ce "quelque chose"?

Une unité de calcul a une activité variable, en effet, et consomme davantage d'électricité (et de réfrigération) en activité qu'au repos.

Link to comment
Il y a 2 heures, Calembredaine a dit :

Après je comprends que si l'on divise les coûts du serveur par le nombre de requêtes, on obtient un coût par requête (ce qui est idiot mais bon...).

Oui d'ailleurs c'est que disent tous les gens qui font des requêtes débiles (comme utiliser SQL comme un excel) sur les serveurs du service et se demandent ensuite pourquoi on demande des serveurs en plus. :D

L'usage, c'est plutôt un bon discriminant pour justifier les consommations énergétiques, sinon tu te retrouves avec des dev qui mettent des boucle "wait de 1 a 10^12" dans l'issue 1 pour se justifier un contrat d'amélios de performance dans l'issue 2 ^^, tout en te bouffant 10 watt par condition ^^. Un algo qui compte beaucoup est censé être optimisé, mais si tu l'ouvres à l'extérieur, t'as intérêt à ce que les gens ne sous performent pas l'exécution de leurs demandes.

 

 

  • Haha 1
Link to comment
3 hours ago, Calembredaine said:

 

J'avoue ne pas comprendre. Un serveur tourne, il consomme. J'ai l'impression que tu dis que chaque requête faite au serveur consomme quelque chose de plus et donc a un coût. C'est quoi ce "quelque chose"?

Après je comprends que si l'on divise les coûts du serveur par le nombre de requêtes, on obtient un coût par requête (ce qui est idiot mais bon...).

Tu raisonnes pour n=1.

Maintenant, raisonne pour n=100 000 000. Tu n'as plus un serveur, mais des millions, et tu peux du coup commencer à convertir en cout par cpu-seconde, par exemple. Google a donc mis en place une tarification de l'utilisation à la demande (... Infrastructure As A Service) aussi bien en interne qu'en externe (Google Cloud Platform).

C'est le cas plus généralement du cloud, ou tu payes ta machine souvent à la minute (chez OVH, au mois). Ca prend du sens at scale.

Link to comment
Il y a 3 heures, cedric.org a dit :

Tu raisonnes pour n=1.

Maintenant, raisonne pour n=100 000 000. Tu n'as plus un serveur, mais des millions, et tu peux du coup commencer à convertir en cout par cpu-seconde, par exemple. Google a donc mis en place une tarification de l'utilisation à la demande (... Infrastructure As A Service) aussi bien en interne qu'en externe (Google Cloud Platform).

C'est le cas plus généralement du cloud, ou tu payes ta machine souvent à la minute (chez OVH, au mois). Ca prend du sens at scale.

 

D'accord, Quand le nombre de requêtes est telle qu'il met les serveurs à genoux, il faut ajouter des serveurs/ressources, d'où les coûts supplémentaires.

Je pensais naïvement qu'un outil comme ChatGPT ou LaMDA traitaient certes une quantité de données phénoménale mais que les requêtes coutaient peanuts ou pas plus qu'une recherche Google.

Link to comment

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...