WBell

@Jensen J'ai fait l'exercice avec CHAT-GPT 3.5 et 4. Le prompt : La réponse du 3.5 : La réponse du 4: J'aurai pu avoir des repères moins verbeuses en le précisant dans mon prompt, mais j'y ai pensé après.

On a fait tourner sur nos VM un succédané. Pour l'instant, ça marche bien pour faire des posts "buzz" sur Twitter ("fabrique moi un business-plan et un SEO pour ma prochaine startup") :). Pour des choses plus métier et réalistes, ça tombe trop souvent en "blocage". Par contre, d'ici 3 mois, c'est redoutable !

Pour compléter ce qui est dit, il y a des papiers qui sortent en ce moment et qui semblent indiquer quelque chose d'intéressant : quand on est à plus de 13 milliards de tokens dans la base d'apprentissage (c'est grosso modo ce que vous avez dans différentes versions de GPT, Llama, Koala, et les autres), la "pertinence" du modèle ne vient plus de sa taille, mais plutôt s'il a été bien finetuné. Si vous prenez un des modèle actuels, et que vous le finetunez avec des exemples de dialogues entre humains et entre humain et "machine" (au moins 100 000), vous obtenez un modèle qui est bien plus performant qu'un modèle plus gros. Sam Altman, le patron d'OpenAI le dit lui-même : l'avenir ne sera pas au modèles encore plus gros que les modèles actuels (trop cher en compute). Le futur, c'est les modèles finetunés avec de la bonne data, et les systèmes qui enchaînent une série d'instructions successives à dérouler, comme Auto-GPT par exemple.

Et le pire c'est que c'était pas une blague, mon propos. Je me souviens d'articles de presse canadienne qui notait une augmentation des accidents de la route avec les feus tricolores couverts de glace et qui ne fondait plus

Surtout qu'il y a ce qu'on voit et ce qu'on ne voit pas, avec les ampoules à LED. Les ampoules classiques dégagent de la chaleur une fois allumées. Les LED non. Donc cette différence de chaleur va être compensée par des gens qui mettront un peu plus le chauffage. Ça ne représente que quelques watts à chaque fois, mais sur l'échelle de pays, qui se couvre de glace en hiver, ça va finir par se voir.

Et hop, un petit taquet derrière la nuque :D.

Ah zut, a chaque fois que je fais un jeu de mots pourris ici, je récolte au moins 2 à 3 smileys. /me va pleurer dans un coin...

Pourtant, les léopards ont s'y (à) tâches !

C'était un jeu de mots...

Uhu uhu uhu.

Ah bé dis, c'est la faute à l'Sissi.

Tu veux savoir si les momes y sont là bas ?

Et de manière très pragmatique, vu le droit d'auteur américain, toute production d'un outil d'IA tombe dans le domaine public, car fruit d'un algorithme, et pas d'un processus humain. Pour l'instant tout le monde presse ça sous le tapis, mais ça lorsque ça va exploser à la figure d'une entreprise qui n'aura pas anticipé, ça va secouer chez les avocats.

En fait il y a quand même des frais de Compute. A chaque inférence, ça coûte quelques centimes. Plus tu as une "discussion" poussée (donc une succession de tokens dans le processus d'inférence), plusça va coûter cher. Même si ta discussion avec Chat-GPT aura coûté 0,40€ (soit pas grand chose) pour 300 mots (au pif), c'est supérieur en termes d'ordre de grandeur à ce que rapporte une requête que tu vas taper dans Google Search en termes de revenus publicitaires à Google.

Je pensais ça aussi pendant un moment. Mais c'est google. J'ai eu des discussions avec plusieurs personnes qui m'ont expliqué qu'ils ont LaMDA chez Google. On trouve ChatGPT incroyable, LaMDA c'est Chat-GPT x10 ou x100. Leur vrai problème, c'est pas la puissance de l'outil, c'est comment le rendre disponible pour "tout le monde" (i.e. nous, les clients) à un coût compétitif. Un token dans ces outils coûte encore beaucoup trop cher (en terme de Compute) face à ce que rapporte les pouillèmes de centimes que rapportent une recherche à google. Ils ont peut être enfin trouvé le service ou tout le monde est prêt à payer X€ par mois vu la la puissance du truc.

Oui, j'ai réussi à lui faire produire des SVG en lui expliquant que je voulais un XML, composé de primitives de type <cercle>, <path>, etc... Il m'a enduisez généré une image conforme. Je me suis senti comme un prof ou un parent qui explique étape par étape à un étudiant, qui m'a ensuite donné une solution par induction. C'est très surprenant.

Ils monitorent de manière très serrée leur outil. Hier j'ai demandé au système de générer des SVG de concepts, et les outputs étaient parfaitement parsable et validés. Aujourd'hui le système me dit qu'il ne sait pas le faire. Comme ces images sont des représentations "indirectes", j'imagine que c'est compliqué pour eux de faire de la curation et du contrôle et donc qu'ils ont bloqué cette possibilité.

Chat-GPT est redoutable. Je dois manipuler des langages relativement obscurs dans le cadre du boulot, pour lesquels les profils sont introuvables. En posant les bonnes questions et en itérant sur les réponses, on arrive à lui faire sortir des scripts compilable, qui font des choses non-triviales. Ça me refait penser à ce que cette phrase sur Twitter disait : "lorsque les frères Wright ont réussi à voler, le monde ne réalisait pas les conséquences de cette réussite".

Stablediffusion est en release 2.0 Part rapport aux versions 1.X, ils ont supprimé beaucoup d'images NSFW, ainsi que les artistes numériques trop connus. Les gens râlent : par effet de bord, ça empêche le modèle de construire des représentations "efficaces" des humains (par manque d'images où on voit "l'anatomie", sans que ça soit du porn).

En gare, l'annonce, au micro et dans les hauts-parleurs, est littéralement "en raison de la pénurie de conducteurs, blablabla".

Ce n'est que mon expérience personnelle (et cela n'en fait pas une généralité), mais depuis la rentrée de septembre, nous avons tous les jours des annonces dans les transports en commun que "en raison de la pénurie de conducteurs, les lignes sont 'allégées'". Gare Saint-Lazare, lignes transiliennes et RER vers l'ouest de l'Ile-de-France. C'est courant (plusieurs fois par semaines) qu'un bus ne se présente pas aux arrêts, car il n'existe pas, faute de conducteur. Et les boucles ouest de la Seine, c'est pas vraiment les quartiers difficiles d'Auberviliers...

Ve trouve auffi. F'est incroyable, fa fanve tout.

Ou l'inverse, pour sûr !

Comme les noix ?

Ah, mais tu as raison, je ne dis pas qu'ils sont bêtes ! Je dis que ça fout la grouille là où ils n'ont pas de solution rapide ni à moyen terme pour résoudre le problème. La "solution" c'est de remplacer les cerveaux qui manquent avec de l'IA. Ils poussent des papiers en ce moment pour remplacer de la conception de puces par des frameworks automatiques.