Sloonz

Quelqu’un m’a compris, je commençais à désespérer

J’aimerai qu’on m’explique l’expression "stochastic parrot" si la compréhension mainstream des LLM ce n’est pas "optimisé pour la probabilité d'apparition dans un corpus existant"

Non. À ma connaissance le seul modèle de base d’OpenAI encore accessible est code-davinci-002 (qui, comme son nom l'indique, a très largement été entrainé sur du code). Il y a une problématique légale/économique/woke à ça. Si tu commences ton prompt par "Sieg Heil", la suite du texte généré par ton LLM pur a de fortes chances d’être… problématique. Tandis que tu peux entraîner un modèle RLHF à se tenir très très loin de ça. Aucune entreprise/laboratoire ne veut prendre la responsabilité de permettre le premier usage. C’est ce que je m’évertue à essayer d’expliquer depuis un moment dans ce fil. Sans succès apparemment. Absolument tout processus dans l’univers peut être interprété par un prisme probabiliste. Dans un sens totalement maximaliste (et inutile : si tout est X, X perd son sens), oui, le modèle te sort des probabilités. Dans le sens strict où "ChatGPT construit un modèle statistique à partir d’un énorme corpus de texte, et l’utilise pour trouver le token le plus probable", non. Doublement non. C’est clairement faux pour ChatGPT : la partie RLHF est entraînée pour produire un texte qui sera noté "pertinent"/"utile" ("pouce vert") par un juge humain, pas pour être probable dans un corpus existant. Si tu utilises ChatGPT, parfois il te propose deux textes et te demande lequel et le meilleur ; ou, quand tu régénères, il te demande "cette réponse est elle meilleure que la précédente ?". C’est toi qui participe à l’entrainement RLHF. Il ne prédit pas lequel est le plus probable, il prédit lequel est préféré par un humain (et oui, tu peux toujours si ça te chante traduire ça par "quelle est la probabilité qu’un humain préfère cette réponse". Tout est probabiliste, toujours). Secondement, parce que décrire la partie GPT pure comme un "modèle statistique" est extrêmement trompeur. Un statisticien qui produit un modèle statistique est capable de l’expliquer, le justifier, et de sortir des quantités telles que des intervalles de confiance. Quand un médecin te sort un diagostic, il le sort à partir de son expérience et de ses connaissances, mais dans bien des cas il sera incapable de te dire exactement quelle donnée a contribué pour combien à son résultat, mettre un chiffre sur son degré de confiance. GPT est bien plus proche du second cas que du premier. Le gros problème de la discussion c’est la distinction texte/sous-texte. "Modèle probabiliste" est correct dans le texte, mais le sous-texte est totalement faux. "Modèle probabiliste", en tant que texte, s’applique très bien à ChatGPT. Le problème c’est que le sous-texte c’est "juste une chaine de Markov au fond", ce qui est pour le coup faux.

Je… ne vois pas ce qu’il y a à développer ? Tout est dit dans le tweet ? Qu’-est-ce qui n’est pas clair ? GPT, c’est exactement ce que les gens s’imaginent en pointant "LLM predicting next token". ChatGPT, le produit avec lequel tout le monde interagit, ce n’est pas GPT, c’est GPT + RLHF (+ RLAIF très probablement, même si je ne pense pas que ça ait été confirmé). Une grosse partie de son comportement provient de la partie RL*F, et le texte produit par ChatGPT est très différent du texte qui serait simplement produit "par imitation" par GPT. (pour être plus précis : GPT prédit la probabilité du token suivant d’après son modèle interne extrait de son corpus d’entrainement ; ChatGPT prédit quel score un juge humain donnerait à la continuation d’un texte)

Ou que maximiser profit = maximiser CA, si les coûts restent constants. A ce sujet :

Il y a 30% de personnes qui se disent catholiques en France. Presque une personne sur trois. Je crois que j’en ai croisé une en tout et pour tout, il y a des années, pendant mes études. Le phénomène d'auto-sélection de sa bulle sociale, tu peux pas test. (sur le sujet : https://slatestarcodex.com/2017/10/02/different-worlds/, partie III)

Analyzing = la génération du code Python C’est extrêmement impressionnant mais comme toujours il faut se méfier. Hier je lui ai demandé de m’expliquer les saisons et de donner une estimation de la différence d'illumination entre l'hiver et l'été à la latitude 45°. Il a fait globalement une bonne analyse, mais mélangé cos et sin dans le code Python, et conclut sans remarquer l’erreur que l’illumination en été était d’1/3 de celle de l’hiver. Si la conclusion n’était pas aussi improbable, j’aurai probablement manqué la confusion cos/sin.

Oh, pas qu’une seule fois. https://en.wikipedia.org/wiki/List_of_nuclear_close_calls

J’ose espérer que ce que mesure l’étude, c’est "probabilité de rester un mois/an de plus au RSA en fonction du nombre de mois/années précédemment passés au RSA". Ça n’est pas tautologique.

Je l’ai vu passer sur twitch. On a un état moderne, mônsieur !

Un dévendeur c'est la nouvelle lubie écologique où, quand tu vas chez un commerçant, il est censer t’expliquer pourquoi tu n’as en fait pas besoin de ce dont tu étais venu acheter.

Quelqu’un sait à quoi fait réference Peter Schiff dans ce tweet, et à quel point c’est réellement sérieux ? Ça a l’air assez inquiétant.

Si c'était vrai, https://arxiv.org/abs/2309.15840 serait impossible Personne ne sait comment l’en empếcher, tout simplement. Je soupçonne très fortement qu’une très grosse partie du problème c’est qu’une bonne partie de l’entraînement de ChatGPT c’est la partie RLHF où des humains donnent "pouce vert" et "pouce rouge" aux réponses données par l’IA, et que beaucoup d’humain sont incapables de remarquer quand ils se font bullshiter et mettent pouce vert sur du bullshit plausible, ce qui renforce le problème. Moi-même je dois avouer qu’il m’est arrivé d’avoir "pouce vert" en première lecture rapide pour me rendre compte 10 sec de réflexion plus tard "ha oui mais en fait non". Agiter tel un hochet le concept de la chambre chinoise c’est vraiment la mort de l’intellect, il faut arrêter avec ça. Faudra pas s’étonner ensuite que personne ne respecte les philosophes. Ça et les p-zombies, ce sont les deux exemples les plus éclairants de l’état plus que déplorable de la philosophie. Excuse moi d’être taquin, mais le fait que tu écrives "ça se contente" suivi de "le mot de plus probable en fonction des précédents" montre que tu es une chambre chinoise qui ne comprend pas grand chose à ce qu’il écrit. Tu devrais être ébahi/terrifié (selon ton inclinaison) d’une machine réellement, effectivement capable de très précisément évaluer cette probabilité. Ce que ça signifie exactement d’avoir une telle capacité. "Un avion c’est juste une voiture qui roule très vite et qui a des ailes"

Non.

Pas regardé pour vous confirmer si c'est intéressant ou non, mais Caplan recommande une série "The Role of Religion in History" : https://betonit.substack.com/p/walsh-and-the-role-of-religion-in

Un bon résumé de ce qu’on sait (pas grand chose) : https://thezvi.substack.com/p/openai-facts-from-a-weekend

Sam Altman et ses supporters embauchés par Microsoft pour faire un OpenAI interne

Non pas du tout. Hanson est dans le camp ultra-ultra-minoritaire "si l’IA remplace entièrement l’humanité, c'est totalement OK".

https://www.lesswrong.com/posts/QDczBduZorG4dxZiW/sam-altman-s-sister-annie-altman-claims-sam-has-severely

Tu ne confondrais pas Ilya Sutskever avec Mura Murati ? Ce que j’ai compris grosso modo : OpenAI était à la base à but non-lucratif ; une des craintes des fondateurs étant que sous la pression commerciale, le dévelopement et le déploiement se fasse sans mesures de sécurité suffisantes. En découle l’existence à l’intérieur d’OpenAI d’un board ayant en gros pouvoir de veto sur la R&D Ce board est resté à peu près inchangé lors de la transition en entreprise à but commercial Ce board vient d’exercer ce pouvoir, le bruit de couloir étant que ceux qui aimeraient plus de mesures de sécurité (Ilya en tête) n’apprécient pas le gros coup d’accélérateur que Altman veut/voulait mettre sur le développement de GPT-5

?

12 est divisible par 36. Tu désignes un dé comme étant "le premier", un autre "le second", tu les lances un par un, ça te donne un couple (x, y). 36 possibilités distributée uniformément. Tu n’as plus qu’à décider d’un schéma pour séparer ton ensemble de 36 possibilités en 12 ensembles de 3 possibilités considérées comme "équivalentes" : par exemple (1, x) (2,x) (3, x) -> x, (4, x), (5, x) (6, x) -> 2*x

https://twitter.com/peterevoss/status/1695428688672596109

Pour moi dans les discussions sur le futur le mot "SF" devrait être banni. Parfois la SF arrive à anticiper le futur. Parfois non. Au final, "X est un scénario de SF" a peu de rapports avec le fait que X arrive ou non.

Bon, vous m’avez nerd snippé. Je ne vous remercie pas. Comme je ne sais toujours pas ce que ça veux dire "en enlevant les dix meilleurs jours", j’ai fait au plus simple (oui, clés, lampadaires) : j’ai pris les valeurs historiques du SP500 (du 7 juillet 1993 au 7 juillet 2023), j’ai pris la moyenne géométrique de la variation journalière (ouverture à ouverture, et oui, ça veut dire que de +0.1pt de lundi à mardi c'est la même chose que +0.1 pt de vendredi à lundi), je l’augmente à la puissance 365 pour l’annualiser. Le résultat est de 11.8%. En enlevant les 10 meilleurs jours, le résultat est de 8.2%. Ce qui est beaucoup plus que ce que j’imaginais, et me fais un peu moins douter du chiffre initial, quoi qu’il aie voulu dire par "manquer 10 jours". Rater les 10 pires : 16% ; rater les 30 meilleures: 3.6% ; rater les 30 pires : 21.7%. Si quelqu’un veut jouer (avec un csv tiré de yahoo finance) : import math def geomavg(X): return math.exp(sum(math.log(x) for x in X)/len(X)) S = [float(l.split(",")[1]) for l in open("SPX.csv").readlines()[1:]] D = [1+(S[i]-S[i-1])/S[i-1] for i in range(1, len(S))] print(geomavg(D)**365) print(geomavg(sorted(D)[:-10])**365) print(geomavg(sorted(D)[10:])**365) print(geomavg(sorted(D)[:-30])**365) print(geomavg(sorted(D)[30:])**365)