Aller au contenu

Sloonz

Membre Adhérent
  • Compteur de contenus

    2 340
  • Inscription

  • Dernière visite

Tout ce qui a été posté par Sloonz

  1. Honnêtement, je ne m’attendais pas à voir ça avant 2-3 ans.
  2. La malicious compliance dont tu parles, c’est pour protester contre l’interdiction.
  3. Dans le cas Apple, je me range entièrement côté Apple. Apple vend ouvertement un walled garden. Les clients d’Apple veulent un walled garden. Tout va bien dans le meilleur des mondes, il n’y a pour le coup absolument aucune bonne raison d’interdire ça. Et je dis ça en tant que Apple-hater.
  4. https://books.google.com/ngrams/graph?content="cultural+appropriation"&year_start=1800&year_end=2019&corpus=en-2019&smoothing=3 En reflux.
  5. Je ne vois pas en quoi le halving devrait changer la valeur du bitcoin.
  6. Le CPF rentre dans "dépenses publiques" ?
  7. À quel évenement fait-il référence, quand il parle du retrait des troupes russes de Kiev ? Edit : je pense que c’est ça : https://www.timesofisrael.com/moscow-says-it-will-curb-assault-on-kyiv-chernihiv-russian-troops-seen-withdrawing/
  8. Sloonz

    GPT-4

    Je n’ai jamais parlé de quelque chose de semblable à un esprit humain ? Je serai extrêmement surpris que les mécanismes et représentations internes aux LLMs soient proches d’un esprit humain. Mais c’est le point rigolo : les deux sont tellement complexes qu’on est très loin d’avoir suffisamment de compréhension des deux (neuroscience pour le cerveau, interprétabilité pour les LLM) pour prouver définitivement qu’ils sont différents. Tandis que les chaines de Markov sont assez simples pour qu’on puisse montrer que ce n’est pas le mécanisme interne ni de l’esprit humain, ni des LLMs. Est-ce que tu es d’accord que "un verre d’eau c’est juste un gros tas de molécule, et un avion aussi" est trompeur ? Ou est-ce qu’on est même pas d’accord là dessus ? Ça c’est en grande partie parce qu’il faut arrêter de prendre les philosophes au sérieux. J’ai du mal à voir le rapport avec la choucroute ?
  9. Sloonz

    GPT-4

    Je pense plutôt que c’est : - GPT peut être interprété comme juste une machine à probabilités - un cerveau biologique peut aussi être interprété comme juste une machine à probabilités - même dans l'interprétation "machine à probabilités" du cerveau, il y a des mécanismes non-trivaux, intéressants, complexes et potentiellement surprenant derrière les différentes opérations cognitives, ce qui rend le "juste" réducteur de manière trompeuse - de même, à l’intérieur de GPT, il y a des mécanismes non-triviaux, intéressants, complexes et potentiellement surprenants Ou encore : dire qu’un verre d’eau c’est juste un gros tas de molécules, ça me semble justifié. Dire qu’un avion c’est juste un gros tas de molécules, ça me semble trompeur, malgré que ce soit vrai au sens strict. Dire qu’une chaine de markov c’est juste une machine à probabilités c’est aussi vrai que le verre d’eau. Dire que GPT c’est juste une machine à probabilités ça me semble aussi vrai que l’avion. La discusssion porte sur la connotation, pas la dénotation, et la logique pure c’est malgré tout le respect que le lui porte peu utile pour analyser les connotations. Pour expliciter, par "juste une machine à probabilités", il y a une connotation derrière que les mécanismes et représentations internes sont simples. Essentiellement des fréquences et des moyennes. Cette connotation est fausse, donc l’expression est trompeuse.
  10. Sloonz

    GPT-4

    Je crois que tu voulais écrire "sans RLHF". Mais non, ces modèles sont avec RLHF. Tu peux accéder à ces modèles sur https://platform.openai.com/playground, et tu verras que les résultats sont très similaires (si non exactement les mêmes) qu’avec https://chat.openai.com/ La dernière fois que j’avais réussi à faire cracher à l’interface dédiée ses instructions, il n’y avait pas d’instruction spéciales (c’était avant l’intégration avec DALL-E) : You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture. Knowledge cutoff: 2022-01 Current date: 2023-09-29 (le current date était correct, ce qui est une forte indication que j’avais réussi à sortir le prompt système sans hallucination).
  11. Sloonz

    GPT-4

    Quelqu’un m’a compris, je commençais à désespérer
  12. Sloonz

    GPT-4

    J’aimerai qu’on m’explique l’expression "stochastic parrot" si la compréhension mainstream des LLM ce n’est pas "optimisé pour la probabilité d'apparition dans un corpus existant"
  13. Sloonz

    GPT-4

    Non. À ma connaissance le seul modèle de base d’OpenAI encore accessible est code-davinci-002 (qui, comme son nom l'indique, a très largement été entrainé sur du code). Il y a une problématique légale/économique/woke à ça. Si tu commences ton prompt par "Sieg Heil", la suite du texte généré par ton LLM pur a de fortes chances d’être… problématique. Tandis que tu peux entraîner un modèle RLHF à se tenir très très loin de ça. Aucune entreprise/laboratoire ne veut prendre la responsabilité de permettre le premier usage. C’est ce que je m’évertue à essayer d’expliquer depuis un moment dans ce fil. Sans succès apparemment. Absolument tout processus dans l’univers peut être interprété par un prisme probabiliste. Dans un sens totalement maximaliste (et inutile : si tout est X, X perd son sens), oui, le modèle te sort des probabilités. Dans le sens strict où "ChatGPT construit un modèle statistique à partir d’un énorme corpus de texte, et l’utilise pour trouver le token le plus probable", non. Doublement non. C’est clairement faux pour ChatGPT : la partie RLHF est entraînée pour produire un texte qui sera noté "pertinent"/"utile" ("pouce vert") par un juge humain, pas pour être probable dans un corpus existant. Si tu utilises ChatGPT, parfois il te propose deux textes et te demande lequel et le meilleur ; ou, quand tu régénères, il te demande "cette réponse est elle meilleure que la précédente ?". C’est toi qui participe à l’entrainement RLHF. Il ne prédit pas lequel est le plus probable, il prédit lequel est préféré par un humain (et oui, tu peux toujours si ça te chante traduire ça par "quelle est la probabilité qu’un humain préfère cette réponse". Tout est probabiliste, toujours). Secondement, parce que décrire la partie GPT pure comme un "modèle statistique" est extrêmement trompeur. Un statisticien qui produit un modèle statistique est capable de l’expliquer, le justifier, et de sortir des quantités telles que des intervalles de confiance. Quand un médecin te sort un diagostic, il le sort à partir de son expérience et de ses connaissances, mais dans bien des cas il sera incapable de te dire exactement quelle donnée a contribué pour combien à son résultat, mettre un chiffre sur son degré de confiance. GPT est bien plus proche du second cas que du premier. Le gros problème de la discussion c’est la distinction texte/sous-texte. "Modèle probabiliste" est correct dans le texte, mais le sous-texte est totalement faux. "Modèle probabiliste", en tant que texte, s’applique très bien à ChatGPT. Le problème c’est que le sous-texte c’est "juste une chaine de Markov au fond", ce qui est pour le coup faux.
  14. Sloonz

    GPT-4

    Je… ne vois pas ce qu’il y a à développer ? Tout est dit dans le tweet ? Qu’-est-ce qui n’est pas clair ? GPT, c’est exactement ce que les gens s’imaginent en pointant "LLM predicting next token". ChatGPT, le produit avec lequel tout le monde interagit, ce n’est pas GPT, c’est GPT + RLHF (+ RLAIF très probablement, même si je ne pense pas que ça ait été confirmé). Une grosse partie de son comportement provient de la partie RL*F, et le texte produit par ChatGPT est très différent du texte qui serait simplement produit "par imitation" par GPT. (pour être plus précis : GPT prédit la probabilité du token suivant d’après son modèle interne extrait de son corpus d’entrainement ; ChatGPT prédit quel score un juge humain donnerait à la continuation d’un texte)
  15. Sloonz

    GPT-4

    Ou que maximiser profit = maximiser CA, si les coûts restent constants. A ce sujet :
  16. Il y a 30% de personnes qui se disent catholiques en France. Presque une personne sur trois. Je crois que j’en ai croisé une en tout et pour tout, il y a des années, pendant mes études. Le phénomène d'auto-sélection de sa bulle sociale, tu peux pas test. (sur le sujet : https://slatestarcodex.com/2017/10/02/different-worlds/, partie III)
  17. Sloonz

    GPT-4

    Analyzing = la génération du code Python C’est extrêmement impressionnant mais comme toujours il faut se méfier. Hier je lui ai demandé de m’expliquer les saisons et de donner une estimation de la différence d'illumination entre l'hiver et l'été à la latitude 45°. Il a fait globalement une bonne analyse, mais mélangé cos et sin dans le code Python, et conclut sans remarquer l’erreur que l’illumination en été était d’1/3 de celle de l’hiver. Si la conclusion n’était pas aussi improbable, j’aurai probablement manqué la confusion cos/sin.
  18. Sloonz

    Se préparer au pire

    Oh, pas qu’une seule fois. https://en.wikipedia.org/wiki/List_of_nuclear_close_calls
  19. Sloonz

    Aujourd'hui, en France

    J’ose espérer que ce que mesure l’étude, c’est "probabilité de rester un mois/an de plus au RSA en fonction du nombre de mois/années précédemment passés au RSA". Ça n’est pas tautologique.
  20. Sloonz

    Tweets rigolos

    Je l’ai vu passer sur twitch. On a un état moderne, mônsieur !
  21. Sloonz

    Tweets rigolos

    Un dévendeur c'est la nouvelle lubie écologique où, quand tu vas chez un commerçant, il est censer t’expliquer pourquoi tu n’as en fait pas besoin de ce dont tu étais venu acheter.
  22. Quelqu’un sait à quoi fait réference Peter Schiff dans ce tweet, et à quel point c’est réellement sérieux ? Ça a l’air assez inquiétant.
  23. Sloonz

    GPT-4

    Si c'était vrai, https://arxiv.org/abs/2309.15840 serait impossible Personne ne sait comment l’en empếcher, tout simplement. Je soupçonne très fortement qu’une très grosse partie du problème c’est qu’une bonne partie de l’entraînement de ChatGPT c’est la partie RLHF où des humains donnent "pouce vert" et "pouce rouge" aux réponses données par l’IA, et que beaucoup d’humain sont incapables de remarquer quand ils se font bullshiter et mettent pouce vert sur du bullshit plausible, ce qui renforce le problème. Moi-même je dois avouer qu’il m’est arrivé d’avoir "pouce vert" en première lecture rapide pour me rendre compte 10 sec de réflexion plus tard "ha oui mais en fait non". Agiter tel un hochet le concept de la chambre chinoise c’est vraiment la mort de l’intellect, il faut arrêter avec ça. Faudra pas s’étonner ensuite que personne ne respecte les philosophes. Ça et les p-zombies, ce sont les deux exemples les plus éclairants de l’état plus que déplorable de la philosophie. Excuse moi d’être taquin, mais le fait que tu écrives "ça se contente" suivi de "le mot de plus probable en fonction des précédents" montre que tu es une chambre chinoise qui ne comprend pas grand chose à ce qu’il écrit. Tu devrais être ébahi/terrifié (selon ton inclinaison) d’une machine réellement, effectivement capable de très précisément évaluer cette probabilité. Ce que ça signifie exactement d’avoir une telle capacité. "Un avion c’est juste une voiture qui roule très vite et qui a des ailes"
×
×
  • Créer...