Aller au contenu

Sloonz

Membre Adhérent
  • Compteur de contenus

    2 340
  • Inscription

  • Dernière visite

1 abonné

Profile Information

  • Gender
    Male
  • Lieu
    Lyon

Idées

  • Tendance
    Anarcap
  • Ma référence
    JIM16

Visiteurs récents du profil

2 099 visualisations du profil
  1. Honnêtement, je ne m’attendais pas à voir ça avant 2-3 ans.
  2. La malicious compliance dont tu parles, c’est pour protester contre l’interdiction.
  3. Dans le cas Apple, je me range entièrement côté Apple. Apple vend ouvertement un walled garden. Les clients d’Apple veulent un walled garden. Tout va bien dans le meilleur des mondes, il n’y a pour le coup absolument aucune bonne raison d’interdire ça. Et je dis ça en tant que Apple-hater.
  4. https://books.google.com/ngrams/graph?content="cultural+appropriation"&year_start=1800&year_end=2019&corpus=en-2019&smoothing=3 En reflux.
  5. Je ne vois pas en quoi le halving devrait changer la valeur du bitcoin.
  6. Le CPF rentre dans "dépenses publiques" ?
  7. À quel évenement fait-il référence, quand il parle du retrait des troupes russes de Kiev ? Edit : je pense que c’est ça : https://www.timesofisrael.com/moscow-says-it-will-curb-assault-on-kyiv-chernihiv-russian-troops-seen-withdrawing/
  8. Sloonz

    GPT-4

    Je n’ai jamais parlé de quelque chose de semblable à un esprit humain ? Je serai extrêmement surpris que les mécanismes et représentations internes aux LLMs soient proches d’un esprit humain. Mais c’est le point rigolo : les deux sont tellement complexes qu’on est très loin d’avoir suffisamment de compréhension des deux (neuroscience pour le cerveau, interprétabilité pour les LLM) pour prouver définitivement qu’ils sont différents. Tandis que les chaines de Markov sont assez simples pour qu’on puisse montrer que ce n’est pas le mécanisme interne ni de l’esprit humain, ni des LLMs. Est-ce que tu es d’accord que "un verre d’eau c’est juste un gros tas de molécule, et un avion aussi" est trompeur ? Ou est-ce qu’on est même pas d’accord là dessus ? Ça c’est en grande partie parce qu’il faut arrêter de prendre les philosophes au sérieux. J’ai du mal à voir le rapport avec la choucroute ?
  9. Sloonz

    GPT-4

    Je pense plutôt que c’est : - GPT peut être interprété comme juste une machine à probabilités - un cerveau biologique peut aussi être interprété comme juste une machine à probabilités - même dans l'interprétation "machine à probabilités" du cerveau, il y a des mécanismes non-trivaux, intéressants, complexes et potentiellement surprenant derrière les différentes opérations cognitives, ce qui rend le "juste" réducteur de manière trompeuse - de même, à l’intérieur de GPT, il y a des mécanismes non-triviaux, intéressants, complexes et potentiellement surprenants Ou encore : dire qu’un verre d’eau c’est juste un gros tas de molécules, ça me semble justifié. Dire qu’un avion c’est juste un gros tas de molécules, ça me semble trompeur, malgré que ce soit vrai au sens strict. Dire qu’une chaine de markov c’est juste une machine à probabilités c’est aussi vrai que le verre d’eau. Dire que GPT c’est juste une machine à probabilités ça me semble aussi vrai que l’avion. La discusssion porte sur la connotation, pas la dénotation, et la logique pure c’est malgré tout le respect que le lui porte peu utile pour analyser les connotations. Pour expliciter, par "juste une machine à probabilités", il y a une connotation derrière que les mécanismes et représentations internes sont simples. Essentiellement des fréquences et des moyennes. Cette connotation est fausse, donc l’expression est trompeuse.
  10. Sloonz

    GPT-4

    Je crois que tu voulais écrire "sans RLHF". Mais non, ces modèles sont avec RLHF. Tu peux accéder à ces modèles sur https://platform.openai.com/playground, et tu verras que les résultats sont très similaires (si non exactement les mêmes) qu’avec https://chat.openai.com/ La dernière fois que j’avais réussi à faire cracher à l’interface dédiée ses instructions, il n’y avait pas d’instruction spéciales (c’était avant l’intégration avec DALL-E) : You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture. Knowledge cutoff: 2022-01 Current date: 2023-09-29 (le current date était correct, ce qui est une forte indication que j’avais réussi à sortir le prompt système sans hallucination).
  11. Sloonz

    GPT-4

    Quelqu’un m’a compris, je commençais à désespérer
  12. Sloonz

    GPT-4

    J’aimerai qu’on m’explique l’expression "stochastic parrot" si la compréhension mainstream des LLM ce n’est pas "optimisé pour la probabilité d'apparition dans un corpus existant"
  13. Sloonz

    GPT-4

    Non. À ma connaissance le seul modèle de base d’OpenAI encore accessible est code-davinci-002 (qui, comme son nom l'indique, a très largement été entrainé sur du code). Il y a une problématique légale/économique/woke à ça. Si tu commences ton prompt par "Sieg Heil", la suite du texte généré par ton LLM pur a de fortes chances d’être… problématique. Tandis que tu peux entraîner un modèle RLHF à se tenir très très loin de ça. Aucune entreprise/laboratoire ne veut prendre la responsabilité de permettre le premier usage. C’est ce que je m’évertue à essayer d’expliquer depuis un moment dans ce fil. Sans succès apparemment. Absolument tout processus dans l’univers peut être interprété par un prisme probabiliste. Dans un sens totalement maximaliste (et inutile : si tout est X, X perd son sens), oui, le modèle te sort des probabilités. Dans le sens strict où "ChatGPT construit un modèle statistique à partir d’un énorme corpus de texte, et l’utilise pour trouver le token le plus probable", non. Doublement non. C’est clairement faux pour ChatGPT : la partie RLHF est entraînée pour produire un texte qui sera noté "pertinent"/"utile" ("pouce vert") par un juge humain, pas pour être probable dans un corpus existant. Si tu utilises ChatGPT, parfois il te propose deux textes et te demande lequel et le meilleur ; ou, quand tu régénères, il te demande "cette réponse est elle meilleure que la précédente ?". C’est toi qui participe à l’entrainement RLHF. Il ne prédit pas lequel est le plus probable, il prédit lequel est préféré par un humain (et oui, tu peux toujours si ça te chante traduire ça par "quelle est la probabilité qu’un humain préfère cette réponse". Tout est probabiliste, toujours). Secondement, parce que décrire la partie GPT pure comme un "modèle statistique" est extrêmement trompeur. Un statisticien qui produit un modèle statistique est capable de l’expliquer, le justifier, et de sortir des quantités telles que des intervalles de confiance. Quand un médecin te sort un diagostic, il le sort à partir de son expérience et de ses connaissances, mais dans bien des cas il sera incapable de te dire exactement quelle donnée a contribué pour combien à son résultat, mettre un chiffre sur son degré de confiance. GPT est bien plus proche du second cas que du premier. Le gros problème de la discussion c’est la distinction texte/sous-texte. "Modèle probabiliste" est correct dans le texte, mais le sous-texte est totalement faux. "Modèle probabiliste", en tant que texte, s’applique très bien à ChatGPT. Le problème c’est que le sous-texte c’est "juste une chaine de Markov au fond", ce qui est pour le coup faux.
×
×
  • Créer...