Sloonz
-
Compteur de contenus
2 348 -
Inscription
-
Dernière visite
Messages postés par Sloonz
-
-
Logique mathématique ? Je trouve que parmi les livres qui restent des bouquins universitaires (ie pas de vulgarisation), Computability and Logic (Boolos) est le plus accessible.
-
1
-
-
L’auteur de ce thread me semble avoir un gros problème de poutre dans l’œil.
-
1
-
-
C’est peu ou prou ce qu’on entend sur ce forum dès qu’on parle d’écologie. Je trouve ça ridicule dans les deux cas, mais j’ai du mal à voir comment s’offusquer de l’un mais pas de l’autre.
-
53 minutes ago, Marlenus said:
Si on prend l'idée que cela remplace la religion, il n'y a que peu de place chez une même personne pour 2 religions à la fois.
La Réforme est essentiellement un conflit entre protestantisme et catholicisme. Ce n’est pas pour autant que le protestantisme est monolithique et dénué de conflits internes. C’est exactement la même chose pour wokisme et écologie.
Il n’y a ni conflit ni incompatibilité entre wokisme et écologie. Chez la plupart des militants, les deux vont main dans la main. De fait, le tweet que j’ai posté utilise le terme "woke", mais pointe derrière le concept-non-nommé contenant à la fois wokisme et écologie radicale.
Et je ne comprend pas ta fixation sur la France quand le tweet que j’ai mis en avant parle des US. Dans ma tête, la France idéologiquement suivra de manière évidente les US (parce que les idéologies se transmettent dans les institutions de culture et de savoir, comme les universités, et que ces institutions sont aujourd’hui essentiellement mondialisées avec les US ouvrant le chemin), de sorte que c’est les US qu’il faut regarder, même pour savoir ce qu’il va se passer en France.
Le message de Warren plus haut est hautement illustratif : cette notion d’"appropriation culturelle" est complètement hors-sol en France, mais trouve tout de même son chemin.
-
29 minutes ago, Marlenus said:
Actuellement l'écologisme, pour parler de celles qui fâchent, a largement plus de potentiel et de soutien.
Je ne vois pas ce qui te fais considérer l’écologisme et le wokisme comme rivaux.
29 minutes ago, Marlenus said:Personne d'importance, en France en tout cas, ne se revendique woke.
Comme sur la plupart des sujets, la France suivra les US avec 20 ans de retard. Reviens plus en haut dans le fil, relis le message de Warren. C’est l’idéologie woke qui s’infiltre dans l’éducation et les universités, exactement comme ça a commencé aux US.
Je suis d’accord avec toi que l’idéologie woke, c’est peanuts actuellement en France. Et c’est indicatif que le pic est devant, pas derrière.
-
Sur le "peak woke est derrière nous"
-
Immobilier
dans Economie
Je me permet de relayer : Bryan Caplan (économiste libertarien, pour ceux qui connaissent pas) sort un livre sur le sujet : https://www.betonit.ai/p/please-pre-order-build-baby-build
QuoteWhile objective self-interest impels you to buy the book as soon as it releases, it would be a huge favor to me if you would take the extra step of pre-ordering right away from Amazon, Barnes and Noble, Bookshop, Apple Books, or anywhere else. Why? Because all pre-orders count as “first-week sales” for national best-seller lists — and I’m aiming high.
-
1
-
-
Honnêtement, je ne m’attendais pas à voir ça avant 2-3 ans.
-
1
-
-
32 minutes ago, cedric.org said:
Qui parle d'interdire, ici ?
La malicious compliance dont tu parles, c’est pour protester contre l’interdiction.
-
40 minutes ago, cedric.org said:
Le cas Apple, se foutant ouvertement des règles européennes avec de la malicious compliance de la plus pure mauvaise foi, interdisant à quiconque un accès à leur plateforme sans payer la majorité de la valeur ajoutée (sans pour autant défendre EPIC ou Spotify, faisant eux-mêmes pareil de leur côté, pourtant pleurant pour plus de régulation contre les plateformes plus grosses qu'elles).
Dans le cas Apple, je me range entièrement côté Apple.
Apple vend ouvertement un walled garden. Les clients d’Apple veulent un walled garden. Tout va bien dans le meilleur des mondes, il n’y a pour le coup absolument aucune bonne raison d’interdire ça.
Et je dis ça en tant que Apple-hater.
-
2
-
-
6 hours ago, Marlenus said:
Mais avec un peu de chance, vu que c'est en reflux, tu n'auras peut-être pas à prendre le plus gros dans la figure.
En reflux.
-
Gorafisation du réel.
-
6 hours ago, Prouic said:
- halving
Je ne vois pas en quoi le halving devrait changer la valeur du bitcoin.
-
Le CPF rentre dans "dépenses publiques" ?
-
À quel évenement fait-il référence, quand il parle du retrait des troupes russes de Kiev ?
Edit : je pense que c’est ça : https://www.timesofisrael.com/moscow-says-it-will-curb-assault-on-kyiv-chernihiv-russian-troops-seen-withdrawing/
-
-
1 hour ago, Lancelot said:
Par ailleurs même en t'accordant que quelque chose puisse émerger d'une machine à probabilités, rien ne te dit qu'il s'agisse de quoi que ce soit de semblable à un esprit humain
Je n’ai jamais parlé de quelque chose de semblable à un esprit humain ? Je serai extrêmement surpris que les mécanismes et représentations internes aux LLMs soient proches d’un esprit humain. Mais c’est le point rigolo : les deux sont tellement complexes qu’on est très loin d’avoir suffisamment de compréhension des deux (neuroscience pour le cerveau, interprétabilité pour les LLM) pour prouver définitivement qu’ils sont différents. Tandis que les chaines de Markov sont assez simples pour qu’on puisse montrer que ce n’est pas le mécanisme interne ni de l’esprit humain, ni des LLMs.
1 hour ago, Lancelot said:Meh, je trouve la comparaison peu pertinente
Est-ce que tu es d’accord que "un verre d’eau c’est juste un gros tas de molécule, et un avion aussi" est trompeur ? Ou est-ce qu’on est même pas d’accord là dessus ?
1 hour ago, Lancelot said:Tout ça sont des questions philosophiques complexes et débattues qu'on ne peut pas résoudre d'un revers de main, en tous cas pas que je sache.
Ça c’est en grande partie parce qu’il faut arrêter de prendre les philosophes au sérieux.
1 hour ago, Lancelot said:Quitte à faire la police des connotations, on pourrait aussi la faire dans l'autre camp qui nous sort de la GAI et de la singularité à tout bout de champ.
J’ai du mal à voir le rapport avec la choucroute ?
-
On 1/4/2024 at 10:02 AM, Lancelot said:
Je répondais à ton raisonnement :
- GPT est juste une machine à probabilité
- peut être qu'un cerveau biologique est aussi une machine à probabilité
- donc GPT n'est pas juste une machine à probabilité
Qui me semble injustifié.
Je pense plutôt que c’est :
- GPT peut être interprété comme juste une machine à probabilités
- un cerveau biologique peut aussi être interprété comme juste une machine à probabilités
- même dans l'interprétation "machine à probabilités" du cerveau, il y a des mécanismes non-trivaux, intéressants, complexes et potentiellement surprenant derrière les différentes opérations cognitives, ce qui rend le "juste" réducteur de manière trompeuse
- de même, à l’intérieur de GPT, il y a des mécanismes non-triviaux, intéressants, complexes et potentiellement surprenants
Ou encore : dire qu’un verre d’eau c’est juste un gros tas de molécules, ça me semble justifié. Dire qu’un avion c’est juste un gros tas de molécules, ça me semble trompeur, malgré que ce soit vrai au sens strict. Dire qu’une chaine de markov c’est juste une machine à probabilités c’est aussi vrai que le verre d’eau. Dire que GPT c’est juste une machine à probabilités ça me semble aussi vrai que l’avion. La discusssion porte sur la connotation, pas la dénotation, et la logique pure c’est malgré tout le respect que le lui porte peu utile pour analyser les connotations.
Pour expliciter, par "juste une machine à probabilités", il y a une connotation derrière que les mécanismes et représentations internes sont simples. Essentiellement des fréquences et des moyennes. Cette connotation est fausse, donc l’expression est trompeuse.
-
16 minutes ago, Azref said:
Et pour moi tous ces modèles sont RHLF.
Je crois que tu voulais écrire "sans RLHF". Mais non, ces modèles sont avec RLHF. Tu peux accéder à ces modèles sur https://platform.openai.com/playground, et tu verras que les résultats sont très similaires (si non exactement les mêmes) qu’avec https://chat.openai.com/
27 minutes ago, Azref said:Ou alors tu peux utiliser directement chatgpt par l'interface dédiée, qui est le modèle gpt 3.5/4 + le "moderation endpoint" activé par défaut + probablement des instructions pour l'orienter en tant que chatbot "safe" de base (+exemples de conversation?).
La dernière fois que j’avais réussi à faire cracher à l’interface dédiée ses instructions, il n’y avait pas d’instruction spéciales (c’était avant l’intégration avec DALL-E) :
You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture.
Knowledge cutoff: 2022-01
Current date: 2023-09-29(le current date était correct, ce qui est une forte indication que j’avais réussi à sortir le prompt système sans hallucination).
-
34 minutes ago, L'affreux said:
On peut retirer le mot "juste".
Quelqu’un m’a compris, je commençais à désespérer
-
2 minutes ago, Lancelot said:
cette hypothèse ne me serait même pas venue à l'esprit à vrai dire (et je ne pense pas que c'était le point de Rincevent non plus)
J’aimerai qu’on m’explique l’expression "stochastic parrot" si la compréhension mainstream des LLM ce n’est pas "optimisé pour la probabilité d'apparition dans un corpus existant"
-
34 minutes ago, Azref said:
Je ne suis pas expert sur le sujet du tout donc à prendre avec des pincettes, mais pour moi gpt4 (et 3.5) est le modèle de base qui utilise RHLF.
Non. À ma connaissance le seul modèle de base d’OpenAI encore accessible est code-davinci-002 (qui, comme son nom l'indique, a très largement été entrainé sur du code).
Il y a une problématique légale/économique/woke à ça. Si tu commences ton prompt par "Sieg Heil", la suite du texte généré par ton LLM pur a de fortes chances d’être… problématique. Tandis que tu peux entraîner un modèle RLHF à se tenir très très loin de ça. Aucune entreprise/laboratoire ne veut prendre la responsabilité de permettre le premier usage.
34 minutes ago, Azref said:RHLF ou non, le modèle prédit toujours le token le plus probable, non?
C’est ce que je m’évertue à essayer d’expliquer depuis un moment dans ce fil. Sans succès apparemment.
Absolument tout processus dans l’univers peut être interprété par un prisme probabiliste. Dans un sens totalement maximaliste (et inutile : si tout est X, X perd son sens), oui, le modèle te sort des probabilités.
Dans le sens strict où "ChatGPT construit un modèle statistique à partir d’un énorme corpus de texte, et l’utilise pour trouver le token le plus probable", non. Doublement non. C’est clairement faux pour ChatGPT : la partie RLHF est entraînée pour produire un texte qui sera noté "pertinent"/"utile" ("pouce vert") par un juge humain, pas pour être probable dans un corpus existant. Si tu utilises ChatGPT, parfois il te propose deux textes et te demande lequel et le meilleur ; ou, quand tu régénères, il te demande "cette réponse est elle meilleure que la précédente ?". C’est toi qui participe à l’entrainement RLHF. Il ne prédit pas lequel est le plus probable, il prédit lequel est préféré par un humain (et oui, tu peux toujours si ça te chante traduire ça par "quelle est la probabilité qu’un humain préfère cette réponse". Tout est probabiliste, toujours).
Secondement, parce que décrire la partie GPT pure comme un "modèle statistique" est extrêmement trompeur. Un statisticien qui produit un modèle statistique est capable de l’expliquer, le justifier, et de sortir des quantités telles que des intervalles de confiance. Quand un médecin te sort un diagostic, il le sort à partir de son expérience et de ses connaissances, mais dans bien des cas il sera incapable de te dire exactement quelle donnée a contribué pour combien à son résultat, mettre un chiffre sur son degré de confiance. GPT est bien plus proche du second cas que du premier.
Le gros problème de la discussion c’est la distinction texte/sous-texte. "Modèle probabiliste" est correct dans le texte, mais le sous-texte est totalement faux. "Modèle probabiliste", en tant que texte, s’applique très bien à ChatGPT. Le problème c’est que le sous-texte c’est "juste une chaine de Markov au fond", ce qui est pour le coup faux.
-
Je… ne vois pas ce qu’il y a à développer ? Tout est dit dans le tweet ? Qu’-est-ce qui n’est pas clair ?
GPT, c’est exactement ce que les gens s’imaginent en pointant "LLM predicting next token". ChatGPT, le produit avec lequel tout le monde interagit, ce n’est pas GPT, c’est GPT + RLHF (+ RLAIF très probablement, même si je ne pense pas que ça ait été confirmé). Une grosse partie de son comportement provient de la partie RL*F, et le texte produit par ChatGPT est très différent du texte qui serait simplement produit "par imitation" par GPT.
(pour être plus précis : GPT prédit la probabilité du token suivant d’après son modèle interne extrait de son corpus d’entrainement ; ChatGPT prédit quel score un juge humain donnerait à la continuation d’un texte)
-
On 12/27/2023 at 7:36 PM, Calembredaine said:
Ou alors il a compris que sans ces données dans l'énoncé, "profit" signifie "CA" 🙂
Ou que maximiser profit = maximiser CA, si les coûts restent constants.
On 12/27/2023 at 2:03 PM, Rincevent said:Non. C'est juste que les probabilités sont de plus en plus affûtées.
A ce sujet :
Abstémie : les cent jours de Sodome et Gomorrhe
dans La Taverne
Posté
La religion, historiquement, recouvre tellement de trucs :
Donc forcément, c’est assez facile de trouver des recouvrements entre tout et n'importe quoi et "la religion" (dès lors que le n'importe quoi a une vague composante sociale). Pour moi, c'est plus un signe que cette idée "X est une religion" est un piège à éviter.