GPT-4

[Sloonz]

16 minutes ago, Azref said:

Et pour moi tous ces modèles sont RHLF.

 

Je crois que tu voulais écrire "sans RLHF". Mais non, ces modèles sont avec RLHF. Tu peux accéder à ces modèles sur https://platform.openai.com/playground, et tu verras que les résultats sont très similaires (si non exactement les mêmes) qu’avec https://chat.openai.com/

 

27 minutes ago, Azref said:

Ou alors tu peux utiliser directement chatgpt par l'interface dédiée, qui est le modèle gpt 3.5/4 + le "moderation endpoint" activé par défaut + probablement des instructions pour l'orienter en tant que chatbot "safe" de base (+exemples de conversation?).

 

La dernière fois que j’avais réussi à faire cracher à l’interface dédiée ses instructions, il n’y avait pas d’instruction spéciales (c’était avant l’intégration avec DALL-E) :

 

You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture.
Knowledge cutoff: 2022-01
Current date: 2023-09-29

 

(le current date était correct, ce qui est une forte indication que j’avais réussi à sortir le prompt système sans hallucination).

[Azref]

à l’instant, Sloonz a dit :

 

Je crois que tu voulais écrire "sans RLHF". Mais non, ces modèles sont avec RLHF. Tu peux accéder à ces modèles sur https://platform.openai.com/playground, et tu verras que les résultats sont très similaires (si non exactement les mêmes) qu’avec https://chat.openai.com/

Non je voulais bien dire "avec" 😀.

On est d'accord du coup.

 

Citation

 

La dernière fois que j’avais réussi à faire cracher à l’interface dédiée ses instructions, il n’y avait pas d’instruction spéciales (c’était avant l’intégration avec DALL-E) :

 

You are ChatGPT, a large language model trained by OpenAI, based on the GPT-4 architecture.
Knowledge cutoff: 2022-01
Current date: 2023-09-29

 

(le current date était correct, ce qui est une forte indication que j’avais réussi à sortir le prompt système sans hallucination).

 

Intéressant, du coup un chatgpt sans moderation endpoint est possible en api avec le même ordre en utilisant le dernier snapshot de gpt4.

[L'affreux]

Il y a 13 heures, Lancelot a dit :

Je ne vois pas ce qui le justifie. Ton argument permet à la limite de retirer quelque chose à ce que tu pensais nécessaire à la composition de "l'intelligence et la conscience" (ce qui n'est pas une direction de pensée nouvelle, que ça soit dans l'histoire des idées comme le dit Mégille ou dans la neuroscience moderne), mais pas de rajouter quelque chose aux modèles artificiels dont pour le coup on connaît les ingrédients.

 

J'ai l'impression que tu penses que, puisque l'on est capable de fabriquer des machines à parler, c'est que le langage ne fait pas partie de l'intelligence. C'est-à-dire que le langage était une chose qui distinguait les êtres humains des autres animaux, et maintenant que les machines parlent, eh bien ça nous distingue moins. Ce serait un critère à éliminer.

 

Je vois les choses différemment. Il n'y a pas une limite franche entre quelque chose d'intelligent et quelque chose qui ne l'est pas. Par exemple, dans le processus de construction d'un être humain, il n'existe pas un moment que l'on pourrait déterminer et qui marquerait le passage de la non-intelligence vers l'intelligence (ou la non-conscience vers la conscience). Et pourtant, si on prend l'embryon au départ il est moins capable de raisonner que ChatGPT, alors que l'adulte à l'arrivée l'est. Je pense que le langage est une composante importante de l'intelligence, et nous sommes aujourd'hui capables de doter des machines de cette composante. Il est très possible que les machines soient dotées d'une intelligence plus complète et même d'une conscience d'ici quelques années. Mais il y a de bonnes chances pour que ce soit là encore un continuum : il n'y aura pas un avant et un après bien net, il n'y aura pas un moment clair où les machines seront non-conscientes puis conscientes. De plus, au fur et à mesure du développement de ces technologies, la compréhension de comment fonctionne l'intelligence en général (y compris humaine) sera approfondie.

[GilliB]

J'ai toujours eu l'intuition que l'intelligence n'est pas basée sur le langage. Quand je manipule des concepts, c'est plus profond que le mot associé. Quand tu fais des math, tu piges ou tu ne piges pas. D'ailleurs, beaucoup d'animaux sont intelligents et n'utilise pas le langage (les dauphins peut-être ?).

[L'affreux]

Il y a 1 heure, GilliB a dit :

J'ai toujours eu l'intuition que l'intelligence n'est pas basée sur le langage.

 

J'ai un doute. Si un autre animal communiquait comme nous le faisons, cela serait une preuve que le langage n'est pas une caractéristique de l'intelligence. Il y a beaucoup d'espèces, toujours pas de contre-exemple.

 

Le langage est à l'intelligence ce que la monnaie est à l'économie : un moyen de transmission. Sans langage, pas d'intelligence collective, quasiment aucune progression d'une génération humaine à l'autre, pas de possibilité de s'organiser en communauté plus grande que ceux que l'on peut côtoyer directement. On est réduit à progresser chacun dans son coin et à chaque nouvel individu tout recommence.

 

EDIT : Et j'ajoute qu'à l'échelle individuelle, le langage donne un cadre qui permet des raisonnements complexes. Je ne dis pas que sans langage ce serait impossible, mais il faut toujours quelque chose sur quoi s'appuyer. Il y a maintenant plus de 15 ans, j'ai écrit un livre et j'ai découvert à cette occasion que des erreurs de français étaient souvent révélatrices de zones floues dans les raisonnements. C'est facile de croire son raisonnement parfait sans s'embarrasser de la forme. Dans la réalité, lorsque la forme est approximative, c'est parce que le fond l'est aussi. Corriger les coquilles, cela implique d'éclaircir les concepts.

[Lancelot]

28 minutes ago, L'affreux said:

J'ai l'impression que tu penses que, puisque l'on est capable de fabriquer des machines à parler, c'est que le langage ne fait pas partie de l'intelligence. C'est-à-dire que le langage était une chose qui distinguait les êtres humains des autres animaux, et maintenant que les machines parlent, eh bien ça nous distingue moins. Ce serait un critère à éliminer.

Je répondais à ton raisonnement :

- GPT est juste une machine à probabilité

- peut être qu'un cerveau biologique est aussi une machine à probabilité

- donc GPT n'est pas juste une machine à probabilité

Qui me semble injustifié.

 

Sur la question de ce que sont ou pas l'intelligence et la conscience, si le cerveau est "juste" un modèle prédictif ou autre chose, si le fonctionnalisme est correct (et si oui quelle version), ce qui différencie ou pas l'esprit humain d'un animal ou d'une machine, tout ce que je peux te dire c'est qu'autant que je puisse en juger la plupart des positions possibles ont des arguments pertinents qui ne permettent pas de les écarter d'un revers de main, du moins tant qu'on ne rentre pas dans des points très spécifiques.

[L'affreux]

il y a 54 minutes, Lancelot a dit :

Je répondais à ton raisonnement :

- GPT est juste une machine à probabilité

- peut être qu'un cerveau biologique est aussi une machine à probabilité

- donc GPT n'est pas juste une machine à probabilité

Qui me semble injustifié.

 

Ah pardon ! Oui effectivement GPT est manifestement une machine à probabilités, et rien d'autre. Le mot "juste" a aussi un sens dévalorisant, un peu comme un tour de magie révélé (ce tour de magie est "juste" un trucage). C'est cet aspect dévalorisant qui me semble inapproprié. Le fait est qu'une machine à probabilités n'est pas une petite affaire, si ça se trouve il s'agit du principe à la base de l'intelligence et peut-être même de la biologie.

[Sloonz]

On 1/4/2024 at 10:02 AM, Lancelot said:

Je répondais à ton raisonnement :

- GPT est juste une machine à probabilité

- peut être qu'un cerveau biologique est aussi une machine à probabilité

- donc GPT n'est pas juste une machine à probabilité

Qui me semble injustifié.

 

Je pense plutôt que c’est :

 

- GPT peut être interprété comme juste une machine à probabilités

- un cerveau biologique peut aussi être interprété comme juste une machine à probabilités

- même dans l'interprétation "machine à probabilités" du cerveau, il y a des mécanismes non-trivaux, intéressants, complexes et potentiellement surprenant derrière les différentes opérations cognitives, ce qui rend le "juste" réducteur de manière trompeuse

- de même, à l’intérieur de GPT, il y a des mécanismes non-triviaux, intéressants, complexes et potentiellement surprenants

 

Ou encore : dire qu’un verre d’eau c’est juste un gros tas de molécules, ça me semble justifié. Dire qu’un avion c’est juste un gros tas de molécules, ça me semble trompeur, malgré que ce soit vrai au sens strict. Dire qu’une chaine de markov c’est juste une machine à probabilités c’est aussi vrai que le verre d’eau. Dire que GPT c’est juste une machine à probabilités ça me semble aussi vrai que l’avion. La discusssion porte sur la connotation, pas la dénotation, et la logique pure c’est malgré tout le respect que le lui porte peu utile pour analyser les connotations.

 

Pour expliciter, par "juste une machine à probabilités", il y a une connotation derrière que les mécanismes et représentations internes sont simples. Essentiellement des fréquences et des moyennes. Cette connotation est fausse, donc l’expression est trompeuse.

 

[Lancelot]

3 hours ago, Sloonz said:

GPT peut être interprété comme juste une machine à probabilités

Pas "peut", "doit".

 

3 hours ago, Sloonz said:

à l’intérieur de GPT, il y a des mécanismes non-triviaux, intéressants, complexes et potentiellement surprenants

Bien sûr.

 

3 hours ago, Sloonz said:

Dire qu’une chaine de markov c’est juste une machine à probabilités c’est aussi vrai que le verre d’eau. Dire que GPT c’est juste une machine à probabilités ça me semble aussi vrai que l’avion.

Meh, je trouve la comparaison peu pertinente, mais disons que si j'en cherche la version la plus forte ça renvoie à la question du réductionnisme (encore un truc qui intéresse les fonctionnalistes). Par ailleurs même en t'accordant que quelque chose puisse émerger d'une machine à probabilités, rien ne te dit qu'il s'agisse de quoi que ce soit de semblable à un esprit humain (et encore moins un cerveau humain en admettant que les deux notions soient séparables). Tout ça sont des questions philosophiques complexes et débattues qu'on ne peut pas résoudre d'un revers de main, en tous cas pas que je sache.

 

3 hours ago, Sloonz said:

Pour expliciter, par "juste une machine à probabilités", il y a une connotation derrière que les mécanismes et représentations internes sont simples. Essentiellement des fréquences et des moyennes. Cette connotation est fausse, donc l’expression est trompeuse.

Quitte à faire la police des connotations, on pourrait aussi la faire dans l'autre camp qui nous sort de la GAI et de la singularité à tout bout de champ.

[L'affreux]

il y a 59 minutes, Lancelot a dit :

machine à probabilités

 

Un autre point intéressant quand on parle des réseaux de neurones ou de l'intelligence biologique : il me semble que ces probabilités sont des intuitions. Elles ne sont pas le résultat de calculs. (Désolé je change de sujet)

[Lancelot]

Ça va encore dépendre de comment tu définis "calcul" et "intuition", et les connotations associées...

[Sloonz]

1 hour ago, Lancelot said:

Par ailleurs même en t'accordant que quelque chose puisse émerger d'une machine à probabilités, rien ne te dit qu'il s'agisse de quoi que ce soit de semblable à un esprit humain

Je n’ai jamais parlé de quelque chose de semblable à un esprit humain ? Je serai extrêmement surpris que les mécanismes et représentations internes aux LLMs soient proches d’un esprit humain. Mais c’est le point rigolo : les deux sont tellement complexes qu’on est très loin d’avoir suffisamment de compréhension des deux (neuroscience pour le cerveau, interprétabilité pour les LLM) pour prouver définitivement qu’ils sont différents. Tandis que les chaines de Markov sont assez simples pour qu’on puisse montrer que ce n’est pas le mécanisme interne ni de l’esprit humain, ni des LLMs.

  

1 hour ago, Lancelot said:

Meh, je trouve la comparaison peu pertinente

Est-ce que tu es d’accord que "un verre d’eau c’est juste un gros tas de molécule, et un avion aussi" est trompeur ? Ou est-ce qu’on est même pas d’accord là dessus ?

 

 

1 hour ago, Lancelot said:

Tout ça sont des questions philosophiques complexes et débattues qu'on ne peut pas résoudre d'un revers de main, en tous cas pas que je sache.

Ça c’est en grande partie parce qu’il faut arrêter de prendre les philosophes au sérieux.

 

  

1 hour ago, Lancelot said:

Quitte à faire la police des connotations, on pourrait aussi la faire dans l'autre camp qui nous sort de la GAI et de la singularité à tout bout de champ.

J’ai du mal à voir le rapport avec la choucroute ?

[Lancelot]

13 hours ago, Sloonz said:

Je n’ai jamais parlé de quelque chose de semblable à un esprit humain ?

C'est la connotation.

 

13 hours ago, Sloonz said:

Tandis que les chaines de Markov sont assez simples pour qu’on puisse montrer que ce n’est pas le mécanisme interne ni de l’esprit humain, ni des LLMs.

Note que certains neuroscientifiques ne seraient pas d'accord avec ça.

 

13 hours ago, Sloonz said:

Est-ce que tu es d’accord que "un verre d’eau c’est juste un gros tas de molécule, et un avion aussi" est trompeur ? Ou est-ce qu’on est même pas d’accord là dessus ?

Ben ça dépend exactement des présuppositions et des conclusions dans ta comparaison, mais pour les expliciter il faut faire appel à de la philosophie que selon toi on ne doit pas prendre au sérieux, donc je suis un peu embêté.

Je peux essayer ça : admettons qu'il y a une différence de catégorie entre un verre d'eau et un avion, et aussi une différence de catégorie entre un verre d'eau et un oiseau. Est-ce que selon toi on ne peut pas prouver définitivement que les avions et les oiseaux sont différents ? Après tout ils implémentent un mécanisme similaire, le vol.

[L'affreux]

 

Il y a 16 heures, Lancelot a dit :

Ça va encore dépendre de comment tu définis "calcul" et "intuition", et les connotations associées...

 

Après ce n'est pas moi qui ai fait ces mots.

 

Il y a 16 heures, Sloonz a dit :

Est-ce que tu es d’accord que "un verre d’eau c’est juste un gros tas de molécule, et un avion aussi" est trompeur ? Ou est-ce qu’on est même pas d’accord là dessus ?

 

Le sens dépend de l'échelle. Si tu zoomes trop, tu ne vois plus rien tu changes de sujet. Si tu dézoomes trop, il n'y a plus rien à voir. La comparaison d'un verre d'eau avec un avion à l'échelle atomique ne permet pas de déduire grand chose à l'échelle humaine. Pour la vie, c'est pareil. Nous (les êtres vivants) sommes faits de cellules. Chaque cellule est vivante et pourrait survivre dans plusieurs environnements, pas seulement dans le corps où elle est. C'est-à-dire qu'une cellule a une vie propre. Si tu zoomes à l'échelle des cellules il devient difficile de voir une différence entre les êtres vivants. En revanche, la différence avec la matière inerte reste très nette. Enfin cela nous éloigne du mot "juste" trop réducteur pour un mécanisme qui n'a rien de trivial puisqu'il permet à des machines d'utiliser le langage humain.

[Johnnieboy]

Ce que m’apporte ChatGPT, c’est de vaincre ma procrastination et mon désir de toujours faire un truc parfait (et donc de ne rien faire). 
 

Cela donne un premier jet que l’on peut affiner, et affiner puis terminer soi-même.

[GilliB]

il y a 32 minutes, Johnnieboy a dit :

Ce que m’apporte ChatGPT, c’est de vaincre ma procrastination et mon désir de toujours faire un truc parfait (et donc de ne rien faire). 
 

Cela donne un premier jet que l’on peut affiner, et affiner puis terminer soi-même.

Je faisais la même chose (dans l'esprit) pour les versions latines en prenant la traduction de Budé et  je peaufinais la traduction brut. Copier-coller est facilement repérable.