Claude & la vision de Dario Amodei

[L'affreux]

Le CEO de Anthropic (la boîte de l'IA Claude) situe la création d'une IA surpuissante d'ici un ou deux ans et envisage les conséquences :

• Négatives : jusqu'ici l'humanité a échappé à l'horreur parce que les personnes les plus destructrices sont rarement en capacité d'accomplir la destruction. Les personnes capables sont les plus intelligentes, ont beaucoup étudié et ont donc plus à perdre, elles cherchent à préserver leur réputation et sont incitées à ne pas détruire. L'IA va faire sauter cette sécurité.
• Positives : dans beaucoup de domaines nous sommes habitués à ce que la quantité d'intelligence soit le facteur limitant pour progresser. Nous allons pouvoir approvisionner la quantité d'intelligence en fonction du besoin. Et cela mènera à des avancées drastique dans les domaines de la biologie, les neurosciences, l'économie, la gouvernance et le sens que l'on donne au travail.

Sur les conséquences positives : https://darioamodei.com/machines-of-loving-grace

 

Citation

To summarize the above, my basic prediction is that AI-enabled biology and medicine will allow us to compress the progress that human biologists would have achieved over the next 50-100 years into 5-10 years.

 

Son interview par Lex Fridman il y a quelques mois :

 

 

 

[Sloonz]

Quote

On the question of meaning, I think it is very likely a mistake to believe that tasks you undertake are meaningless simply because an AI could do them better. Most people are not the best in the world at anything, and it doesn’t seem to bother them particularly much. Of course today they can still contribute through comparative advantage, and may derive meaning from the economic value they produce, but people also greatly enjoy activities that produce no economic value. I spend plenty of time playing video games, swimming, walking around outside, and talking to friends, all of which generates zero economic value.

 

OK. Donc la vision c’est plus de travail et l’UBI pour tous. L’AI s’occupe de la science, l’économie, la gouvernance.

 

Mais on peut jouer à des jeux vidéo toute la journée !

 

Je suis le seul à mettre ça dans la case "dystopie" plutôt que "utopie" ?

[Alchimi]

Le 11/02/2025 à 23:56, Sloonz a dit :

 

OK. Donc la vision c’est plus de travail et l’UBI pour tous. L’AI s’occupe de la science, l’économie, la gouvernance.

 

Mais on peut jouer à des jeux vidéo toute la journée !

 

Je suis le seul à mettre ça dans la case "dystopie" plutôt que "utopie" ?

 

De fait, le besoin du sentiment d'être utile est quelque chose de présent dans la psyché humaine.

Et je me souviens de plusieurs bonnes vielles nouvelles de SF (plutôt des trucs écrits courant 50/60 je dirais) qui abordaient le sujet de l'invention de robot/IA surpuissantes qui géraient tout. J'ai plus le général zeist de la moyenne de ses nouvelles exactement en tête, mais ça ne m'avait pas laissé l'impression d'un monde très jojo pour les hommes.

 

Le cerveau humain est une machine à résoudre les problèmes, retire-lui ça, c'est un peu la déprime, pour ne pas dire la dépression.

 

Maintenant, 1) le gars est-il dans le juste, et surtout 2) est-ce que ce sera vraiment ça? Est-ce que les IA contrôleront tout, d'une manière qui nous convient? Est-ce qu'on ne trouvera pas autre chose à faire que les IA ne pourront guère faire? Est-ce que les IA pourront vraiment tout bien faire sans nous? Martony bluffe-il? Quien sabe?

[Rübezahl]

Il y a 6 heures, Alchimi a dit :

Le cerveau humain est une machine à résoudre les problèmes, retire-lui ça, c'est un peu la déprime, pour ne pas dire la dépression.

ça tombe bien, il y a encore plein de problèmes à résoudre, pour des siècles,
et l'IA non seulement n'interdit à personne de s'y frotter, mais elle est un outil supplémentaire (et pas trop cher) pour attaquer les problèmes difficiles.

De plus, relativement à certain problèmes, l'IA est carrément un recours obligatoire (ce qui rend la question un peu oiseuse).

 

L'idée de brider l'IA parce qu'il y a des gens qui vont jouer à des jeux vidéos toute la journée ?

Mais seigneur, ces gens là ont toujours existé (sous des formes adaptées à leur époque) et ils existeront toujours.

Cette idée de faire dépendre le progrès de l'humanité de la partie la plus inutile de la société est juste ignoble (du bon gros socialisme qui tache quoi).

 

Dieu merci, c'est pas parce que le progrès est bloqué ici ou là, que ça l'empêche de se développer ailleurs.

[L'affreux]

Le papier de Dario Amodei fait un peu peur effectivement, il y a des points positifs pour lui dont on pourrait discuter.

 

Concernant le besoin de travailler pour un esprit humain, je comparerais ça au besoin de travailler pour le corps humain. Beaucoup de jobs n'ont plus besoin d'un effort physique particulier et on ne va pourtant pas vers une société d'atrophiés. Les gens compensent en allant dans des salles de sport, sans forcément vouloir faire du sport de haut niveau ou que cela ait un sens particulier, ce qui n'a rien de malsain et est plutôt efficace finalement. Je suppose que l'on pourrait voir fleurir des clubs de mind-building qui fonctionneront à l'image du bodybuilding.

[Alchimi]

Il y a 5 heures, Rübezahl a dit :

L'idée de brider l'IA parce qu'il y a des gens qui vont jouer à des jeux vidéos toute la journée ?

Mais seigneur, ces gens là ont toujours existé (sous des formes adaptées à leur époque) et ils existeront toujours.

Cette idée de faire dépendre le progrès de l'humanité de la partie la plus inutile de la société est juste ignoble (du bon gros socialisme qui tache quoi).

Personne n'a dit ça ici (ou même médiatiquement), ne surréagit pas.

[Alchimi]

Le 11/02/2025 à 21:31, L'affreux a dit :

Négatives : jusqu'ici l'humanité a échappé à l'horreur parce que les personnes les plus destructrices sont rarement en capacité d'accomplir la destruction. Les personnes capables sont les plus intelligentes, ont beaucoup étudié et ont donc plus à perdre, elles cherchent à préserver leur réputation et sont incitées à ne pas détruire. L'IA va faire sauter cette sécurité.

 

D'ailleurs je reviens sur ce truc-là, je ne suis pas du tout d'accord avec sa prémisse, les gens "capables et éduqués" ont tout autant été auteurs et commanditaires de massacres que des soudards de base d'une armée.

[Lancelot]

Toute théorie qui part du principe qu'il y a une limite au désir humain/à la demande économique est un non sens anthropologique.

[Rübezahl]

il y a 5 minutes, Alchimi a dit :

... (ou même médiatiquement),

Coté Europe, que ce soit politiques ou insiders, le leitmotiv est régulation / sécurité / priorité aux DB "bien" orientées / etc.

Et oui ça me consterne (et pas que moi).

[Alchimi]

il y a 1 minute, Rübezahl a dit :

Coté Europe, que ce soit politiques ou insiders, le leitmotiv est régulation / sécurité / priorité aux DB "bien" orientées / etc.

Et oui ça me consterne (et pas que moi).

Oui certes, mais ça ne cite pas les gens qui foutent rien en mètre étalon.

Certaines craintes et critiques sont un minimum compréhensibles, voire (horreur!) pertinentes et légitimes. On peut éviter de secouer la main au nez des gens en disant "des détails", on peut même se demander si certaines critiques mettent pas le doigt sur des points de sécurité importants.

L'invention de la mitrailleuse a préfiguré les guerres industrielles, qui posent un problème significatif. C'est pas déconnant de se poser des questions sur les autres outils surpuissants qu'on invente.

 

Le plus marrant, c'est quand dans la vidéo avec Macron, c'est que par moment c'est plutôt Macron qui est un défenseur de l'IA face aux deux intervenants qui s'inquiètent de certains points.

 

tldr: Nuance, bon sang.

[Sloonz]

5 hours ago, Rübezahl said:

ça tombe bien, il y a encore plein de problèmes à résoudre, pour des siècles,
et l'IA non seulement n'interdit à personne de s'y frotter, mais elle est un outil supplémentaire (et pas trop cher) pour attaquer les problèmes difficiles.

De plus, relativement à certain problèmes, l'IA est carrément un recours obligatoire (ce qui rend la question un peu oiseuse).

 

L'idée de brider l'IA parce qu'il y a des gens qui vont jouer à des jeux vidéos toute la journée ?

Mais seigneur, ces gens là ont toujours existé (sous des formes adaptées à leur époque) et ils existeront toujours.

Cette idée de faire dépendre le progrès de l'humanité de la partie la plus inutile de la société est juste ignoble (du bon gros socialisme qui tache quoi).

 

Dieu merci, c'est pas parce que le progrès est bloqué ici ou là, que ça l'empêche de se développer ailleurs.

 

Tu tapes à côté.

 

Dario dit explicitement "à terme l’IA va remplacer les êtres humans dans la totalité de la sphère de la production économique". Pas "pour ceux qui veulent".

 

Parce que son objectif est de créer une IA qui surpasse l’humain dans toutes les tâches cognitives, sur tous les aspects : capacité, vitesse, prix, fiabilité.

 

(et sur les tâches physiques : la robotique est une tâche cognitive)

 

Tu peux penser "il est drogué, c’est impossible", mais ce n’est pas la question. La question est : un tel monde est-il désirable ? Dario dit oui. Je dis non.

 

27 minutes ago, Lancelot said:

Toute théorie qui part du principe qu'il y a une limite au désir humain/à la demande économique est un non sens anthropologique.

 

Ça tombe bien, ce n’est pas la base de la théorie.

[Lancelot]

9 minutes ago, Sloonz said:

Ça tombe bien, ce n’est pas la base de la théorie.

 

Donc ceci est un non sens :

9 minutes ago, Sloonz said:

Dario dit explicitement "à terme l’IA va remplacer les êtres humans dans la totalité de la sphère de la production économique". Pas "pour ceux qui veulent".

[Sloonz]

Ça n’a aucun rapport avec le monde de Dario où la production est non-humaine et la consommation humaine. Ta remarque parle de la consommation, Dario parle de la production.

 

(et la prochaine remarque étant "lol faut bien produire pour gagner de l’argent pour dépenser pour consommer" : d’où la défense par Dario de l’UBI)

[Mégille]

Il nous restera plus qu'à ré-apprendre le mode de vie des citoyens grecs qui laissaient des esclaves travailler pour eux : nudité, philosophie, gymnastique, musique (pour la joie d'en jouer plus que pour la production, comme c'est déjà le cas en sport... aucun athlète ne prétend remplacer une presse hydraulique) et occasionnellement, orgie. Et pour les plus vulgaires d'entre nous, théâtre et politique. 

[L'affreux]

il y a 15 minutes, Sloonz a dit :

Tu peux penser "il est drogué, c’est impossible", mais ce n’est pas la question. La question est : un tel monde est-il désirable ? Dario dit oui. Je dis non.

 

Après, ça fait longtemps que les industries répondent à presque tous les besoins et il y a toujours un vaste marché pour le "fait main" et le "fait maison". On peut donc imaginer que, dans le monde prédit par Dario, il y aura de la même manière un marché pour le "pensé cerveau".

[Rübezahl]

il y a une heure, Sloonz a dit :

La question est : un tel monde est-il désirable ? Dario dit oui. Je dis non.

L'état providence est un mythe qui dure juste le temps de vider les caisses (1 ou 2 générations). Et puis ça se finit mal (guerres, etc).

Régulièrement l'humanité (ré)apprend que les gens qui ne produisent rien en output ... finissent par recevoir rien en input. Quoi qu'on fasse.

L'idée comme quoi les bons à rien auraient une sorte de droit "naturel" (la blague) à indéfiniment rester des bons à rien (et maintenant sur 1 ou 2 générations) n'est pas viable.

Et l'IA n'est pas le problème ici, puisque l'humanité a déjà connu N révolutions du même type.

 

btw :

L'impact est juste énorme.
Et évidemment, ce n'est, ni ne restera juste le software.
... pour autant, est-ce que c'est la guerre civile aux US ?

Ben non. Et au lieu de réélire Biden ou un clone, ils ont même voté Trump.

[Rübezahl]

il y a 47 minutes, L'affreux a dit :

il y aura de la même manière un marché pour le "pensé cerveau".

Il y a toujours de la place pour les individus capables d'utiliser les nouveaux outils (depuis 2M d'années).

Il y a une limite physique au nombre d'incapables / retardataires que les premiers sont capables d'entretenir, ainsi qu'à leur bonne volonté.

[Sloonz]

22 minutes ago, Rübezahl said:

Et l'IA n'est pas le problème ici, puisque l'humanité a déjà connu N révolutions du même type.

 

Ah ? L’humanité a inventé l’AGI plusieurs fois dans le passé ?

 

J’ai l’impression que tu réagis réflexivement sans prendre la peine de te projeter dans le monde tel que décrit par Dario.

 

Les révolutions précédentes, c’est "automatiser un domaine" (agriculture par exemple) pour "se concentrer sur des tâches plus importantes" (industrie puis services).

 

La révolution décrite par Dario a pour objectif de faire la même chose mais récursivement. C’est à dire automatiser pas seulement les tâches existantes, mais les tâches de remplacement. Et les tâches qui remplacent les tâches de remplacement. À un certain point la tâche de remplacement est elle-même imaginée par une IA et probablement difficilement compréhensible par un humain.

 

C’est qualitativement différent.

[Rübezahl]

il y a 12 minutes, Sloonz a dit :

Ah ? L’humanité a inventé l’AGI plusieurs fois dans le passé ?

Bien sûr que non.

Il faut comparer relativement à l'état antérieur.

L'apparition de l'oeil chez les animaux a été une révolution.

Le feu a été une révolution.

La machine à vapeur.

Les langages de programmation "modernes" ont été une révolution.

Les IA actuelles sont dans la droite ligne de tout ça.

(Et elles n'existeraient pas sans les BD accumulées par les générations précédentes).

à chaque fois l'humanité a fait mieux que de juste s'en sortir.

... mais là, avec l'IA qui régurgite proprement du wikipédia, on va tous mourir. Nawak.

 

Je n'enlève rien aux grands mérites des IAs actuelles (je les connais, j'ai bossé sur les algos il y a 30 ans), mais il faut arrêter de croire qu'elles sont une menace.

Elles sont une (nième) bienvenue révolution.

[Sloonz]

7 minutes ago, Rübezahl said:

... mais là, avec l'IA qui régurgite proprement du wikipédia, on va tous mourir. Nawak.

 

Le problème est là. Tu te focalises sur les IA actuelles. Pas celles IA décrites par Dario. Celles qu’il essaie de construire.

 

Évidemment que Claude et ChatGPT dans leur état actuel sont une bonne chose. Personne ne remet en cause ça ici.

[Rincevent]

Il y a 3 heures, Mégille a dit :

Il nous restera plus qu'à ré-apprendre le mode de vie des citoyens grecs qui laissaient des esclaves travailler pour eux : nudité, philosophie, gymnastique, musique (pour la joie d'en jouer plus que pour la production, comme c'est déjà le cas en sport... aucun athlète ne prétend remplacer une presse hydraulique) et occasionnellement, orgie. Et pour les plus vulgaires d'entre nous, théâtre et politique. 

Il y a comme un oubli dans ton message. 

[Carl Barks]

Il y a 4 heures, Mégille a dit :

Il nous restera plus qu'à ré-apprendre le mode de vie des citoyens grecs qui laissaient des esclaves travailler pour eux : nudité, philosophie, gymnastique, musique (pour la joie d'en jouer plus que pour la production, comme c'est déjà le cas en sport... aucun athlète ne prétend remplacer une presse hydraulique) et occasionnellement, orgie. Et pour les plus vulgaires d'entre nous, théâtre et politique. 

Il y a quand même d'autres distractions qui nous sont arrivées depuis les Grecs.

Par exemple: les origamis. J'y passerai pas mal de temps quand les IA feront notre travail.

[Alchimi]

il y a 52 minutes, Carl Barks a dit :

Par exemple: les origamis. J'y passerai pas mal de temps quand les IA feront notre travail.

C'est pénible les origamis. Doit bien y avoir un plugin pour le faire à ta place.

 

/thread

[Mégille]

Allez, on fait entrer toutes les activités créatives, même l'origami, dans mon "musique". Tant qu'on est nu ou en toge, j'accepte.

 

Il y a 1 heure, Rincevent a dit :

Il y a comme un oubli dans ton message. 

Les citoyens spartiates, qui bossaient encore moins que les citoyens athéniens, étaient beaucoup moins va-t-en-guerre que ceux là. Et puis, contrairement à la possession d'esclaves, la possession de machines ne sera a priori pas (ou pas primairement) le résultat des guerres. 

[Lancelot]

6 hours ago, Sloonz said:

Ça n’a aucun rapport avec le monde de Dario où la production est non-humaine et la consommation humaine. Ta remarque parle de la consommation, Dario parle de la production.

 

(et la prochaine remarque étant "lol faut bien produire pour gagner de l’argent pour dépenser pour consommer" : d’où la défense par Dario de l’UBI)

Le rapport c'est que la demande est infinie, donc tu peux bien avoir toute la production non humaine que tu veux, ça ne sera pas assez et il y aura toujours autant de demande de production humaine, qui se déplacera ailleurs. Ce qui ne veut pas dire que ça n'apportera pas de problème par exemple les femmes ne se sont toujours pas remises psychologiquement de l'invention de l'aspirateur et de la machine à laver.

[Sloonz]

39 minutes ago, Lancelot said:

Le rapport c'est que la demande est infinie, donc tu peux bien avoir toute la production non humaine que tu veux, ça ne sera pas assez et il y aura toujours autant de demande de production humaine, qui se déplacera ailleurs

 

Le capital disponible dans l’économie sera toujours limité, et chaque unité de capital bien plus efficace et rentable dans les "mains" d’une IA que d’un humain. On apprendra à personne ici que pas de travail sans capital.

[Mégille]

il y a 10 minutes, Lancelot a dit :

Le rapport c'est que la demande est infinie, donc tu peux bien avoir toute la production non humaine que tu veux, ça ne sera pas assez et il y aura toujours autant de demande de production humaine.

 

Oui, mais si la demande ne porte que sur des biens et des services que seule une machine peut fournir, ça ne créera pas forcément de boulot pour l'humain. Et même si l'humain est encore capable, à coté de ça, de fournir un service dont la valeur n'est pas tout à fait nulle pour ses congénères, ça n'implique pas qu'il puisse espérer gagner ne serait-ce que suffisamment pour se nourrir. Beaucoup d'idiots et d'handicapés, tout en étant capables de rendre des services légèrement utiles, ne seraient pas capables de survivre aujourd'hui sans la charité et sans "triche" de la part de l'état. Avec des machines qui surpasseraient l'humain sur toutes ses capacités productrices, on se retrouverait tous dans la même situation d'idiots et d'handicapés.

 

Il y aura sans doute encore une demande pour des biens de manufacture humaine, mais elle ne sera sans doute pas suffisante pour offrir du travail à tout le monde. De la même façon, même avec tout le chauvinisme et tout l'écologisme du monde, un label "local" n'est pas suffisant pour faire face à la concurrence d'un produit étranger meilleur et moins cher. Ce sera d'autant plus vrai au fur et à mesure que les produits de machine deviendront indistingables des oeuvres humaines - puisque quand on se paie du luxe, c'est toujours un peu pour le montrer. 

 

Enfin, plus radicalement que tout ça, je ne suis pas sûr que la demande sur le marché soit forcément infinie. Ce qui te fait dire ça, c'est que derrière la demande, il y a un désir humain, dont on sait bien qu'il ne disparait jamais définitivement après satisfaction. Mais ce désir peut porter sur des tas d'autres choses que des biens matériels et sur des services marchands - il peut même porter sur des services spécifiquement parce qu'ils sont non-marchands. C'est même très fréquent, je pense que la plupart des gens préfèrent un rapport sexuel désiré par leur(s) partenaire(s) plutôt que tarifé. Si l'accès à des biens et services marchands ne permet plus de se démarquer (peu importe qu'on soit dans un communisme post-scarcity ou dans une société avec des inégalités devenues pérennes en fonction des droits de propriétés sur les machines qui nourrissent -inégalement- toute l'humanité), alors, ce désir se trouverait d'autres objets. Le succès en compétition sportive, ou artistique, ou ludique, par exemple. Ou alors, il serait transformé en quête mystico-spirituelle (le moine consomme peu, pourtant, il appartient bien à la réalité des homo sapiens). Ou le sexe, tout bêtement. 

 

(ceci dit, je pense que tout ça est de la science fiction - je doute que, à court ou moyen terme, la production de machine capable de remplacer l'humain puisse devenir et rester plus accessible et fiable que la bonne vieille reproduction humaine)

[L'affreux]

Il y a 5 heures, Sloonz a dit :

Évidemment que Claude et ChatGPT dans leur état actuel sont une bonne chose. Personne ne remet en cause ça ici.

 

Et clairement les dizaines de milliards d'argent privé ne sont pas investis juste pour déployer et vendre des ChatGPT de 2024.

[Lancelot]

26 minutes ago, Sloonz said:

Le capital disponible dans l’économie sera toujours limité, et chaque unité de capital bien plus efficace et rentable dans les "mains" d’une IA que d’un humain. On apprendra à personne ici que pas de travail sans capital.

Ça ne pose pas de problème si les prix baissent de manière globale. Au final ce sont bien les humains qui achètent des trucs donc c'est autour d'eux que l'offre et la demande s'adaptent. La transition peut être difficile (d'autant plus si les régulations introduisent des bâtons dans les roues) parce que destruction créatrice, marchands de chandelles et tout ça.

 

[Sloonz]

18 minutes ago, Lancelot said:

Ça ne pose pas de problème si les prix baissent de manière globale. Au final ce sont bien les humains qui achètent des trucs donc c'est autour d'eux que l'offre et la demande s'adaptent. La transition peut être difficile (d'autant plus si les régulations introduisent des bâtons dans les roues) parce que destruction créatrice, marchands de chandelles et tout ça.

 

La destruction créatrice c’est le marché qui réalloue le capital. Au producteur qui fait le meilleur usage économique du dit capital.

 

Il faut différencier deux cas, un cas UBI et un cas non-UBI.

 

Cas UBI : tu peux t’acheter du capital avec ton UBI, et avoir un "métier". En vendant extrêmement à perte. On appelle ça un hobby, financé par le robo-contribuable (je suis sur qu’il y a un jeu de mot à faire là dessus, mais je ne le trouve pas).

 

Cas sans UBI : si tu vends à perte, ton capital ne va pas durer très longtemps. L’hypothèse "mais je ne vend pas à perte" est incohérente avec les prémisses "l’IA connait mieux que toi l’état du marché et de la demande et l’IA est meilleure que toi pour mettre en valeur un capital dans le cadre d’une activité entrepreneuriale" (activités cognitives).