IA, alignement et sécurité

[Hugh]

https://www.lesechos.fr/tech-medias/hightech/la-lettre-ouverte-choc-qui-met-en-garde-lhumanite-contre-le-danger-de-lintelligence-artificielle-1920390

 

"La lettre ouverte choc qui met en garde l'humanité contre le danger de l'intelligence artificielle"

 

  Citation

Dans ce texte, les milliers de signataires appellent les laboratoires d'IA à faire une pause dans le développement de leur technologie.

Expand  

 

Sont des "neo-luddites" ou  est très importante faire cette pause?

[fm06]

Haha, Elon Musk qui appelle à faire une pause sur l’IA, alors que les Tesla en regorgent, c’est une blague. Ou alors c’est une ruse grossière pour que les autres fassent une pause pendant qu’il accélère.

[Sekonda]

  Le 30/03/2023 à 05:05, fm06 a dit :

Haha, Elon Musk qui appelle à faire une pause sur l’IA, alors que les Tesla en regorgent, c’est une blague. Ou alors c’est une ruse grossière pour que les autres fassent une pause pendant qu’il accélère.

Expand  

Une pause sur les LLM plus puissant que GPT-4. L'impact n'est pas du tout le même que ce qu'il y a dans un Tesla dont le périmètre est bien défini.

[Sekonda]

La meilleure ressources grand public sur le sujet est cette interview de Eliezer Yudkowsky

https://www.lesswrong.com/posts/FKNtgZrGYwgsz3nHT/bankless-podcast-159-we-re-all-gonna-die-with-eliezer

Je n'ai pas d'avis arrêté sur le sujet mais il est plutôt convainquant. 

[Sekonda]

 

[Azref]

J'ai beaucoup de mal à comprendre : on parle d'interdire quoi, le machine learning?

Ou la recherche sur une "Intelligence artificielle forte" (AGI) ?

Quel est l'état de la recherche sur cette dernière, joue-t-on à se faire peur à cause de la hype médiatique sur chatpgt&co ?

[Prouic]

Bah le ML porte en son sein la prédiction, et la prédiction qualitative ne peut se réaliser que si tu injectes pas du chaos, ce que le système actuel fait toute la journée. Donc on se retrouve encore dans le débat de la destruction créatrice, ou les marchands de plusieurs bougies ne veulent pas d'un soleil uni. Ca consiste donc comme toujours à noter ce qui ne va pas car c'est facile, et pas ce qui va car c'est difficile, comme des solutions à des problèmes complexes qui auraient amené de nouvelles possibilités.
En plus le monde 2023 ne pense qu'en une dimension : la solution instantanée à tout problème futur, donc non seulement il est facile et pratique de produire une solution comme "eliminons la source de la discorde" , mais en plus on refuse catégoriquement d'investir dans l'avenir. Il ne peut donc en être autrement en terme de proposition média.

[Lancelot]

  Le 30/03/2023 à 07:23, Azref a dit :

joue-t-on à se faire peur

Expand  

Oui. C'est grotesque. Le dernier avatar de l'idéologie anti-tout.

[Sekonda]

  Le 30/03/2023 à 07:31, Prouic a dit :

En plus le monde 2023 ne pense qu'en une dimension : la solution instantanée à tout problème futur, donc non seulement il est facile et pratique de produire une solution comme "eliminons la source de la discorde" , mais en plus on refuse catégoriquement d'investir dans l'avenir. Il ne peut donc en être autrement en terme de proposition média.

Expand  

Là, ce ne sont pas 3 sociologues de Rennes II qui découvrent le sujet mais des théoriciens et praticiens depuis bien avant l'IA reviennent dans l'actualité.

[Azref]

  Le 30/03/2023 à 07:41, Lancelot a dit :

Oui. C'est grotesque. Le dernier avatar de l'idéologie anti-tout.

Expand  

Entre les signataires qui proposent un moratoire (là au moins je comprends l'avantage concurrentiel pour eux de demander ça), et des types qui proposent rien moins que l'interdiction totale sur toute la planète (wtf), on est passé de "L'IA est raciste" à "On va tous mourir" en quelques semaines, c'est assez impressionnant à voir.

[Lugaxker]

À quand le jihad butlérien ?

[fm06]

  Le 30/03/2023 à 07:42, Sekonda a dit :

Là, ce ne sont pas 3 sociologues de Rennes II qui découvrent le sujet mais des théoriciens et praticiens depuis bien avant l'IA reviennent dans l'actualité.

Expand  

 

Il y a ce qu'on voit: 1100 "théoriciens et praticiens depuis bien avant l'IA" qui s'inquiètent (et leurs raisons de s'inquiéter sont légitimes, même si leur appel à une pause de 6 mois est puéril)

et ce qu'on ne voit pas: des dizaines ou des centaines de milliers de personnes qui travaillent dans l'IA et qui ne vont pas s'arrêter de bosser pour rassurer les anxieux.

[Sekonda]

  Le 30/03/2023 à 07:59, fm06 a dit :

Il y a ce qu'on voit: 1100 "théoriciens et praticiens depuis bien avant l'IA" qui s'inquiètent (et leurs raisons de s'inquiéter sont légitimes, même si leur appel à une pause de 6 mois est puéril)

et ce qu'on ne voit pas: des dizaines ou des centaines de milliers de personnes qui travaillent dans l'IA et qui ne vont pas s'arrêter de bosser pour rassurer les anxieux.

Expand  

Si ça rend "anxieux" Yoshua Bengio et Stuart Russell, il y a tout de même de quoi prendre ça au sérieux. Ceux qui découvrent ces noms n'ont pas assez travaillé le sujet pour avoir une opinion pertinente (mais ont le droit de l'exprimer tout de même).

[Lancelot]

L'argument d'autorité ça va bien deux minutes mais personne n'est immunisé au fait de dire ou penser des conneries. Surtout quand c'est un scientifique qui pontifie sur un truc adjacent à son domaine.

[cedric.org]

  Le 30/03/2023 à 08:13, Sekonda a dit :

Stuart Russell

Expand  

La dernière fois que j'ai ouvert un de ses livres, c'était de la mauvaise science fiction...

[Rincevent]

  Le 30/03/2023 à 07:53, Lugaxker a dit :

À quand le jihad butlérien ?

Expand  

"C'est une bonne situation, mentat ?"

[Prouic]

  Le 30/03/2023 à 08:13, Sekonda a dit :

Si ça rend "anxieux" Yoshua Bengio et Stuart Russell, il y a tout de même de quoi prendre ça au sérieux. Ceux qui découvrent ces noms n'ont pas assez travaillé le sujet pour avoir une opinion pertinente (mais ont le droit de l'exprimer tout de même).

Expand  

'Coucou Didier Raoult.'

 

Et c'est bien ce tapis dans lequel les pieds viennent d'être pris que je mets en valeur: "Oh encore une peur planétaire initiée par la repétition des media dans lequel on va commencer par appeler 10 experts dans les journaux d'opinion, jouer à la quequette de l'autorité, passer 3 ans sur le sujet technique sans avoir aucune philosophie le concernant, pour connaitre la vérité à la fin" et blablabla... par rapport à un non sujet initial, dans lequel on va déployer tous les efforts possible pour aller dans le mauvais sens à grand coûts de décisions arbitraires merdique. Tout ça pour ne pas mettre en danger le modèle systémique dont tous les acteurs savent qu'il est à bout de souffle mais jouent aux marchands de chandelle.
n est au moins à la 4eme itération du pattern 'le virus informatique/biologique qu'il est méchant car inperceptible", faudrait songer à reconnaitre l'initialisation du procédé.

 

 

[Rincevent]

Et puis bon, arrêter la recherche, qui croit sincèrement que les Tinois s'arrêteront aussi gentiment ?

[Calembredaine]

Une "pause" c'est grotesque. Une pause en attendant quoi?

Si c'est de la communication, je la trouve très dangereuse, compte tenu des imbéciles qui sont élus un peu partout dans le monde.

Quant à interdire totalement l'IA, c'est clairement une position de luddites.

[Calembredaine]

  Le 30/03/2023 à 08:13, Sekonda a dit :

Si ça rend "anxieux" Yoshua Bengio et Stuart Russell, il y a tout de même de quoi prendre ça au sérieux. Ceux qui découvrent ces noms n'ont pas assez travaillé le sujet pour avoir une opinion pertinente (mais ont le droit de l'exprimer tout de même).

Expand  

 

Non, @Sekonda , sans déconner 😁

"seul mon avis importe car je connais deux spécialistes". 

A propos, Russell et son CSER, me fait penser à Yann Arthus-Bertrand qui à fait tout une carrière de photographe en hélico et qui, à la retraite, dénie à quiconque le droit d'en faire autant. 

[Adrian]

Une  source d'économie pour les dépenses publiques !

[Sloonz]

  Le 30/03/2023 à 09:38, Calembredaine a dit :

"seul mon avis importe car je connais deux spécialistes". 

Expand  

 

Ce n’est pas ce qu’esaie de dire Sekonda. Enfin, je ne pense pas.

 

Parmis les signataires et les "anxieux", vous avez des gens sceptiques sur la panique autour du changement climatique, des transhumanistes qui rèvent de la possibilité de faire de l’ingénierie génétique sur des embryons humains, des libertariens qui n’ont cessé de crier "FDA delenda est" pendant la pandémie.

 

Les mettre par réflexe dans le panier "luddites et socialistes obstructionnistes habituels" est une erreur.

[Calembredaine]

  Le 30/03/2023 à 11:50, Sloonz a dit :

Les mettre par réflexe dans le panier "luddites et socialistes obstructionnistes habituels" est une erreur.

Expand  

 

Tu as raison, il faut ajouter les dérangés.

[Rincevent]

En tous cas ça semble faire du bruit... à moins que ce ne soit un bon plan de com'. Lex Fridman (ancien prof d'IA au MIT) reçoit ESY : 

 

 

[Marlenus]

  Le 30/03/2023 à 09:29, Calembredaine a dit :

Une "pause" c'est grotesque. Une pause en attendant quoi?

 

Expand  

C'est expliqué si je ne me trompe, en attendant que l'on ait les outils pour repérer les deep fakes.

 

En gros, ce qu'ils disent, si j'ai bien compris, c'est que très rapidement il sera absolument impossible de savoir si c'est bien Biden (ou Trump ou Macron ou qui vous voulez) qui a dit cela ou pas.

Et ils estiment que c'est un danger, donc demandent à ce que l'on ralentisse le temps que l'on trouve le moyen de contrer ce problème.

 

[cedric.org]

  Le 30/03/2023 à 17:28, Marlenus a dit :

C'est expliqué si je ne me trompe, en attendant que l'on ait les outils pour repérer les deep fakes.

 

En gros, ce qu'ils disent, si j'ai bien compris, c'est que très rapidement il sera absolument impossible de savoir si c'est bien Biden (ou Trump ou Macron ou qui vous voulez) qui a dit cela ou pas.

Et ils estiment que c'est un danger, donc demandent à ce que l'on ralentisse le temps que l'on trouve le moyen de contrer ce problème.

 

Expand  

Ce qui par définition est strictement impossible, à moins de réserver une technologie supérieure à quelques heureux élus qui pourront, entre autres, repérer les Deep fake.

Et ça, ca serait mon réel cauchemar, que ce soit une entreprise privée ayant un monopole imposé par l'état ou directement l'état.

Quand je dis depuis 10 ans que la transparence et la traçabilité sont les réels enjeux nécessaires du 21eme siècle, je ne pensais pas avoir raison à ce point.

[Liber Pater]

Ce n'est pas un danger, c'est juste qu'on évitera peut-être plus le message que le messager. Et ça c'est un bien

[Azref]

 

 

Je suis assez d'accord avec ce point de vue.

[Rincevent]

  Citation

When you keep forecasting the apocalypse and it doesn't happen, what's next? Do you just deny you ever said the things you said, or do you try to make it happen yourself?

Expand  

I see what he did here. 😏

[Cthulhu]

  Le 30/03/2023 à 17:15, Rincevent a dit :

En tous cas ça semble faire du bruit... à moins que ce ne soit un bon plan de com'. Lex Fridman (ancien prof d'IA au MIT) reçoit ESY : 

Expand  

 

C'est probablement en partie mon biais anti-fedora, mais je suis à 20 minutes de son interview sur EconTalk (3h avec Lex, non merci) et je le trouve vraiment mauvais.

 

A l'autre opposé du débat, j'avais trouvé Robin Hanson beaucoup plus convaincant lors de son passages au CSPI