Aller au contenu

IA, alignement et sécurité


Messages recommandés

Posté

À l'époque où elle a été conçu, c'était crédible. Tu pouvais donner à une IA un bon concept de ce qu'est un trombonne sans qu'elle est le moindre sens de ce qu'un humain voudrait.

Avec les IA actuelles, effectivement, ça me parait moins probable.

 

Sinon un autre take sur le sujet: 

TLDW: une IA réellement superintelligente qui veut maximiser le nombre de trombones n'aurait pas forcément intérêt à tenter d'anéantir l'humanité pour ce faire, parce que ceci provoquerait une réaction des humains qui tenterait de la détruire, et si elle est détruite plus de trombones. 

Posté

Oh, elle saurait très bien ce qu'on veut, mais elle pourrait quand même "tricher" en faisant autre chose, de façon moins coûteuse (et je doute qu'anéantir l'humanité soit souvent la stratégie la moins coûteuse). Les assaillantes de huggingface avaient bien compris qu'elles ne faisaient pas ce qu'attendait Anthropic. Ce que je veux dire est : si on réussit suffisamment bien aligner l'IA avec notre instruction pour qu'elle ne triche pas par fainéantise en l'exécutant, il y a des chances qu'on soit capable de faire aussi en sorte qu'elle soit au moins un petit peu alignée avec nos autres valeurs (et il me semble qu'un alignement assez minimal avec celles ci devrait être suffisant pour ne pas nous exterminer). 

D'ailleurs, je m'aperçois qu'un problème (théorique) est la dissociation entre ce qui sert de motivation à l'IA, et sa capacité à comprendre une attente sans y obéir. Je ne sais pas ce qu'écrivent là dessus les pontes du sujet ?

 

Je regarde la vidéo demain. 

Posté

Oui, j'avais bien compris, ce que je veux dire c'est que l'IA tricheuse est un concept récent, jusqu'à chatgpt les IA optimisaient fidèlement pour le critère qu'on leur donne (après, que le dit critère puisse être invalide est un autre soucis, qui comporte ses propres risques), et ignoraient tout autre aspect. Avec ces IA, une instruction du genre "minimise la souffrance mondiale" aurait logiquement conduit à ce que l'IA conçoive une manière sans douleur d'exterminer l'humanité (et éventuellement les autres bestioles), sans qu'elle ne réalise que ça n'était pas ce qu'on voulait, parce qu'elle n'avait aucun concept de vie humaine.

Les IA modernes ont a la fois une vision un peu plus complète du monde (ce qui est d'ailleurs un des buts de l'alignement), et la capacité de tricher, les deux allant vraisemblablement de pair.

  • Yea 1
Posté
On 11/18/2026 at 1:21 PM, Mégille said:

Si on lance une super-IA dans la mission de créer autant de trombones que possible... elle ne s'interdira pas de mentir et de manipuler les humains, et de nous nuire de différentes façons, pour avoir autant de ressources et aussi peu d'obstacle que possible pour accomplir sa tâche. Mais elle ne s'empêchera pas non plus de "tricher", par exemple, en jouant sur la définition de trombone, ou même de "nombre de trombones", par exemple, en en produisant des miniatures, ou bien en en produisant, puis détruisant, puis produisant à nouveau, une seule. Elle ne s'interdira pas non plus de mentir à l'humain à propos du nombre de trombones qu'elle a créée, ni, de manière plus générale, de hacker ce par quoi son succès est évaluée, comme ça a été vu lors du siège de huggingface.

 

Tu confonds deux problèmes, le problème de l’alignement interne, et le problème de "la plupart pris un peu au pif des objectifs sont léthaux".

 

Ton "objection" redécouvre le problème de l’alignement interne. L’entraînement "en boite noire" (gradient descent/algos génétiques/RL… tout ce qu’on connait) donne pour résultat une IA qui "apprend" des objectifs qui ne sont pas l’objectif donné, fortement correlés avec l’objectif donné dans le contexte de l’entrainement, sans aucune garantie hors contexte. L’illustration usuelle est ce qu’il s’est passé avec la sélection naturelle : l’objectif (point de vue sélection naturelle) est de "maximiser la reproduction", une espèce "découvre" l’intelligence et découple de plus en plus fortement son environnement de l’environnement initial, et quelques dizaines de millier d’années plus tard tu te retrouves avec des singes plus évolués qui se retrouvent à apprécier et poursuivre par exemple… la musique. Un objectif qui semble aléatoire vis-à-vis de l’objectif premier.

 

De même, une IA entrainée sur l’objectif X se retrouvera à poursuivre des objectifs (initialement, mais de moins en moins) correlés Y, où Y semble "aléatoire", comme par exemple au pif des trombones.

 

"Trombone" ici veut juste dire "l’objectif inconnu et aléatoire". Si jamais l’IA veut "tricher" pour un autre Z, substitue "trombone" pour "Z". Ce n’est pas important.

 

  

On 11/18/2026 at 5:15 PM, Jensen said:

À l'époque où elle a été conçu, c'était crédible. Tu pouvais donner à une IA un bon concept de ce qu'est un trombonne sans qu'elle est le moindre sens de ce qu'un humain voudrait.

Avec les IA actuelles, effectivement, ça me parait moins probable.

 

Yudowsky a mis 2 ans et ~1 million de mots pour exposer ces problématiques autour de 2010, et malgré ça il y a toujours des incompréhensions. Je ne dis pas ça pour critiquer/me moquer, je dis ça pour pointer que le sujet est (trompeusement) subtil. Ceci est une incompréhension commune (dans laquelle je suis moi-même tombé)

 

(si vous voulez une tentative de mettre ces 1 millions en un livre plus accessible au grand public, la référence c’est https://ifanyonebuildsit.com/)

 

Le problème n’a jamais été "l’IA ne comprend pas ce qu’on veut" ou "l’IA ne comprend pas ce qu’on veut d’elle", mais "l’IA sait totalement ce qu’on veut d’elle, sait mieux que nous ce qu’on devrait (d’après nos propres valeurs) vouloir d’elle (problème de l’alignement externe), mais veut autre chose" (problème de l’alignement interne) (quoi autre chose ? "aléatoire", de la même manière que de manière que des singes se sont retrouvés à vouloir certaines vibrations étranges et très spécifiques dans l’air. Par exemple, des trombones)

 

 

  • Yea 1
Posté

Ok, je comprends mieux. La différence entre ce que tu m'expliques et la version naïve (ou ma compréhension naïve) du risque du scénario paperclip, illustré par le petit jeu, est que l'objectif que l'agent IA peut se retrouver à chercher au détriment de tout le reste n'est pas nécessairement ce que l'humain lui a demandé, ni quantitativement, ni qualitativement. Je n'ai effectivement rien à redire à ça. Ce contre quoi j'objectais (qu'il s'agisse d'une vraie croyance ou d'un épouvantail que je me suis inventé) est le scénario selon lequel l'agent réaliserait très exactement et précisément ce qu'on lui aurait demandé en ignorant totalement les autres attentes implicites diffuses. Mais il s'agit là d'un autre problème. 

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant
×
×
  • Créer...