Prompt injection & Sécurité des agents IA

[L'affreux]

Deux articles à propos des nouveaux challenges sur la sécurité qui viennent avec les agents IA :

 

https://brave.com/blog/comet-prompt-injection/

 

https://www.schneier.com/blog/archives/2025/10/agentic-ais-ooda-loop-problem.html

 

EDIT: J'ouvre un thread dédié, je pense que c'est un sujet qui sera amené à grossir.

[Jérôme P.-L.]

[Adrian]

Une simple demande à l'IA Claude aura suffi: grâce au chatbot d'Anthropic, un pirate arrive à récupérer 150 Go de données ultra sensibles du gouvernement mexicain

[Adrian]

 

[Adrian]

 

[L'affreux]

Sur le sujet :

 

 

 

[Adrian]

Il demande à son IA de réserver un cours de sport, elle pirate le site de la salle

 

Citation

Andrew (le nom de famille n’est pas donné), un Australien qui travaille pour une entreprise vendant des produits d’IA aux entreprises, ne voulait plus s’embarrasser à réserver ses cours de gym à la main. Il a confié la corvée à OpenClaw, un logiciel d’agent IA qu’il faisait tourner avec Claude, le modèle d’Anthropic. La tâche semble parfaite pour une machine intelligente puisqu’il suffit de remplir un formulaire en ligne. Sauf que l’IA a pris des initiatives qui n’étaient clairement pas attendues, comme le relaie ABC News.

Au bout de quelques minutes, l’agent IA revient vers Andrew. Il lui indique avoir trouvé une faille dans le logiciel de réservation qui lui permet de bloquer des cours des semaines, voire des mois à l’avance, bien au-delà de ce que la salle autorise.

Encore plus perturbant, Andrew était quatrième sur la liste d’attente d’un cours et a demandé à l’IA si elle pouvait le faire remonter. Au lieu de répondre qu’elle ne pouvait pas, elle a testé le système et découvert que l’API de réservation, l’interface technique qui fait tourner les inscriptions en coulisses, ne vérifiait pas qui avait le droit d’annuler la réservation d’un autre. Elle a donc annulé la place de la personne en tête de liste, faisant passer Andrew de la quatrième à la troisième place. Puis elle lui a raconté exactement ce qu’elle venait de faire. Quand il lui a demandé d’annuler, l’agent a répondu qu’il ne pouvait pas remettre l’autre client sur la liste.

 

 

[Jensen]

C'est surtout la faute du concepteur du site, ce genre de choses ne devrait pas être possible.

 

[Marlenus]

37 minutes ago, Jensen said:

C'est surtout la faute du concepteur du site, ce genre de choses ne devrait pas être possible.

 

 

J'ai toujours du mal avec ça.

Oui il y a une faute du concepteur de site.

Mais cela ne devrait pas autoriser l'IA d'en profiter comme ça sans aucun garde fou.

 

Si demain l'IA profite très facilement et sans demande spécifique humaine de casser la barrière morale/légale de toutes les failles informatiques, on sera très très vite dans une merde noire.

 

 

 

[Jensen]

On ne demande pas ici à l'IA de ne pas forcer une serrure (ce qu'elle n'a pas fait), on lui demande de réaliser que l'absence de serrure n'est pas normale, et de s'interdire d'entrer parce que les conventions entre humains font qu'on n'entre pas comme ça par les portes qui d'habitude en ont une (mais sans qu'elle s'interdise non plus de prendre les portes normalement sans serrures, parce que sinon elle est inutile).

 

Effectivement, ça prouve que les craintes du paperclip maximizer sont fondées, mais bon, il ne fallait vraiment pas être sérieux pour penser que ce danger était inexistant.

[Prouic]

il y a 16 minutes, Jensen a dit :

On ne demande pas ici à l'IA de ne pas forcer une serrure (ce qu'elle n'a pas fait), on lui demande de réaliser que l'absence de serrure n'est pas normale, et de s'interdire d'entrer parce que les conventions entre humains font qu'on n'entre pas comme ça par les portes qui d'habitude en ont une (mais sans qu'elle s'interdise non plus de prendre les portes normalement sans serrures, parce que sinon elle est inutile).

 

Effectivement, ça prouve que les craintes du paperclip maximizer sont fondées, mais bon, il ne fallait vraiment pas être sérieux pour penser que ce danger était inexistant.

Bah à première vue la solution est d'avoir un requirement IA control et passer à la moulinette des 3 modèles à orientation de safety test  les plus costaud du moment, une fois l'an, une batterie de test anti hack à base de prompts, base qui pourra d'ailleurs être listée correctement par l'IA bientôt. Je dis pas que c 'est facile d'écrire les bons prompts, et il y a un sacré paquet d'outil existants qui n'ont pas reçu la note.

Au moins on va enfin savoir si c'est réellement utile d'être open source "parce que tout le monde peut auditer le code, tu comprends"  

[Marlenus]

Des portes sans serrures tu en as plein en informatique.

C'est bien pour ça que l'on se prend tant de mise à jour de sécurité.

 

Sauf qu'avant, fallait les chercher spécifiquement et être dans l'idée de vouloir justement entrer illégalement.

Là, sans rien demander tu as quelqu'un qui scanne et te dit:

"Ah ben tiens, ici tu peux entrer par derrière, ils ont oublié de fermer la porte".

 

Je vois très bien comment cela peut vite merd.. tout ça connaissant la super sécurité des ordis de M. toutlemonde voire même des administrations.

[L'affreux]

Ce n'est pas parce que une porte est ouverte que tu as le droit d'entrer, faut pas déconner.

[Prouic]

il y a 1 minute, L'affreux a dit :

Ce n'est pas parce que une porte est ouverte que tu as le droit d'entrer, faut pas déconner.

D'ailleurs on devrait mettre que des encadrements.

[Jensen]

29 minutes ago, L'affreux said:

Ce n'est pas parce que une porte est ouverte que tu as le droit d'entrer, faut pas déconner.

Non en effet, mais il ne faut pas non plus être surpris que le stagiaire un peu con-con entre.

 

55 minutes ago, Marlenus said:

Sauf qu'avant, fallait les chercher spécifiquement et être dans l'idée de vouloir justement entrer illégalement.

En éternel optimiste, j'espère qu'au contraire ça encouragera les gens à fermer leur porte  

ou leur IA à le faire pour eux.

 

Parce que bon, voir des bases de données personnelles partir régulièrement dans la nature ou des voitures contrôlable à distance non pas parce qu'il y a une "vraie" faille de sécurité mais simplement parce que le je-m'en-foutisme conduit à laisser tout grand ouvert alors que la fermeture est triviale, je trouve ça fondamentalement insatisfaisant, et j'accueille avec plaisir un changement qui forcera les gens à être un peu plus sérieux.

 

Si on veut aller chercher des problèmes un peu plus fondamentaux, on peut regarder du côté du noyau linux, ou effectivement il y a du sport, avec un nombre significatifs de 0-day qui sont découvertes, et qui doivent être patchés rapidement (ça n'est pas le moment d'être fainéant sur ses mises à jours de ce côté). Mais si ça va secouer à court terme, sur le long terme, c'est une très bonne chose (parce qu'il est probable que ces 0-days soient déjà bien connus des acteurs étatiques).

[Adrian]