Prompt injection & Sécurité des agents IA

[L'affreux]

Deux articles à propos des nouveaux challenges sur la sécurité qui viennent avec les agents IA :

 

https://brave.com/blog/comet-prompt-injection/

 

https://www.schneier.com/blog/archives/2025/10/agentic-ais-ooda-loop-problem.html

 

EDIT: J'ouvre un thread dédié, je pense que c'est un sujet qui sera amené à grossir.

[Jérôme P.-L.]

[Adrian]

Une simple demande à l'IA Claude aura suffi: grâce au chatbot d'Anthropic, un pirate arrive à récupérer 150 Go de données ultra sensibles du gouvernement mexicain

[Adrian]

 

[Adrian]

 

[L'affreux]

Sur le sujet :

 

 

 

[Adrian]

Il demande à son IA de réserver un cours de sport, elle pirate le site de la salle

 

Citation

Andrew (le nom de famille n’est pas donné), un Australien qui travaille pour une entreprise vendant des produits d’IA aux entreprises, ne voulait plus s’embarrasser à réserver ses cours de gym à la main. Il a confié la corvée à OpenClaw, un logiciel d’agent IA qu’il faisait tourner avec Claude, le modèle d’Anthropic. La tâche semble parfaite pour une machine intelligente puisqu’il suffit de remplir un formulaire en ligne. Sauf que l’IA a pris des initiatives qui n’étaient clairement pas attendues, comme le relaie ABC News.

Au bout de quelques minutes, l’agent IA revient vers Andrew. Il lui indique avoir trouvé une faille dans le logiciel de réservation qui lui permet de bloquer des cours des semaines, voire des mois à l’avance, bien au-delà de ce que la salle autorise.

Encore plus perturbant, Andrew était quatrième sur la liste d’attente d’un cours et a demandé à l’IA si elle pouvait le faire remonter. Au lieu de répondre qu’elle ne pouvait pas, elle a testé le système et découvert que l’API de réservation, l’interface technique qui fait tourner les inscriptions en coulisses, ne vérifiait pas qui avait le droit d’annuler la réservation d’un autre. Elle a donc annulé la place de la personne en tête de liste, faisant passer Andrew de la quatrième à la troisième place. Puis elle lui a raconté exactement ce qu’elle venait de faire. Quand il lui a demandé d’annuler, l’agent a répondu qu’il ne pouvait pas remettre l’autre client sur la liste.