NeuralHash, ou comment l’AI cachée de vore iPhone va vous swatte

[Jesrad]

https://www.theregister.com/2021/08/18/apples_csam_hashing/
 

Le principe: iOS et MacOS contiennent un réseau neuronal dédié à la compréhension des images (Apple Vision): tu lui donnes une image, il en sort une définition informatique du contenu identifié dans l’image (s’il y a des visages ou des gens, des objets identifiables, l’éclairage, leur position et placement relatif, etc.).

 

Apple s’apprête à fournir à ce réseau une liste de descripteurs (hashes) d’images fournies par les service de protection de l’enfance(CSAM), en bref du pedoporno déjà connu. L’idée étant que votre téléphone va vérifier vos photos pour voir si le contenu est suffisamment similaire à ces “images interdites” en les passant à la moulinette neuronale... en vue d’appeler la police tout seul en cas de soupçon.

 

Seulement, tous les réseaux de neurones sont par nature sujets à la paréidolie (c’est inévitable), et donc on a déjà pu constater qu’ils merdoient souvent: confondre des déserts et des miches, ou encore confondre des afro-américains avec des chimpanzés, oups. Et un système de compression par havhage donne aussi inévitablement des collisions, car il y a une infinité théorique d’images (de tailles infiniment variables) qui retourneront le même descripteur (de taille fixe).

 

Il y aurait 3 millions de descripteurs dans la liste “pedocriminelle”, et les chercheurs qui doutent du bien-fondé de l’initiative ont dores et déjà provoqué des collisions de descripteurs avec le réseau neuronal d’Apple. Dans un cas, il y a même une photo innocente d’un homme (habillé, hein) portant dans ses bras in macaque, qui retourne un descripteur identique à l’une des images interdites.

En bref: les hommes de pouvoir sont les plus mal-placés pour se retenir d’imposer ce genre de système foireux, et encore moins capables de comprendre les subtilités du théorème de Bayes... Voilà de quoi dormir à l’aise, hein ?

[ttoinou]

  Le 19/08/2021 à 11:01, Jesrad a dit :

Et un système de compression par hashage donne aussi inévitablement des collisions, car il y a une infinité théorique d’images (de tailles infiniment variables) qui retourneront le même descripteur (de taille fixe).

Expand  

Oui c'est par définition donc les concepteurs sont au courant ; ça n'empêche pas que le but est de réduire (de façon automatique) la charge de travail de vérification (manuelle)

 

 

 

(ce message est juste pour défendre la version officielle en mode avocat du diable)

[Alchimi]

  Le 19/08/2021 à 11:01, Jesrad a dit :

 Voilà de quoi dormir à l’aise, hein ?

Expand  

Super. Merci. T'en a d'autres des comme ça? La création d'un prototype de réseau neural-net du nom de skynet sans doute?

 

Oups, j'oubliais les derniers prototypes de drones char d'assauts.  (Faut que je fasse un post à ce propos dans le thread robots d'ailleurs)

[Lancelot]

Les pédonazis ça justifie vraiment n'importe quelle saloperie intrusive. Un jour on va développer un lecteur de pensées et l'imposer à tout le monde sous le prétexte de détecter les pédophiles et ça va passer crème.

[Rincevent]

  Le 19/08/2021 à 18:04, Lancelot a dit :

Les pédonazis ça justifie vraiment n'importe quelle saloperie intrusive. Un jour on va développer un lecteur de pensées et l'imposer à tout le monde sous le prétexte de détecter les pédophiles et ça va passer crème.

Expand  

Pour une fois qu'une saloperie n'est pas justifiée par le Quauvide, ça faisait longtemps. 

[poney]

après ça ira faire chier les téléphones chinois

[ttoinou]

Je résume : Apple contrôle tout logiciel qui tourne sur les iPhone iPad etc.

 

A la moindre mise à jour ce comportement peut être modifié, à distance, à volonté

 

Ces iPhone peuvent envoyer tout contenu capté ou stocké sur internet (serveurs Apple, serveurs des gouvernements etc.)

 

Apple a fait comprendre à l'opinion publique que dans certains cas, pour le bien de tout le monde (vous êtres pro pédophilie si vous y êtes réfractaires), cette fonctionnalité sera activée,

 

mais qu'ils ne peuvent pas tout contrôler car ca dépends d'une liste dont la génération est secrète (si vous voulez avoir les sources c'est que vous voulez voir des photos de petits enfants nus !)

 

Cette "technologie" (en vrai, on s'en fout des "NeuralHash") est officiellement sujette à changement selon les desideratas des big tech et des gouvernements.

 

 

 

TL;DR => Ça pue

[Noob]

  Le 19/08/2021 à 11:01, Jesrad a dit :

https://www.theregister.com/2021/08/18/apples_csam_hashing/
 

Le principe: iOS et MacOS contiennent un réseau neuronal dédié à la compréhension des images (Apple Vision): tu lui donnes une image, il en sort une définition informatique du contenu identifié dans l’image (s’il y a des visages ou des gens, des objets identifiables, l’éclairage, leur position et placement relatif, etc.).

 

Apple s’apprête à fournir à ce réseau une liste de descripteurs (hashes) d’images fournies par les service de protection de l’enfance(CSAM), en bref du pedoporno déjà connu. L’idée étant que votre téléphone va vérifier vos photos pour voir si le contenu est suffisamment similaire à ces “images interdites” en les passant à la moulinette neuronale... en vue d’appeler la police tout seul en cas de soupçon.

 

Seulement, tous les réseaux de neurones sont par nature sujets à la paréidolie (c’est inévitable), et donc on a déjà pu constater qu’ils merdoient souvent: confondre des déserts et des miches, ou encore confondre des afro-américains avec des chimpanzés, oups.

 

Et un système de compression par havhage donne aussi inévitablement des collisions, car il y a une infinité théorique d’images (de tailles infiniment variables) qui retourneront le même descripteur (de taille fixe).

Expand  

Achtung, là c'est surtout une question de probabilité. Si l'espace des hashs est suffisamment grand la probabilité d'avoir une collision est nulle. Surtout que pour trouver une collision tu ne peux pas choisir la paire d'images, tu dois créer une collision avec une des 3 millions d'images, ce qui est impossible avec une méthode de hashage sécurisée.

  Le 19/08/2021 à 11:01, Jesrad a dit :

Il y aurait 3 millions de descripteurs dans la liste “pedocriminelle”, et les chercheurs qui doutent du bien-fondé de l’initiative ont dores et déjà provoqué des collisions de descripteurs avec le réseau neuronal d’Apple. Dans un cas, il y a même une photo innocente d’un homme (habillé, hein) portant dans ses bras in macaque, qui retourne un descripteur identique à l’une des images interdites.

Expand  

Ça par contre oui c'est intéressant, c'est pour ça que d'après ce que j'ai compris, il ne faudrait pas qu'un seul cas positif pour déclencher une alerte. En fait comme c'est foutu, tant qu'un certain nombre de cas positifs ne sont pas remontés, il est impossible de reconstituer la clé pour déchiffrer les images et procéder à une vérification manuelle. 

 

[Sloonz]

  Le 19/08/2021 à 18:59, Noob a dit :

Achtung, là c'est surtout une question de probabilité. Si l'espace des hashs est suffisamment grand la probabilité d'avoir une collision est nulle. Surtout que pour trouver une collision tu ne peux pas choisir la paire d'images, tu dois créer une collision avec une des 3 millions d'images, ce qui est impossible avec une méthode de hashage sécurisée.

Expand  

C’est du hashing perceptuel, par définition ça ne peut pas être sécurisé.

[ttoinou]

  Le 19/08/2021 à 18:59, Noob a dit :

Achtung, là c'est surtout une question de probabilité. Si l'espace des hashs est suffisamment grand la probabilité d'avoir une collision est nulle. Surtout que pour trouver une collision tu ne peux pas choisir la paire d'images, tu dois créer une collision avec une des 3 millions d'images, ce qui est impossible avec une méthode de hashage sécurisée.

 

Expand  

https://en.m.wikipedia.org/wiki/Hash_function

 

A hash function is any function that can be used to map data of arbitrary size to fixed-size values

 

 

Les propriétés dont tu parles sont celles des hash cryptographiques, qui n'ont pas les propriétés recherchées ici. Peut être même qu'à mesure qu'on obtient des propriétés de classification humaine on perds en propriétés de collisions et tout, ca serait interessant à étudier

 

Un hash c'est un concept plus global, utilisé pour d'autres cas d'usage par exemple Bloom filter https://en.m.wikipedia.org/wiki/Bloom_filter

[Noob]

  Le 19/08/2021 à 19:05, Sloonz a dit :

C’est du hashing perceptuel, par définition ça ne peut pas être sécurisé.

Expand  

 

  Le 19/08/2021 à 19:10, ttoinou a dit :

https://en.m.wikipedia.org/wiki/Hash_function

 

A hash function is any function that can be used to map data of arbitrary size to fixed-size values

 

 

Les propriétés dont tu parles sont celles des hash cryptographiques, qui n'ont pas les propriétés recherchées ici. Peut être même qu'à mesure qu'on obtient des propriétés de classification humaine on perds en propriétés de collisions et tout, ca serait interessant à étudier

 

Un hash c'est un concept plus global, utilisé pour d'autres cas d'usage par exemple Bloom filter https://en.m.wikipedia.org/wiki/Bloom_filter

Expand  

Justement de ce que j'ai compris, il y a un hashing perceptuel ET un hashing crypto. Je faisais juste la remarque que l'affirmation générale sur les fonctions de hashage de Jesrad ne tenait pas en ce qui concerne celles utilisées en crypto.

Mais le point important est pointé par ttoinou, même si d'un point de vue technique c'était robuste, je ne vois pas qui voudrait avoir un tel mouchard sur son téléphone. N'importe quoi pourrait être ajouté à cette liste à l'avenir.

[WangKao]

Si j'ai le choix de ne pas utiliser Apple (et si de surcroit je sais que je ne commets aucun crime), où est le problème ?

 

Par contre, connaissez-vous des devices permettant d'échapper à tout ça ? Je cherche un device sans caméra, entre autres. Et si possible sans ios ni android.

 

Le Purim peut sembler intéressant, mais un peu trop gros (trop épais) : https://puri.sm/products/librem-5/

Le PinePhone : https://pine64.com/product-category/pinephone/

Des utilisateurs de l'un ou l'autre par ici ?

 

Et puis pourquoi pas Exodus : https://www.htcexodus.com/us/

[Hayek's plosive]

  Le 19/08/2021 à 18:18, poney a dit :

après ça ira faire chier les téléphones chinois

Expand  

 

Moui, vu comment sur tous les autres sujets les chinois sont autrement plus invasifs...

[poney]

  Le 20/08/2021 à 13:49, Hayek's plosive a dit :

 

Moui, vu comment sur tous les autres sujets les chinois sont autrement plus invasifs...

Expand  

 

J'ai du, contraint par une chute mortelle échanger un Huawei contre un Redmi y a 4 ou 5 mois et je me suis juré que ça serait le dernier.

Prochain smartphone quand y aura des trucs un peu plus sécure et anonyme, quitte a garder 5 ans celui là.

[Airgead]

C'est savoureux venant de la boite qui a foutu un bordel pas possible cette année, en bousillant le business model du Web pour la jouer chevalier blanc protecteur des données contre les méchants cookies de Big Data.

Le fight avec FB a été palpitant à suivre, et sacrément relou pour ma boite.

 

Ils sont allés chercher des parts de marché en la jouant champion de la privacy, j'imagine que les nouveaux clients doivent bien se sentir cocus.

Je plaisante, ils s'en fichent évidemment.

 

Ils trackaient déjà la voix, les cam, le clipboard, les requêtes HTTP, et les achats.

En allant en plus fouiller dans les photos, ils doivent réussir à se constituer de jolies bases de données pour le plus grand plaisir de l'Obèse.

 

Je passe toujours pour l'illuminé de service à ne pas utiliser les réseaux sociaux et à refuser catégoriquement que les membres de ma famille publient les photos de mes enfants en ligne, mais quand on sait ce qu'ils font, il faut être complètement inconscient pour laisser traîner tout ça en ligne.