Stockage décentralisé

[frl]

Bonjour,

 

Je lisais cet après-midi "Traité du Rebelle" d'Ernst Jünger (une lecture que je vous recommande), et un passage m'a fait m'interroger sur l'existence de technologies de stockage décentralisé.

 

Le passage était celui-ci : 

 

Quote

Quand on a vu flamber une capitale [...], on ne pourra jamais plus se départir d'une vive méfiance envers tout ce qui peut se posséder. Elle vous profitera : car on sera de ceux qui tournent sans trop de regrets le dos à leur ferme, à leur maison, à leur bibliothèque, si les circonstances l'exigent. On constatera même qu'à l'abandon se joint un acte de liberté.

 

En particulier, je tiens à ma bibliothèque, et aux livres au sens large, et je me demandais, s'il existait des technologies qui permettraient par exemple de sauvegarder de manière décentralisée des bibliothèques comme Catallaxia ou les publications de l'Institut Coppet, sur un support qui deviendrait de facto hors d'atteinte (un peu comme une blockchain).

 

J'ai vu quelques projets sur le net sur le sujet, mais ça me dépasse largement techniquement parlant (Filecoin, SIACoin par exemple)...

 

Est-ce que quelqu'un a déjà creusé le sujet ? 

 

Dans mon boulot, j'ai coutume de dire qu'on a toute l'histoire pour nous montrer que la centralisation ne fonctionne pas, mais j'ai pas grand chose à proposer d'autre, j'aimerais bien pouvoir pousser ce genre de technos si besoin.

 

Merci pour votre aide !

 

FRL

[Neomatix]

Un raid 1 ? Un torrent ?
Une blockchain me semble un peu disproportionnée pour ça.

[Johnathan R. Razorback]

il y a 10 minutes, frl a dit :

(une lecture que je vous recommande)

 

Ouai mais 1 seul d'occasion à 177 euros sur Amazon...

 

De toute façon j'ai pas encore fini les Écrits de guerre en Pléiade.

[frl]

11 minutes ago, Neomatix said:

Un raid 1 ? Un torrent ?
Une blockchain me semble un peu disproportionnée pour ça.

 

Je me rends compte que je n'ai pas été suffisamment précis, l'interrogation date de cet après-midi, pas encore eu le temps de creuser en détail les besoins.

 

En premier abord, je dirai que des disques en RAID 1 ne répondent pas à ce que j'envisageais. De ce que j'en connais, le stockage est redondé, mais il reste centralisé : un opérateur ou un groupe d'opérateurs conservent la main dessus.

 

Pour le torrent, j'ai peu utilisé ce protocole, mais je garde en mémoire le fait que ça ne soit pas trivial à utiliser (il faut un client dédié je crois, et on doit devenir noeud du réseau pour s'en servir il me semble). 

 

Dans mon esprit, l'enjeu était de rendre le document disponible aussi simplement que via un partage par un lien, et qu'il ne soit plus possible à un opérateur ou un groupe d'opérateur d'en reprendre le contrôle. D'où mon analogie avec une blockchain, ou l'information n'est plus contrôlée au niveau d'un point unique (pour ce que j'en ai compris du moins).

 

En somme, je pensais à un genre de cloud, mais complètement décentralisé dans le stockage, de manière à ce que ça ne soit pas censurable. Est-ce que les solutions ci-dessus peuvent correspondre (je suis loin d'en maîtriser tous les aspects techniques) ?

 

9 minutes ago, Johnathan R. Razorback said:

 

Ouai mais 1 seul d'occasion à 177 euros sur Amazon...

 

De toute façon j'ai pas encore fini les Écrits de guerre en Pléiade.

 

Oui, malheureusement, Jünger n'est plus beaucoup édité en français. J'ai réussi à le trouver en occasion, mais à force de veille sur Abebooks et bouquinistes...

[cedric.org]

45 minutes ago, Neomatix said:

Un raid 1 ? Un torrent ?
Une blockchain me semble un peu disproportionnée pour ça.

Raid : pis-aller. Ça te permet d'augmenter ton uptime mais ça ne garantit rien du tout. Le jour où tu as une corruption logicielle, tu pleureras. Rien ne remplace un backup offline versionné. Si c'est pour du perso, je ne cesserait jamais de me répéter : deux disques de sauvegarde, un branché tous les jours sur le pc avec sauvegarde automatique historisee, le second stocké dans un lieu différent (ami, famille,...) avec échange tous les mois. Si c'est pour du pro, réplication automatique côté applicatif ET backup automatisé mais surtout testé automatiquement (ce qui n'est jamais le cas).

 

@frl : jete un coup d'oeil à IPFS. Filecoin ne rajoute, en simplifiant un peu, que la partie incitation à l'hébergement. IPFS définit tout ce qu'on a besoin pour un système redondé mondialement et incensurable.

[h16]

il y a 25 minutes, cedric.og a dit :

Raid : pis-aller. Ça te permet d'augmenter ton uptime mais ça ne garantit rien du tout. Le jour où tu as une corruption logicielle, tu pleureras. Rien ne remplace un backup offline versionné. Si c'est pour du perso, je ne cesserait jamais de me répéter : deux disques de sauvegarde, un branché tous les jours sur le pc avec sauvegarde automatique historisee, le second stocké dans un lieu différent (ami, famille,...) avec échange tous les mois. Si c'est pour du pro, réplication automatique côté applicatif ET backup automatisé mais surtout testé automatiquement (ce qui n'est jamais le cas).

 

@frl : jete un coup d'oeil à IPFS. Filecoin ne rajoute, en simplifiant un peu, que la partie incitation à l'hébergement. IPFS définit tout ce qu'on a besoin pour un système redondé mondialement et incensurable.

 

Oui j'allais citer ça :

- IPFS & filecoin : https://filecoin.io/

- maidsafe : https://maidsafe.net/

- sia : https://sia.tech/fr/

- library : http://www.alexandria.io/

 

Pour le moment, tout ceci est expérimental, mais on voit qu'il y a de l'idée.

Sur le plan pratique, ce sera ... "pas simple" à mettre en œuvre pour le dire gentiment.

[ttoinou]

Les données sont déjà éparpillées un peu partout dans le monde, une question plus intéressante (et là où IPFS ou des projets basés sur des blockchains peuvent combler les lacunes des torrents ?) est de concevoir un système afin de se mettre en contact avec les bonnes personnes qui ont ce que tu recherches, où chacun peut publier ce qu'il a, où chaque média et ses variantes sont identifiées et indexées et pourquoi pas trouver un moyen de rémunérer tout ce système économique.

[0100011]

Cherche les papiers sur l'anonymisation en particulier sur les protocoles empêchant la censure : https://www.freehaven.net/anonbib/

 

Il y a un problème de fonds : quels sont les incitations pour que les autres gardent des bouts de données à toi ? Pour btc il y a la mine, dans une certaine mesure la réciprocité peut jouer mais jusqu'à quel point ?

[h16]

Il y a 2 heures, Kassad a dit :

Cherche les papiers sur l'anonymisation en particulier sur les protocoles empêchant la censure : https://www.freehaven.net/anonbib/

 

Il y a un problème de fonds : quels sont les incitations pour que les autres gardent des bouts de données à toi ? Pour btc il y a la mine, dans une certaine mesure la réciprocité peut jouer mais jusqu'à quel point ?

Justement, les blockchains sia, ipfs etc... répondent à ce problème : le minage est remplacé par la mise à disposition du matériel et donc d'espace de stockage et tu es rémunéré en fonction de la taille disponible, de son temps en ligne (disponibilité), de la qualité d'accès (bande passante). 

[Rübezahl]

Citation

Bonjour 

Quelqun pouvait m'envoyer pdf ou bien epub le livre de Christian Bobin: Ressusciter car j'habite en Iran et je ne peux pas l'acheter. 

Merci

 

Brut de fonderie. ça date de novembre 2017 (sur une liste yahoogroupes).

 

De manière générale, la problématique où on peut lire/diffuser des trucs dans un pays A, mais pas B,

ça doit concerner quelques lecteurs et quelques ouvrages.

 

Quand on pense juste à France/Canada.

 

 

[frl]

18 hours ago, cedric.og said:

Raid : pis-aller. Ça te permet d'augmenter ton uptime mais ça ne garantit rien du tout. Le jour où tu as une corruption logicielle, tu pleureras. Rien ne remplace un backup offline versionné. Si c'est pour du perso, je ne cesserait jamais de me répéter : deux disques de sauvegarde, un branché tous les jours sur le pc avec sauvegarde automatique historisee, le second stocké dans un lieu différent (ami, famille,...) avec échange tous les mois. Si c'est pour du pro, réplication automatique côté applicatif ET backup automatisé mais surtout testé automatiquement (ce qui n'est jamais le cas).

 

@frl : jete un coup d'oeil à IPFS. Filecoin ne rajoute, en simplifiant un peu, que la partie incitation à l'hébergement. IPFS définit tout ce qu'on a besoin pour un système redondé mondialement et incensurable.

 

Merci pour le tuyau, je vais regarder ça ! Ca semble prometteur en tout cas d'un point de vue fonctionnel.

 

18 hours ago, h16 said:

 

Oui j'allais citer ça :

- IPFS & filecoin : https://filecoin.io/

- maidsafe : https://maidsafe.net/

- sia : https://sia.tech/fr/

- library : http://www.alexandria.io/

 

Pour le moment, tout ceci est expérimental, mais on voit qu'il y a de l'idée.

Sur le plan pratique, ce sera ... "pas simple" à mettre en œuvre pour le dire gentiment.

 

Merci pour ces différents exemples, je vais regarder cela.

 

Avez-vous déjà, ou savez-vous si ces solutions ont déjà été qualifiées techniquement ? Ca semble tenir debout ?

 

9 hours ago, ttoinou said:

Les données sont déjà éparpillées un peu partout dans le monde, une question plus intéressante (et là où IPFS ou des projets basés sur des blockchains peuvent combler les lacunes des torrents ?) est de concevoir un système afin de se mettre en contact avec les bonnes personnes qui ont ce que tu recherches, où chacun peut publier ce qu'il a, où chaque média et ses variantes sont identifiées et indexées et pourquoi pas trouver un moyen de rémunérer tout ce système économique.

 

8 hours ago, Kassad said:

Cherche les papiers sur l'anonymisation en particulier sur les protocoles empêchant la censure : https://www.freehaven.net/anonbib/

 

Il y a un problème de fonds : quels sont les incitations pour que les autres gardent des bouts de données à toi ? Pour btc il y a la mine, dans une certaine mesure la réciprocité peut jouer mais jusqu'à quel point ?

 

Effectivement, la question du modèle économique reste posée, comment financer cela sans reconstituer un SPOF ?

 

6 hours ago, h16 said:

Justement, les blockchains sia, ipfs etc... répondent à ce problème : le minage est remplacé par la mise à disposition du matériel et donc d'espace de stockage et tu es rémunéré en fonction de la taille disponible, de son temps en ligne (disponibilité), de la qualité d'accès (bande passante). 

 

Merci, je vais regarder cela sur IPFS, je n'ai pas encore creusé du tout la question du modèle économique qui pourrait soutenir cela.

 

8 minutes ago, Rübezahl said:

 

Brut de fonderie. ça date de novembre 2017 (sur une liste yahoogroupes).

 

De manière générale, la problématique où on peut lire/diffuser des trucs dans un pays A, mais pas B,

ça doit concerner quelques lecteurs et quelques ouvrages.

 

Quand on pense juste à France/Canada.

 

 

 

Oui, cela pourrait être une application de ce type de solution. Reste la question de la propriété intellectuelle, mais je sais qu'il y a déjà eu des débats sur ce sujet par ailleurs sur le forum, je ne vais pas le rouvrir ici

[h16]

il y a 4 minutes, frl a dit :

Avez-vous déjà, ou savez-vous si ces solutions ont déjà été qualifiées techniquement ? Ca semble tenir debout ?

 

J'avais en son temps regardé IPFS / Filecoin qui m'avait pas mal intéressé ; c'est un peu similaire à Maidsafe dans le principe, avec une incitation économique à mon avis mieux dessinée. 

Mais comme je l'évoquais, l'implémentation est assez compliquée : en gros, ça revient à faire une espèce de RAID logiciel (striping par exemple) sur des disques distants de qualité et de disponibilité variable. Ceci entraîne des effets de bords avec la nécessité d'une tenue de statistiques du point de vue du client qui utilise l'infra (et qui doit alors être "portable" d'un point à un autre). Ce n'est pas trivial mais c'est, algorithmiquement, très intéressant (j'ai travaillé sur une version de raid logiciel à la volée un peu équivalente, sans blockchain derrière, en 2004 / 2005). 

[Greg42]

il y a 8 minutes, frl a dit :

Effectivement, la question du modèle économique reste posée, comment financer cela sans reconstituer un SPOF ?

Comme dans l'industrie classique (publicité [Bat token par ex], upfront paiement de l'utilisateur pour couvrir les frais de fonctionnement en mode dapp, ou n'importe quel autre utilisation des moyens de l'utilisateur pour monétiser [donnée personnelles, utilisation de son matériel, de son temps, etc..]) + exchange décentralisé pour convertir d'un token à un autre si besoin. La partie chiante actuellement, c'est la techno qui n'est pas prête. Dans 5 ans max, ça devrait être bon.

 

[Rübezahl]

Le 28/01/2018 à 20:07, frl a dit :

Pour le torrent, j'ai peu utilisé ce protocole, mais je garde en mémoire le fait que ça ne soit pas trivial à utiliser (il faut un client dédié je crois, et on doit devenir noeud du réseau pour s'en servir il me semble). 

Si tu veux vraiment "pousser ce genre de technos", c'est bien par là qu'il faut commencer. C'est un peu le B.A.BA.

C'est quand même pas très très compliqué. Il suffit d'y aller doucement.

Si tu as la chance d'avoir de l'internet filaire avec un bon débit, ça s'installe eg sur un raspberry pi.

 

Après, il y a les trucs plus sioux énumérés ici, mais torrent, c'est l'abc. (voir eg transmission).

Il y a aussi qqs trucs listés ici : http://opentruc.fr/wiki/Blockchains#Sites_torrentis.C3.A9s_P2P

 

 

 

[Sekonda]

Il n'y a que Sia que j'ai regardé d'assez près. Ils ont commencés avec un discours axés sur l'utilisation par les particuliers mais se tournement maintenant vers les pros. Il semble que beaucoups de particuliers qui voudraient proposer du stockage sont réticent à bloquer une caution. Le modèle économique repose pourtant grandement sur ce dépot (que tu perds si les fichiers ne sont pas disponibles). Au passage, Sia est en plein psychodrame car Bitmain a sorti un Asic avant Nebuleous (la société qui développe Sia).