La Case de l’Oncle Tom

Développement Web, bonnes pratiques et performances

Sus aux disques durs : sauvegarder ses données avec Amazon S3 et JungleDisk

Logo Amazon Webservices

Amazon fait partie à mes yeux des sociétés les plus innovantes du Web. Elle a su inventer un modèle de suggestion d’achats et une catégorisation hors-pair. Elle est également allée plus loin en proposant des services Web à des prix ridicules et faciles d’accès.

Amazon S3 (Amazon Simple Storage Service) est un de ses services Web. S3 permet de stocker en ligne des données … sans limitation de volume. Le service se base sur un principe de facturation à la consommation : plus vous stockez, plus vous payez.

Seulement voilà, sauvegarder 10Go de données pour 2$ par mois, ça vaut le coup d’accéder à la tranquillité.

Pourquoi sauvegarder en ligne plutôt que sur un disque dur externe ?

Je me suis posé cette question lorsque je me suis lassé de sauvegarder mes données sur 1, puis sur 2, puis enfin sur 3 DVD réinscriptibles : disque dur ou solution en ligne ?

Je trouvais les solutions en ligne comme Mozy très chères et inadaptées. Inadaptées car visant la clientèle Windows et éventuellement MacOS X. Or je cherchais une solution fonctionnant aussi sous mon système d’exploitation principal, à savoir Linux.

J’avoue que je fais peu confiance aux disques durs externes USB : je les trouve fragile et si c’est pour durer 3 ans, ça ne m’intéresse pas.
Les disques durs réseaux ? Super mais rares et là encore, peu sécurisés. Il fallait compter 400€ pour avoir du RAID et éviter un tant soi peu les problèmes … et encore.

Bref j’allais me résigner à l’achat jusqu’à ce que le Gastero Prod qu’un Électron Libre lâche le mot sur une liste de diffusion interne à Clever Age : j’utilise Amazon S3 pour mes backups.

Amazon S3

La première chose qui m’a frappé sur Amazon S3 ce sont les prix :

  • 0,15$ le Go stocké
  • 0,10$ par Go sauvegardé
  • 0,17$ par Go téléchargé, au maximum (dégressif jusqu’à 0,10$ au delà de 150To, autant dire beaucoup)

J’ai fait mon calcul pour 20Go à sauvegarder et j’ai vite compris que j’y gagnais :

  • sécurité des données (je suis parano à ce niveau)
  • prix d’achat d’un éventuel disque dur complètement dilué dans le temps
  • données accessibles à tout instant, peu importe où je suis relié au Web
  • possibilité de greffer dessus toute sorte d’application, jusqu’à mon blog par le biais d’Amazon S3 for Wordpress

Facture Amazon S3

Sans remord grâce à l’eurodollar, le choix était fait.
À noter qu’Amazon propose de stocker ses données aux États-Unis ou en Europe. J’ai choisis les États-Unis par radinerie et parce que je n’avais pas de contrainte légale à ce que mes données siègent sur le Vieux Continent. C’est une question que peuvent en revanche se poser plusieurs entreprises fortement encadrées à ce niveau.

JungleDisk

Comme Amazon S3 n’est qu’un conteneur, il me fallait également trouver une solution adaptée à la sauvegarde. Qui a encore envie de lancer manuellement ses sauvegardes ? Pas moi en tous cas.

JungleDisk est un client de sauvegarde payant (20$ en une fois, utilisable à vie – 30 jours d’essai) pour Amazon S3 compatible Linux, MacOS X et Windows. Je l’utilise aussi bien sous Ubuntu que Debian Testing pour information, dans un cadre personnel et professionnel.

Options de JungleDisk

JungleDisk se configure comme on l’aime, simplement. Si on pouvait reprocher à la version 1 une interface austère, peu conviviale et limitative, on ne peut en revanche qu’apprécier la version 2 (en beta à l’heure où j’écris ces lignes). Celle-ci propose notamment ces fonctionnalités :

  • interface visuelle sympa et bien repensée
  • utilisation de plusieurs comptes Amazon S3 simultanés (donc boulot et perso en même temps)
  • meilleure gestion du nombre de fichiers (pour économiser des appels inutiles, facturés par Amazon)
  • sélection des données à sauvegarder facilitée (voir la capture ci-contre)
  • conservation de plusieurs versions d’un même fichier/fichier supprimé (utile sur des données très sensibles)
  • davantage d’options d’automatisation et surtout, l’excellente que faire si l’heure de sauvegarde a été manquée ? (dès que possible ou attendre la prochaine itération)

Navigateur Jungle Disk

JungleDisk propose également un service supplémentaire payant (JungleDisk Plus) que j’affectionne pour ces 3 éléments :

  • reprise du transfert des données
  • accès à une interface Web de visualisation des données sauvegardées
  • meilleure gestion des gros volumes de données

Je sauvegarde 3 choses en ligne : mes sites Web, mes documents personnels et surtout, mes photos. Avec 8 années d’archives numériques, je n’ai pas du tout envie de les perdre.

J’ai paramétré une sauvegarde quotidienne et depuis cette version 2 et son option de reprise de sauvegarde, tous les jours où je connecte mon ordinateur au Web mes données sont sauvegardées.

Conclusion

À l’heure actuelle je doute du bien fondé de sauvegarder sur Amazon S3 ses DivX ou des volumes de données mettant à mal votre bande-passante. Pour une entreprise, ça peut être en revanche une solution de sécurité à moindre coût surtout en cas d’architecture décentralisée.
Avec l’arrivée de la fibre optique pourquoi pas.

Ça fait maintenant 3 mois pleins que j’utilise cette combinaison et a priori, je ne vois pas ce qui me fera changer. Je n’ai pas à subir la contrainte d’un disque externe pénible à transporter, potentiellement destructible ou oublié dans un fond de canapé.

Parce qu’un bon backup est un backup qui se fait tout seul, bien et sans y penser.

Pour aller un peu plus loin dans l’affaire, je serais une entreprise avec de besoins mesurés et une volonté de sécurité, je jetterais un œil aux autres services complémentaires :

  • Amazon SimpleDB : requêtage SQL en temps réel et très utile pour des sites à forte charge (pas une raison pour pas optimiser)
  • Amazon Elastic Compute Cloud : créations de serveurs sur mesure adaptables à tout instant (que ça soit en terme de CPU et de RAM)
  • Amazon MTurk : service d’intelligence artificielle distribuée

Ce dernier service est à proprement parler le plus innovant puisqu’il permet de traiter des processus logiques qu’on lui apprend avec des données qu’on lui transmet.
Des exemples ? Dédoublonnage de catalogues, mise en relation de données par principes de sémantique, analyses d’images (avec détection d’humains par exemple).

Un dernier exemple parlant, une représentation graphique de la proximité des couleurs. Ça me fait rêver :

Proximité de couleurs

Votre lecture de l'article Sus aux disques durs : sauvegarder ses données avec Amazon S3 et JungleDisk est terminée. Il y a encore plein de choses à lire ici ... vous voulez des idées ?

Commentaires & rétroliens

  1. Merci pour cette revue enthousiaste et, surtout, convaincante que je ne manquerai pas de recommander. Ca a l’air tout à fait pertinent.

  2. Oncle Tom dit :

    Cette mise à l’échelle des données peut-être vraiment une aubaine pour certains. On peut très bien imaginer prendre un dépôt et le partager entre plusieurs sites hébergés à différents endroits.

  3. Spacewolf1 dit :

    Pas vraiment convaincu… D’abord ça oblige à avoir une connexion internet avec un débit suffisant pour les « gros » fichiers. Ensuite ça reste du stockage/sauvegarde de données chez une entreprise privée… entreprise commerçante dans bien des domaines en plus. Et puis le coût est très élevé. Tu dis qu’il est intéressant, mais 2$ pour 10 Go pour un mois ça reste cher. Compares avec un My Passport de Western Digital : un petit modèle de 160Go coûte à peine 69$, l’équivalent avec le service Amazon reviendrait à 32$ par mois !!! Et même sans prendre l’équivalent, en 1 an de service pour 10Go, tu as déjà payé les 2/3 du WD. Le WD est petit, n’a pas besoin de connection internet, dispose d’outils pour sauvegarder et crypter en 2 clics. Tu as accès à tes documents n’importe où, et c’est sécurisé.

  4. Oncle Tom dit :

    Trouve-moi une société pas privée qui sauvegarde tes données et je tiendrai compte de ce non-argument ;-)

    Ensuite comme je te dis, si t’as 160Go de données à sauver, c’est pas forcément la solution adaptée. Mais je parle bien de fichier à sauvegarder, pas nécessairement de stockage perso de gros films ou d’ISOs de jeux.

    Et tes outils pour le WD ne tiennent pas compte de l’autre problématique : la portabilité. C’est bien sous Windows mais quid du reste ?

  5. Tortue/Hsun dit :

    Hello

    Pour ma part je n’ai pas un besoin « fondamental » de sauvegarde, j’ai sur mon Mac des trucs importants certes, mais rien de vital (cela risque de changer soon avec mes premiers boulots). Mais quand même, je me suis abonné récemment à .Mac qui, parmi les nombreux services disponible propose un service de backup (10Go max pour l’abonnement de base) transparent (il prend la forme d’un Disque Dur sur le bureau) et totalement intégré à OSX.

    Je commence à l’utiliser le plus en plus pour mettre mes devoirs et autres études et je pense que ca pourra être un service excellent pour les gens qui possède plusieurs Mac (ce qui est fait sur le portable se répercute directement sur celui de la maison.

    Gros bémol : C’est CHER !!!!!! (3200$/48)€ pour une année, 99€ en France.

  6. Spacewolf1 dit :

    Le logiciel de WD est effectivement Windows (2000/XP/Vista). Niveau portativité tu n’auras donc effectivement pas accès à tes données cryptées sur un autre OS.

    Je parle effectivement de sauvegarde de données, personnellement, je sauvegarde également mes sauvegardes de jeux. Quand je parle de gros fichier, je ne pense pas en Go, mais « juste » quand tu es à 3/4 Mo (ce qui peut être vite atteint avec des Word & Co). Ca à l’air de rien, mais quand tu as besoin de ces fichiers et que la connection internet n’est qu’une bas débit ça devient vite un cauchemar. Et avec le stockage sur le web on reste avec LE problème : pas de connection = pas de fichier.

    Par contre, pour un société, je pense que le système doit être effectivement très intéressant.

  7. Tortue/Hsun dit :

    Suite à ce post je viens de regarder d’un peu plus prêt la fonction « Backup » présente dans OSX (Un JungleDisk maison) et je pense que c’est vraiment bien foutu (c’est OSX aussi :p), je viens de le régler pour les dossiers vraiment important. Le jour ou je serais installé je pense me prendre une Time Capsule…

  8. Chouchou dit :

    Intéressant comme service!
    Pour un usage personnel, je vois surtout la sauvegarde des photos comme tu le dis! C’est la chose qui me fait le plus peur, ordi qui crame et plus aucune photos, surtout que je pense jamais à graver…
    Faudra que je me penche la dessus mais après les exams :)

  9. Oncle Tom dit :

    @Chouchou : fais gaffe, c’est un truc à perdre tes données avant la fin des examens !

  10. NiCoS dit :

    pour un serveur en plus Backup-Manager gère l’upload vers S3 :-)

    C’est vrai que S3 m’a sauvé dernièrement [1] mais je me suis quand même acheté un disk externe raid pour plus de sureté et aussi me libérer de la place en local.

    http://www.unelectronlibre.info/index.php/post/2008/05/15/Quand-linterface-graphique-tue-et-que-la-restauration-de-JungleDisk-fonctionne-a-souhait

  11. Chouchou dit :

    Ca suffit demain, alors a moins que ca crame cette nuit…
    Et puis comme on le dit, faut toujours rejeter sur la faute à quelqu’un… Et moi je désigne Athea!! Oui je sais c’est pas gentil (^_^*)

  12. Nicolas D. dit :

    Comme chouchou je pense me laissé tenter par ce service, du moins à l’essai au début. Cela fait un moment que je cherche une solution de stockage à distance me permettant de décharger mes photos lors de reportages quelque soit le pays dans lequel je me trouve (du moment bien sûr d’avoir une connexion internet), tout cela en plus du videur de carte d’une centaine de gigas que j’ai partout avec moi, mais qui des fois me fait peur avec des bruits du HDD assez suspect, on est jamais à l’abri d’un accident…

  13. SebMat dit :

    Bonjour Tom,
    super article merci. Juste un petit lien vers le Calculateur Amazon pour permettre de savoir combien cela devrait vous couter : http://calculator.s3.amazonaws.com/
    A bientôt
    Sébastien

  14. rjulie dit :

    Bjr,

    J’utilise ce service depuis peu et je le trouve très bien et vraiment par cher.

    Par contre pour sauvegarder mes photos je dis bof, je préfère les mettre sur un site comme flickr.

  15. Freddy_k dit :

    salut a vous,

    sympa l’article, avec une belle presentation de jungleD.
    Pour ma part,j’utilise s3 depuis plusieur mois… pour un tous autres style de stockage… Peut etre trop pévoyant…. c’est la peur de l’incendie qui ma fais penser a s3. Je stocke donc toute mes factures (importantes) actes notariés, bulletin de paie, … car les assurances ne plaisentent pas avec ces trucs là… aujourd’hui tu paies en fermant ta gueu*** demain, l’assurance ne la fermera pas elle…. de plus comme le backup n’est pas tres utile pour moi, j’utilise s3fox, un plugin firefox (désormais dispo pour ff3).
    Salut à tous

  16. Gilles/Gilles dit :

    et quel est votre avis de s’en servir pour streamer les VOD pour un blog ou un site média ? Pour des questions de droits, je tiens à avoir un espace privé de stockage/diffusion en streaming.

  17. Oncle Tom dit :

    Je pense que ça peut être faisable ceci dit je vois déjà 2 inconvénients :

    1. il n’y a pas de répartition géographique du contenu : ça sera systématiquement envoyé depuis les États-Unis (ou l’Europe si cette option de stockage a été choisie)
    2. il n’y a pas de support des protocoles de streaming type RTMP/RTSP

    On peut par contre s’amuser avec des fichiers FLV, SWF, Quicktime, Windows Media … mais là encore on n’est pas dans du pur streaming.

    Si ça concerne uniquement de la lecture de fichiers vidéos, je pense que ça peut faire l’affaire haut la main. Un bel exemple d’architecture élastique avec Amazon.

  18. Lien : Sauvegarder ses données sur Internet avec Amazon S3 et JungleDisk – La Case de l’Oncle Tom http://tinyurl.com/5rsxus

  19. Ghal dit :

    Est il possible de faire de la synchronisation avec S3?
    J’ai une DOSSIER qui doit faire 10 GO mais qui évolue chaque jour au gré de mes enregistrement.
    Actuellement j’utilise un disque dur externe et Chronosync.
    S3 est il adapté pour moi ?
    Merci

  20. Oncle Tom dit :

    @Ghal si c’est un dossier qui contient des fichiers et qu’ils varient oui. Si tu as une archive unique de 10Go, il te faudra un client adapté mettant à jour uniquement les différences de ton binaire. Mais je ne pense pas que tu sois concerné par ce cas de figure.

    S3 n’est qu’un moyen de stockage, la synchro est assurée par un client que tu trouveras ou que tu te coderas. À toi de le choisir en fonction de ton OS et des fonctionnalités attendues.

    Personnellement j’utilise JungleDisk et la synchro se fait tous les jours sans que j’ai à y penser.

    Je suis trop parano pour utiliser un disque dur : il en faudrait au moins 2 (ou 1 avec du RAID, et encore) pour que je puisse effacer sans crainte les données sauvegardées de mon disque dur.

  21. Ghal dit :

    Il s’agit effectivement d’un dossier contenat plusieur fichier ( dont seulement 3 ou 4 sont modifier chaques jours).
    Lors de la synchro: est ce le dossier complet qui est telecharger et la je me retrouve avec plusieurs version de ce dossier stocké sur S3.
    ou est ce une version du dossier remise a jour à chaque synchro?

    A combien me reviendrai par mois 10 GB à stocker la 1ere fois puis environ 200mo mise a jour chaque jour ?

    Merci

  22. Oncle Tom dit :

    @Ghal il y a un calculateur de prix pour Amazon S3 qui répondra à une de tes questions.
    En tous cas lors de la synchro (enfin c’est comme ça que je l’ai paramétré, et que tu souhaiteras probablement faire), ce sont uniquement les fichiers modifiés qui seront mis en ligne.
    Avec JungleDisk tu as la possibilité d’archiver les fichiers modifiés/supprimés sur n-jours/n-modifications ce qui fait que tu ne te retrouves pas non plus désarmé en cas de suppression ou modification malencontreuse.

  23. [...] La prochaine fois, il fera une sauvegarde distante avec JungleDisk. [...]

  24. Argancel dit :

    Très bon article Oncle Tom, du coup je me suis inscrit sur Amazon S3 et j’ai créé un script qui fait des sauvegardes régulières de mon blog grâce à l’outil en ligne de commande s3cmd : http://s3tools.org/s3cmd

    Au fait, du coup peux-tu nous dire quel est le montant moyen de tes factures mensuelles?

    J’aimerais bien savoir aussi s’il y a une facture minimale. Car pour l’instant je vais seulement l’utiliser pour les backups de mon blog.

    • Oncle Tom dit :

      Selon le blog que tu utilises tu peux carrément balancer tes images & cie directement sur S3. En fait, ton répertoire `wp-content/uploads`.

      Le montant des factures varie. Mais la dernière facture s’élève à 4$ pour 20Go de données stockées et 1,5Go de transfert montant (que des photos).
      Ça se répartie comme suit :

      • Stockage : 3,11
      • Transfert entrant (1,5Go) : 0,17
      • Requêtes (6000) : 0,5
      • Taxes : 0,65

      Côté facture minimale, je ne pense pas. Ce qui compte ce sont les ressources consommées.

      J’espère avoir répondu à ta question :)

      • Argancel dit :

        Merci pour cette réponse rapide qui me satisfait amplement.
        Désormais, tout les backups de mes sites sont automatisés, sans oublier un script de nettoyage qui supprime les données du mois précédent le 20 du mois.
        Ca fait du bien d’avoir l’esprit tranquille!

  25. Julien dit :

    Le seul problème que je vois est que le paiement se fait en USD.
    Je me voit mal payer 2$ mon stockage et prendre 15 € de frais par ma banque pour un règlement à l’étranger, en devise …

    Sur le site S3, tous les prix que je vois sont en $, y-a-t-il un moyen de payer S3 en € et en France ?

    Merci
    Julien

  26. [...] en sauvegardant les données critiques grâce à des “coffres forts” virtuels comme la solution Jungle Disk+Amazon S3. Ce service est payant mais il est à la demande, c’est à dire qu’on paye uniquement ce que [...]

  27. [...] qui date un peu par Romain – Sauvegarder le contenu de son ordinateur sur S3 avec Jungle Disk expliqué par Thomas 0 Tags: Amazon S3, cloud, [...]

Répondre

Balises HTML autorisées : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>



Thème graphique par LeslyG, intégré par Oncle Tom.
Propulsé par WordPress, Blueprint et WP-LESS.