On sait comment sont stockés les fichiers des backups "rsnapshot" (hard
links, nombreuses références vers de mêmes données sur les disques, ...)
Ex:
/monthly.0/serveur1/répertoire1/fichier1
/monthly.0/serveur1/répertoire1/fichier2
/monthly.0/serveur1/répertoire2/fichier1
/monthly.0/serveur1/répertoire2/fichier2
/monthly.0/serveur2/répertoire1/fichier1
/monthly.0/serveur2/répertoire1/fichier2
/monthly.0/serveur2/répertoire2/fichier1
/monthly.0/serveur2/répertoire2/fichier2
/monthly.1/serveur1/répertoire1/fichier1
/monthly.1/serveur1/répertoire1/fichier2
/monthly.1/serveur1/répertoire2/fichier1
/monthly.1/serveur1/répertoire2/fichier2
/monthly.1/serveur2/répertoire1/fichier1
/monthly.1/serveur2/répertoire1/fichier2
/monthly.1/serveur2/répertoire2/fichier1
/monthly.1/serveur2/répertoire2/fichier2
[...]
La manière dont fonctionne rsnapshot fait que des mêmes fichiers.
contenus dans des répertoires identiques (mêmes noms, même paths), sur
des serveurs identiques mais dans des backups différents, n'occupent
qu'une fois l'espace nécessaire (une seule "copie physique" des données
sur les disques).
De ce fait, si on change le nom d'un fichier, le backup suivant _refait
une copie des données_ et donc on occupe le double d'espace disque que
nécessaire.
Pire: si on renomme un répertoire, tous les contenus de ce répertoire
(et de l'arborescence située en dessous) sont recopiés, nécessitant
potentiellement un espace-disque important, totalement inutile puisque
les contenus restent les mêmes.
Idem si on change le nom d'un serveur (majuscule/minuscule ou numéro de
version, par exemple).
L'outil rdfind détecte ces cas, et remplace des copies identiques de
contenus par des "hard links", c'est-à-dire économise de
l'espace-disque, sans aucun autre effet non souhaité (en cas de
renommage, de modification par exemple).
Après des tests de grande taille, il apparaît que les backups, avant et
après le passage de rdfind, sont bien identiques. Mais on peut faire
encore mieux.
Sur divers serveurs, on trouve naturellement de nombreux fichiers
identiques (ex: librairies, fichiers "packages", ...), ce que rsnapshot
ne remarque pas, et donc fait des copies multiples, alors que le contenu
est le même.
Il y a aussi le cas des copies multiples de mêmes documents sur un
serveur de fichier, par exemple. Ainsi, une même vidéo peut être
conservée des dizaines de fois dans un même serveur, chaque utilisateur
en conservant une copie dans son espace personnel.
La commande rdfind peut tenir en compte ces situations, à condition
d'utiliser l'option "-removeidentinode false". En effet, par défaut, il
ne le fait pas. Exemple:
Imaginons que les fichiers "fichier1" sont tous identiques.
/monthly.0/serveur1/répertoire1/fichier1
/monthly.0/serveur1/répertoire2/fichier1
/monthly.1/serveur1/répertoire1/fichier1
/monthly.1/serveur1/répertoire2/fichier1
Avec un coup de rdfind "classique, les deux copies seront remplacées par
_deux___ copies. En effet,
/monthly.0/serveur1/répertoire1/fichier1
/monthly.1/serveur1/répertoire1/fichier1
sont déjà des "hard links" vers un même contenu, et
*/monthly.0/serveur1/répertoire2/fichier1*
/monthly.1/serveur1/répertoire2/fichier1
sont des "hard links" vers _une autre_ copie. On a donc bien _deux_
copies physiques _avant_ le passage de rdfind.
Après, la situation est:
/monthly.0/serveur1/répertoire1/fichier1
/monthly.1/serveur1/répertoire1/fichier1
*/monthly.0/serveur1/répertoire2/fichier1*
qui référencent tous une même copie physique, et
/monthly.1/serveur1/répertoire2/fichier1
qui référence une _autre_ copie physique. En effet, par défaut, rdfind
ne traite _qu'une seule fois_ des références multiples d'un même contenu
(hard links vers un même contenu). rdfind considère donc _deux copies_,
et ne remplace donc qu'une seule fois une entrée dans un répertoire (ici
/monthly.0/serveur1/répertoire2/fichier1) par un hardlink vers l'autre
copie.
Du fait que l'autre référence n'est pas traitée, il subsiste une
référence vers la seconde copie (ici
/monthly.1/serveur1/répertoire2/fichier) et donc _on ne gagne aucune
place dans le stockage_. On est passé de deux références vers la copie A
plus deux références vers la copie B à trois références vers la copie A
et une référence vers la copie B, mais les deux copies subsistent.
Si on repasse une couche de rdfind. on va effectivement "fusionner" la
dernière copie aux autres, et libérer de l'espace disque. Mais dans le
cas réel de backups via rsnapshot, on risque d'avoir des milliers de
fichiers qui sont identiques sur divers serveurs (modules du kernel,
librairies, ...) et donc il faudrait exécuter rdfind autant de fois que
nécessaire jusqu'à ce que plus rien ne change.
Comme l'économie de place ne survient, en pratique, qu'au moment de la
disparition de la dernière référence au contenu redondant, il est
nécessaire de procéder ainsi.
Sauf que rdfind dispose d'une option "-removeidentinode", qui évite à
cette commande de ne pas s'intéresser aux copies multiples d'un même
contenu (même inode = hardlinks). Après tests, je peux affirmer que la
commande rdfind, avec l'option "-removeidentinode" sur false, a le
comportement attendu: il remplace _en une seule passe_ *toutes les
copies d'un même contenu* !
Il suffit donc de faire exécuter la commande
> rdfind -removeidentinode false -makehardlinks true -makeresultsfile
> true -outputname /var/log/rdfind_result.log /Backup/monthly.0
> /Backup/monthly.1
après exécution d'un "rsnapshot" monthly...
Bon à savoir.
Bonjour,
Pour info, SFEIR au Luxembourg fait des formations dont certaines sont
gratuites : https://www.sfeir.com/formation/school/catalogue/
--
Installer facilement GNU/Linux : http://numopen.fr
.--.
|o_o |
||_/ |
// \\ Envoyé depuis mon GNU/Linux
(| |)
/ \_ _/ \
\___)=(___/
Hello,
I hereby make a call to all our members to come on Saturday 23/03
on the Place de l'Europe to Save our Internet (against upload filters)
https://savetheinternet.info/
See you all there.
Thierry Coutelier
Salut tout le monde,
On sera bientôt au mois de février, donc il serait temps d'organiser
notre Assemblée Générale.
Je propose de la faire, comme d'habitude, pendant le mois de mars.
Tous les soirs de semaine du mois de mars restent encore disponibles
pour moi.
Quelles sont vos disponibilités à vous, histoire de choisir une date qui
convienne au plus grand nombre?
... et tant qu'on y est, prévoyons aussi une date pour notre barbecue en
été.
- En juin, tous les samedis sauf le 1 et le 8 restent disponibles pour moi.
- En juillet tous les samedis sauf le 13 sont ok
- En août, tous les samedis sauf le 10 et 17 sont ok
Merci,
Alain
Pour info.
Ce qu'on n'a pas réussi à faire à Metz à l'époque du GOALL parce que les
intérêts particuliers ont primé sur l'intérêt commun : pas d'écoute des
élus et des personnels des mairies complètement focalisés sur les
projets Quartier numérique/French Tech/Sillon Lorrain, représentants
d'associations ne souhaitant pas monter de structure inter-associative etc.
Je souhaite à Axel de pérenniser et de développer son projet d'animation
d'un lieu de partage des connaissances libres. Une médiathèque ou une
école sont des lieux idéaux pour cela.
-------- Message transféré --------
Sujet : Naissance d'une fabrique
Date : Sun, 23 Dec 2018 14:22:28 +0100
De : Axel B <axel(a)broman.fr>
Article de l'Est républicain à lire ...
--
M. BROMAN Axel
73 Rue de Nancy
54250 Champigneulles
Courriel / Jabber : axel(a)broman.fr
Téléphone : 06 49 23 70 41
--
David VANTYGHEM
Mél. : david.vantyghem(a)free.fr
Installer facilement GNU/Linux : http://numopen.fr
.--.
|o_o |
||_/ |
// \\ Envoyé avec mon GNU/Linux
(| |)
/ \_ _/ \
\___)=(___/
Bonsoir,
Compte tenu des disponibilités de ceux qui ont répondu, nous retenons le
19 décembre. Comme d'habitude, nous commencerons à 20h00.
Prière de répondre par mail ou Facebook si vous comptez venir, pour
avoir une idée pour combien de personnes réserver.
Merci et à mercredi.
Alain
Salut les copains,
Noël approche, que diriez-vous d'un repas convivial pour célébrer cette
fin d'année?
Si oui, quel jour? Pour moi, tous les soirs du 17 au 21 me conviennent,
voire même après Noël (soirs du 26 au 28)
... et où? Rusticana comme d'hab? Autres suggestions?
Amicalement,
Alain
Bonjour,
N'hésitez pas à diffuser à vos connaissances et à faire de la publicité.
Pour plus d'information, contactez Axel BROMAN (trésorier et webmaster
du Mirabellug), il est à l'origine du projet.
axel.broman(a)mairie-vandoeuvre.fr
Cordialement
-------- Message transféré --------
Sujet : Tr : Invitation : Inauguration - Fabrique Collective de la
Culture du Libre
Date : Tue, 4 Dec 2018 10:38:41 +0100
De : Axel.Broman(a)mairie-vandoeuvre.fr
*Stéphane Hablot*
Maire de Vandoeuvre
*Philippe Poncelet*
délégué aux Finances, aux Relations Métropole
Politique de la Ville - Ville numérique
ont le plaisir de vous inviter à l’inauguration de la
*Fabrique Collective de la Culture du Libre*
*Vendredi 14 décembre à 18 heures à la Médiathèque*
La commune vous propose de devenir partenaire de la FCCL
en participant à l’*ASSEMBLÉE CONVIVIALE DE LA FABRIQUE*
à 19 heures, carrefour où seront abordés les orientations,
les projets et leurs évolutions :
• Présentation des actions déjà mises en place
• Programmation 2019
• Débat : Quelle ville numérique voulons-nous ensemble ?
Inscription à l’assemblée conviviale : https://frama.link/fcclwww.vandoeuvre.fr <http://www.vandoeuvre.fr>
--
David VANTYGHEM
Mél. : david.vantyghem(a)free.fr
Installer facilement GNU/Linux : http://numopen.fr
.--.
|o_o |
||_/ |
// \\ Envoyé avec mon GNU/Linux
(| |)
/ \_ _/ \
\___)=(___/
Bonjour tout le monde,
En été, quand la réforme des droits d’auteur était à l’agenda du
Parlement européen et il fallait se montrer, j'ai pensé au Linux Club...
Après une absence de presque 15 ans, le club me vient en tête et une
semaine après, je rencontre Alain à la Schueberfouer et encore une
semaine plus tard, nous nous retrouvons réunis! Intéressant... !
J'ai plaisir de revoir certains anciens combattants, mais je suis venu
avec un but: prévoir notre futur! Nous commençons à vieillir et avec
nous, le club!
Il est temps de recruter des jeunes! A moyen terme, nous devons faire de
notre mieux pour intéresser un grand public à notre idée du libre en
général. J'aimerais bien m'investir plus et me retrouver dans une équipe
qui partage ces visions.
Je propose de discuter ce sujet (que nous avons légèrement touché la
fois passée) dans une des prochaines réunions
A bientôt mes amis,
Romain
