Inotify et sauvegarde sur le réseau

Inotify et sauvegarde sur le réseau - Codes et scripts - Linux et OS Alternatifs

Marsh Posté le 28-12-2008 à 22:11:45    

Salut les poulets alternatifs.
 
Désolé pour le titre super pas parlant j'ai pas trouvé mieux :o
 
Voilà j'ai une problématique et j'aimerais vos conseils.
 
Actuellement il m'est nécessaire de sauvegarder le contenu d'un serveur via le réseau, afin de faire le moins de trafic réseau possible, la machine qui reçoit le backup fait des cp -al sur plusieurs jours et il reste toujours le répertoire de base sur lequel je passe des coups de rsync et tout va bien.
 
Maintenant le problème c'est que le serveur en question héberge énormément de petits fichiers et rsync avec beaucoup de fichiers c'est un poil trop lent le temps qu'il parcourt tout.
 
M'est venu alors l'idée d'utiliser inotify sur le serveur source pour récupérer les seuls fichiers modifiés / créés / supprimés et ainsi faire la synchro sur le serveur de backup uniquement des fichiers en question .
 
Jusqu'ici rien d'extraordinaire, maintenant j'aimerais savoir ce que niveau charge donne inotify en le faisant travailler sur / , c'est un serveur de prod et j'ai pas envie de faire des tests dessus  :whistle:  
 
En gros inotify pompe-t-il beaucoup de ressources :o
 
Bon je pourrais faire les tests moi même mais si vous avez déjà été confrontés à la problématique vos retours m'intéressent.
 
Merci d'avance  :jap:

Message cité 1 fois
Message édité par vanfannel_94 le 28-12-2008 à 22:12:28
Reply

Marsh Posté le 28-12-2008 à 22:11:45   

Reply

Marsh Posté le 29-12-2008 à 13:43:25    

pourquoi pas un drbd ?


---------------
uptime is for lousy system administrators what Viagra is for impotent people - mes unixeries - github me
Reply

Marsh Posté le 29-12-2008 à 15:05:30    

vanfannel_94 a écrit :


Jusqu'ici rien d'extraordinaire, maintenant j'aimerais savoir ce que niveau charge donne inotify en le faisant travailler sur / , c'est un serveur de prod et j'ai pas envie de faire des tests dessus  :whistle:

 

En gros inotify pompe-t-il beaucoup de ressources :o

 

Bon je pourrais faire les tests moi même mais si vous avez déjà été confrontés à la problématique vos retours m'intéressent.

 

Merci d'avance  :jap:

 

Tout dépend de la quantité de fichiers/répertoires surveillés. A confirmer pour inotify(), mais je ne pense pas qu'il remonte l'arborescence parent quand un sous répertoire est modifié, ce qui oblige à installer le polling pour chacun d'entre eux. Tu peux éclater ta table de file descriptors sans t'en rendre compte.

 

Et l'inconvénient majeur, c'est que tu auras des déclenchements pour chaque évènement que tu vas monitorer, ce qui va faire très mal sur un serveur manipulant beaucoup de fichiers.

 

Si rsync ne te convient pas, regarde du coté de mtree, qui permet de comparer des specifications d'arborescence, ou des solutions plus lourdes, genre du distribué (on te parle au dessus drdb, qui est très bien).

 

Edit: niveau performance, pour mtree, on s'en sert régulièrement sous les *BSD pour des vérifications d'arborescence (trojan, fichiers de confs modifiés, etc.), cronné pour le faire dans les périodes de charge calme.


Message édité par Gf4x3443 le 29-12-2008 à 15:08:45

---------------
Petit guide Kerberos pour l'administrateur pressé
Reply

Marsh Posté le 04-01-2009 à 20:46:02    

D'abord merci d'avoir répondu.  
Au sujet de DRBD celà me semble difficile de le mettre en place étant donné que les deux machines ne peuvent pas avoir de lien local entre elles.
 
Pour l'utilisation de mtree j'aurais effectivement dû préciser que les deux machines sont sous linux (etch uptodate pour être précis), j'ai pas trouvé d'occurence de mtree même en installant les bsdutils, ça me semble réellement BSD only.
 
Actuellement j'ai installé rsync 3 à partir des backports ceci a réduit d'a peu près 10 % les timeout du au parcours récursif des dossiers sur la machine à backuper.
 
Dans la mesure du possible je vais déplacer les deux dans le même datacenter et tenterait de mettre DRBD en place.
 
Voilà :jap:

Reply

Marsh Posté le 04-01-2009 à 21:08:31    

vanfannel_94 a écrit :

D'abord merci d'avoir répondu.  
Au sujet de DRBD celà me semble difficile de le mettre en place étant donné que les deux machines ne peuvent pas avoir de lien local entre elles.


 
Effectivement
 

Citation :

Pour l'utilisation de mtree j'aurais effectivement dû préciser que les deux machines sont sous linux (etch uptodate pour être précis), j'ai pas trouvé d'occurence de mtree même en installant les bsdutils, ça me semble réellement BSD only.


 
Oui, les ports bsdutils sont pas forcément tip-top sous système Nunux. Tu peux toujours télécharger pkgsrc, le bootstraper et faire une install de sysutils/mtree. Pour l'installation sous Linux, c'est expliqué dans http://www.netbsd.org/docs/pkgsrc/platforms.html .
 

Citation :

Actuellement j'ai installé rsync 3 à partir des backports ceci a réduit d'a peu près 10 % les timeout du au parcours récursif des dossiers sur la machine à backuper.
 
Dans la mesure du possible je vais déplacer les deux dans le même datacenter et tenterait de mettre DRBD en place.
 
Voilà :jap:


 
Si tu en as la possibilité, ca reste le plus soft une fois que c'est mis en place.


---------------
Petit guide Kerberos pour l'administrateur pressé
Reply

Marsh Posté le 05-01-2009 à 00:00:27    

glusterfs ?

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed