File system réseau

File system réseau - Divers - Linux et OS Alternatifs

Marsh Posté le 18-11-2011 à 17:40:11    

Hello,
 
Ma problématique est :
 
Des serveurs Web contenant des milliers de fichiers
Les mises à jour du contenu se fait sur un des serveurs, et le tout doit être propagé sur tous les autres serveurs.
 
Nous avons testé :
 
- rsync : il n'aime pas car trop de fichiers à lister
- OCFS : pas stable, crash fréquent avec perte de données
- NFS : perfs moisies (entre serveur ou sur NAS)
 
Que nous reste t'il comme solution ? Qu'utilisez vous de votre coté ?
 
Ces fichiers sont accédés par un serveur web en local (lecture et des uploads)
Je cherche donc une solution très stable, et performante.
 
A+


Message édité par lebibi le 18-11-2011 à 17:40:38

---------------

Reply

Marsh Posté le 18-11-2011 à 17:40:11   

Reply

Marsh Posté le 18-11-2011 à 18:34:23    

iscsi? samba?

Reply

Marsh Posté le 19-11-2011 à 05:42:32    

Twitter (ou Facebook ?) (edit : bon, pour Facebook impossible de trouver ce qu'ils utilisent :/ ) utilise une variante de bittorrent pour propager ses mises à jour.
 
C'est d'ailleurs assez proche de la question que je m'étais posé ici, bien qu'au final la solution retenue fut un arbre de redistribution avec du cron/rsync.


Message édité par bardiel le 19-11-2011 à 11:41:30

---------------
Grippe ? Coronavirus ? Portez votre masque correctement ! :D
Reply

Marsh Posté le 19-11-2011 à 09:41:09    

Tu peux aussi un peu tuner NFS pour les performances et/ou la sécu (assez relativement).
Si tu as le serveur nfs-userspace au lieu de nfs-kernel, ça peut expliquer les performances moisies.
Par contre, je ne comprends pas ton histoire de lenteur, j'arrive sans problèmes à saturer de l'ethernet 100mbits/s entre un Celeron 600MHz et des vieux pc à base de pentium/PII...
(Mais ça reste bien plus lent qu'un disque dur si tout le monde y accède en même temps).
Avec Samba, je trouve que les performances sont assez moisies (peut-être que CIFS arrange les choses).
Tu as aussi sshfs (jamais essayé), je ne connais pas ses performances.
 
Pour tes besoins, je verrais plus un montage NFS avec des rsync "locaux" de ton montage NFS vers ton dossier à upgrader.
L'avantage, c'est que rsync profite du cache disque, du coup le listage est moins long.


---------------
Si tu bois froid juste après le potage chaud, ça va faire sauter l'émail de tes dents - Monorailcat iz ohverin
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed