Débit SaMBa sur raid5 + LVM Debian - réseaux et sécurité - Linux et OS Alternatifs
Marsh Posté le 31-01-2011 à 12:34:02
fait
Citation : hdparm -tT /dev/md0 |
et
Citation : dd if=/dev/zero of=/point/montage/test.bidon bs=4096 count=1000000 |
donne les résultats
Marsh Posté le 31-01-2011 à 14:55:00
gizmo15 a écrit : fait
|
Voilà les résultats:
Code :
|
Code :
|
Merci pour ton aide
Marsh Posté le 31-01-2011 à 15:26:11
de rien
bas écoute la tu écris à ~140Mo/s donc c'est pas ton raid.
regarde si la négociation gigabyte est bien faite
Marsh Posté le 31-01-2011 à 15:56:20
Il est bien en gigabit, sinon il dépasserait pas les 12Mo/s
Dans la conf de Samba, tu peux configurer des buffers en émission / réception.
Configurer des valeurs correctes peut permettre d'augmenter très significativement les performances.
Marsh Posté le 31-01-2011 à 16:12:27
ccp6128 a écrit : Il est bien en gigabit, sinon il dépasserait pas les 12Mo/s |
Est-ce que tu peux m'aider à faire celà?
Voilà mon smb.conf:
Code :
|
Citation : oui d'accord mais half/full ca peut influer ^^ |
Que veux tu dire par là ? tu peux m'aider sur ce point de vue là ?
un iperf au cas ou:
Code :
|
Merci à vous 2
Marsh Posté le 31-01-2011 à 16:53:10
d'après ton iperf les débits ont pas l'air si dégueux que ca, t'as essayé en ftp?
Marsh Posté le 31-01-2011 à 17:13:13
C'est les paramètres SO_RCVBUF et SO_SNDBUF dans le smb.conf
Essaie d'augmenter ou diminuer leur valeur (+ redémarrage de samba), ca peut influer pas mal.
Sur de l'Atom, je dirais de tester d'abord en divisant par deux la valeur, ca devrait améliorer les perfs.
Marsh Posté le 31-01-2011 à 17:54:23
gizmo15 a écrit : d'après ton iperf les débits ont pas l'air si dégueux que ca, t'as essayé en ftp? |
En FTP je suis à 70Mio/s pour le 1er Gio puis après au fur et à mesure de l'écriture je descend jusque 30Mio/s à la moitié du transfert 4Gio / 8Gio puis il remonte sur la fin jusqu'a 50Mio/s ??!
En SMB avec un SO_RCVBUF et SO_SNDBUF à 4096 je suis à 7.3Mio/s
En SMB toujours, mais avec un SO_RCVBUF et SO_SNDBUF à 16384 je suis à 25Mio/s
En SMB toujours, mais avec un SO_RCVBUF et SO_SNDBUF à 32768 je suis à 35Mio/s
En SMB, en enlevant SO_RCVBUF et SO_SNDBUF il monte jusqu'à 35Mio/s
En NFS je suis à 50 Mio/s pour le 1er Gio puis ca plafonne à 30Mio/s jusqu'à la fin
Est ce que 2Gio de RAM serait-ce trop peu?
Marsh Posté le 31-01-2011 à 17:58:41
Je ne pense pas que ce soit un souci lié à la RAM.
Dommage pour le tuning de Samba, tu peux creuser un peu plus la : http://www.samba.org/samba/docs/ma [...] speed.html mais a mon avis ce ne sera pas très probant.
D'expérience, les deux trucs les plus efficaces étant le tuning des buffers et le TCP_NODELAY.
Tu as tracé l'occupation CPU pendant un transfert réseau ?
Marsh Posté le 31-01-2011 à 18:06:23
ccp6128 a écrit : Je ne pense pas que ce soit un souci lié à la RAM. |
Tracer avec un top? je fais ca de suite
CPU : entre 2 et 15%pour sys
smbd 30% et m0_raid5 25% y'a aussi un flush-253:4 à 30% mais je ne sais pas de quoi il s'agit
Marsh Posté le 31-01-2011 à 18:10:33
Le process flush se charge d'écrire sur le disque les données modifiées.
T'es donc proche du 100% cpu on dirait ? C'est peut être ca qui limite.
Je te linke un post que j'avais fait sur le topic NAS et qui détaille les optimisations que j'avais faites sur mon NAS avec une config un peu similaire (RAID5 + samba) :
http://forum.hardware.fr/forum2.ph [...] 1#t7538034
J'obtiens de bien meilleurs débits, en espérant que ce soit pas lié au CPU un poil plus puissant.
Marsh Posté le 31-01-2011 à 18:23:45
Je m'étais déjà inspiré de ton post, le mieux que j'ai c'est 35Mio/s ...
En nfs, il y a aussi moyen de tuner le bouzin? histoire d'avoir mieux que 35Mio/s ?
Marsh Posté le 31-01-2011 à 18:59:58
Par défaut non, NFS est déjà normalement très performant en utilisation normale.
Le tuning est possible, mais le gain se constate uniquement dans des conditions trop spécifiques pour que je puisse donner des astuces "toutes faites".
Marsh Posté le 31-01-2011 à 19:22:59
ccp6128 a écrit : Par défaut non, NFS est déjà normalement très performant en utilisation normale. |
Donc si en nfs j'ai 35 - 40 Mio/s c'est que mon processeur limite le tout ?
Si depuis Windows j'ai aussi ces débits je suis au bout quoi?
Marsh Posté le 31-01-2011 à 20:19:11
salut
intéressant ce topic...
pour ma part j'aurais dit aussi que c'est samba qui limite.
j'ai vu quelques benchs sur le net, et ils s'accordent à dire que le NFS est plus rapide.
j'ai aussi un serveur sous debian avec un samba qui marche bien. mais pour les très gros fichiers, je préfère transferer en FTP, c'est plus rapide
edit: sur mon samba, j'ai juste mis l'option TCP_NODELAY. j'ai essayé avec d'autres mais en moyenne ça perdait en débit
du coup, je suis aussi à 25/30 mo/s sur un reseau gigabits.
edit2: mon serveur est une petite machine avec peu de ram, ceci estplique surement cela.
je suis en train de me monter un vrai filer, avec un i3 550 + 4 go de ram + 2 disques "wd green" en raid 1 hard
j'aurai également ce règlage des 4K à faire sur ces nouveau disques, ça devrait deja aller beaucoup mieux
Marsh Posté le 31-01-2011 à 21:23:37
Si en NFS t'es limité pareil, c'est que le goulot d'étranglement n'est pas Samba oui.
Après étant donné que les tests en local donnent un bien meilleur débit (donc pas de soucis potentiels niveau FS ou kernel par exemple) j'aurais tendance a penser que le couple transfert réseau + gestion RAID met à genoux ta machine.
Marsh Posté le 31-01-2011 à 21:39:45
ccp6128 a écrit : Si en NFS t'es limité pareil, c'est que le goulot d'étranglement n'est pas Samba oui. |
Oui, ça doit venir de là, si jamais tu as une idée de comment résoudre ce soucis elle est la bienvenue..
Mais alors comment font des NAS comme les Synology ou QNAP qui utilisent aussi un Atom mais ont de bien meilleurs débits?
Bàt
Marsh Posté le 01-02-2011 à 11:01:41
Le matos que tu as devrait supporter bien plus. A mon avis, doit y avoir un blocage quelque part (genre au niveau du kernel) qui fait tes perfs s'effondrer.
C'est quoi comme chipset réseau ? Tu as une grosse charge CPU quand tu fais un Ipperf ?
Marsh Posté le 01-02-2011 à 11:35:21
ccp6128 a écrit : Le matos que tu as devrait supporter bien plus. A mon avis, doit y avoir un blocage quelque part (genre au niveau du kernel) qui fait tes perfs s'effondrer. |
Si tu peux m'aider à résoudre ce soucis ce serait vraiment génial de ta part ! :-D tu n'as qu'a me dire quoi faire et je te dirais si ca change quelque chose ou pas ;-)
Le chipset réseau est un Realtek RTL8111E quand je fais un iperf je suis à max 62% pendant 2 sec puis à 35% d'utilisation du processeur ( mon iperf à l'instant me donne 759Mbits/s)
Marsh Posté le 01-02-2011 à 11:43:21
le cumule du raid logiciel + le chipset réseau merdique + samba ne ferait pas saturer le cpu?
Marsh Posté le 01-02-2011 à 11:50:11
gizmo15 a écrit : le cumule du raid logiciel + le chipset réseau merdique + samba ne ferait pas saturer le cpu? |
Mais comment font les Syno et Qnap alors? meme si je mets une carte pci D-link j'ai ces débits Oo
Marsh Posté le 01-02-2011 à 12:12:45
gizmo15 a écrit : ce n'est qu'une hypothèse ^^ |
Y'a pas de souçis, c'est jusque que ca me fait un peu ch*** d'avoir ces débits avec un carte qui devrait pouvoir donner plus !
Marsh Posté le 01-02-2011 à 12:17:45
Les chipsets RealTek sont pas géniaux en effet. Tu peux obtenir de gros débits dessus, mais le design général est cheap (une grosse partie du traitement est reporté sur le CPU).
A mon avis, le driver Realtek doit te charger en interruptions, ce qui met ton premier core a 100% load et te ralentit à mort ta machine.
Teste deux choses pour vérifier ca :
Lance un gros transfert, et fais un cat /proc/interrupts , poste le résultat ici.
Désactive l'HyperThreading dans ton BIOS, et reteste les débits réseaux. Si le souci vient de la, il y a de grosses chances que ca booste bien les débits.
Marsh Posté le 01-02-2011 à 12:23:35
ccp6128 a écrit : Les chipsets RealTek sont pas géniaux en effet. Tu peux obtenir de gros débits dessus, mais le design général est cheap (une grosse partie du traitement est reporté sur le CPU). |
Code :
|
Marsh Posté le 01-02-2011 à 12:38:57
Ca a l'air bien distribué
Tant qu'on est dans les tests, tu peux installer nmon et le lancer pendant un transfert réseau, et poster un screen ?
Essaie d'obtenir un screen qui montre à la fois le "CPU Utilisation", "Network I/O" et "Disk I/O".
Marsh Posté le 01-02-2011 à 13:53:13
ccp6128 a écrit : Ca a l'air bien distribué |
voilà http://tyrolienne.dyndns.org/testNmon.png (je ne l'ai pas mise ailleur pcq sinon on ne sait plus rien lire...
Marsh Posté le 01-02-2011 à 13:59:32
Ta machine s'ennuie Tout a l'air OK.
A croire que le souci viendrait plutôt de ta machine source. T'aurais pas un antivirus ou un firewall dessus qui limiterait le débit ?
Pour moi y'a aucun souci identifiable sur ton NAS.
Marsh Posté le 01-02-2011 à 14:00:32
ccp6128 a écrit : Ta machine s'ennuie Tout a l'air OK. |
ben c'est un laptop avec Debian squeeze, tu sais me dire quoi regarder ?
mon firewall est l'iptable par défaut ...
Marsh Posté le 01-02-2011 à 14:28:25
Teste déjà les débits disque sur ton laptop. y'a des chances que la limitation vienne de la.
Hdparm c'est un bon début, bonnie++ donne des résultats plus détaillés.
Marsh Posté le 01-02-2011 à 14:36:23
ccp6128 a écrit : Teste déjà les débits disque sur ton laptop. y'a des chances que la limitation vienne de la. |
Voilà:
Code :
|
Et si je crée un tmpfs et que je lui fout mon fichier à copier dedans, je serais pas limité par la vitesse du hdd de mon laptop?
Marsh Posté le 01-02-2011 à 15:48:07
ccp6128 a écrit : Bonne idée ! |
Bon, j'arrive pas a créer un ramdisk qui soit vraiment en ram, je trouves pas de tuto complet... :S tu sais me dire comment faire ?
Marsh Posté le 01-02-2011 à 19:47:02
Merci pour ton tuto, j'ai donc fait le test et sur un fichier de 1.4Go j'ai une écriture à 44Mio/s et une lecture à 69Mio/s ! Tou ça depuis le ramdisk sur mon laptop... il faudrait que je fasse ce même test entre 2 ramdisk?
Marsh Posté le 01-02-2011 à 20:10:06
Je pense pas qu'il y ait un quelconque souci sur ton NAS du coup. A mon avis avec un pc plus costaud en face tu pourras avoir de meilleurs débits.
Par curiosité, c'est quoi comme config et chipset réseau ton portable ?
Marsh Posté le 01-02-2011 à 21:53:56
ccp6128 a écrit : Je pense pas qu'il y ait un quelconque souci sur ton NAS du coup. A mon avis avec un pc plus costaud en face tu pourras avoir de meilleurs débits. |
c'est un HP Probook 4520s http://www.microcity.be/webshop/pr [...] 7P-MB.html,
Parcontre moi j'ai un Realtek RTL8111/8168B Gigabit Ethernet et un Core i3 370M et bientôt 8 Gio de ram.(D'ailleur si tu as des conseils sur des trucs à mettre en ram pour booster le tout )
Marsh Posté le 18-04-2011 à 23:38:43
Sur le NAS, tu pourrais quand même faire un lvdisplay rapide ? ça ne pourrait pas faire de mal d'y jetter un oeil rapide, surtout le paramètre readahead qui peut effondrer les perf' (mais en lecture uniquement).
Marsh Posté le 31-01-2011 à 11:27:59
Bonjour à tous,
J'ai monté il y a maintenant 3 semaines un serveur de fichier à base d'une Gigabyte GA-D525 TUD et 3x 1To en raid 5,
J'ai donc mon raid qui turne sous mdadm et un lvm dessus, mais mes debits en lecture et écriture depuis le réseau (Gb/s) sont de l'ordre de 25 - 30 Mo/s. (en test hdparm j'ai 125Mo/s sur la grappe) et en
Quelqu'un a-t'il une idée d'où celà peut provenir?
Thanks
WiGi