Bonjour à tous,
 
J'aurais besoin de vos lumières concernant la future architecture SAN que je souhaite mettre en place
 
Le besoin: - Héberger une quarantaine (50?) de VM, a priori rien de très gourmand de type Database ou exchange
              - Base ESXI + Vsphere
 
Mon idée de base:
 
- 2 DELL R900 avec 64gb de RAM
- 2 Switchs gigabit
- 1 SAN ISCSI DELL MD3200I
 
Maintenant les questions:
 
- Pensez vous qu'un seul SAN soit suffisant pour héberger 50 VM ? Une solution à 2 SAN serait elle préferable?
 
- Le choix du ISCSI est dicté par des raisons de couts bien évidement, devrais-je également étudier la solution fibre au vu de mes besoins?
 
Je suis preneur de tout propositions ou information étant novice dans le domaine
 
Merci !!

Au niveau serveur :
- je vois pas l'intéret d'un R900 plutôt qu'un R810 ou R710
- pense au nombre de carte réseau, par défaut il y en a 4, dont déjà 2 mini utilisées par le iSCSI (voit si 2Gbps d'IO max sont suffisant, sinon il te faudra encore plus), sachant qu'il te faut des cartes pour le management, pour la communication des VM, pour le vmotion/livemigration
 
Voit si ça vaut pas le coup vu le nb de VM de prendre des cartes/switch 10Gb.
 
Sur le SAN tu as je crois 4 NICS/controlleur, soit 8Gbps.
 
Par rapport aux IO, calcule le nb d'IO que tu as de dispo par disque, en fn du RAID que tu feras et voit si par VM c'est suffisant ou pas.

Hello,
 
Tu dis rien de très gourmand et pourtant tu auras le pire pour un stockage, des bdd transactionnelles.
N'oublie pas que tes 50 VM pourront nager dans tes R900 mais si les I/O du SAN ne sont pas suffisant, ca ne servira tout simplement à rien.
 
Pour 50VM et des BDD, je partirais directement en fiber channel pour avoir le taux de latence le plus bas possible.
La seule chose à ne pas faire, sous-estimer le système de stockage dans ton cas. Si tu veux être sûr, il faudrait pouvoir analyser 1-2 mois votre système actuel pour pouvoir dimensionner correctement le SAN.
 
Franchement, je pense que le MD3200 va être complètement sous l'eau
Perso, je partirais au minimum sur un EqualLogic PS6000 avec des disques qui tiennent la route.
 
Je te dis celà car beaucoup de boites se sont faites avoir avec les BDD. Elles ont sur-dimensionné les serveurs mais ont totalement sous-estimé les besoins en I/O et latence pour les BDD un peu velues.
 
Autre point noir que je vois, le seul SAN. Tout sera sur lui. Si il lui arrive quelque chose, tu es dans la m... jusqu'au cou.
Je pense que tu feras des backups mais ou vas-tu les restaurer si le SAN tombe ? Je ne sais pas si tu y a déjà pensé.
Un NAS qui doit recevoir 50VM et des BDD sera sous l'eau après la 4ème VM démarré.
 
Voilà ce que j'en pense et surtout les points à faire très attention. Peut-être qu'il me manque des infos pour être plus précis.
 
A+
Jack

Oups, je crois que j'ai mal compris ta 1ère phrase sur les bdd et Exchange
 
Si rien de lourd au niveau I/O, je pense que ce que tu veux tiens bien la route. Les R900 sont peut-être un peu gros mais si tu as le budget... vaut mieux prévoir avant.
Le MD3200 me semble quand même petit, à toi de voir selon vos besoins.
 
Je@nb à raison, bourre ton serveur de cartes réseaux. Avec 50VM ca commence à faire pas mal et il faudra un VLAN pour le iSCSI, une sortie pour le managment, une pour le vmotion, etc, etc... et tout celà avec du failover.
 
Désolé pour ma première réponse, j'ai lu ta phrase à l'envers.

 
Nous avons déjà un R900 et prendrions un deuxième
Au niveau des cartes réseau je n'ai pas encore etudié la quantité d'interfaces nécessaires mais je pense qu'il en faudra  8 (2 dédiées au stockage --> agrégation de lien?, 1 pour le vmotion, 1 pour le management, 2 sur le réseau de prod et 2 sur le réseau de dev)
 
Le 10gbits revient quasi au meme tarif que la fibre non?
 
Je vais faire des mesures sur mes serveurs pour etre sur du nombre d'I/O nécessaires
 

 
Je disais que je n'avais PAS de VM gourmandes en ressources de type BDD ou Exchange
 
 

+1 pour le stockage
C'est le 1er piège de la virtualisation : sous-estimer le stockage
Le mieux est de regarder le besoin en IOPS de tes VM et de prendre un stockage en fonction
D'une manière générale il faut regarder le besoin en ressources pour tes VM de manière cumulées : CPU, RAM, réseau, IOPS
 
L'intérêt d'un R900 c'est d'avoir beaucoup de slot DIMM et d'emplacement pour les HDD car gros châssis, du coup je te conseillerais plutôt un R710 ou un R610 vu que tout sera sur ton stockage partagé, et que tu n'as pas besoin d'une énorme quantité de RAM.
Si tu pars sur du VMware, installes un noyau ESXi (ESX va être abandonné) sur la carte SD, ca te permettra d'économiser le contrôleur RAID et les disques pour le système.
 
Au boulot j'ai ~100VM qui tiennent sur 4xR610 avec 64Go de RAM, et ESXi installé sur la carte SD, vu que toutes les VM sont sur une baie Equallogic

Tu utilises quels type de baie equallogic?

j'ai 2 baies PS6000XV
Au niveau connectique, pour chaque noeud ESXi, j'ai 4 ethernet pour le stockage, 1 pour VMotion, 3 pour les VM et l'admin
Total = 8 ports ethernet (4 venant du châssis, 2 cartes ethernet dual port)

Voici des shémas de l'architecture et cablage que je prévois
Est-ce juste?
 

 

Est il possible d'utiliser 2 ports pour le stockage, en aggrégation de lien, soit 2*1GBPS au lieu d'un ?

dans ta connectique, ce qui ne va pas c'est le VMotion qui n'a pas à être connecté au stockage
 
pour ce qui est de l'agrégat, ca dépend de l'OS et de la baie : sur du VMware tu es capable de faire du MPIO de différente manière (round robin, fixed..) mais il faut que la baie soit également capable de le faire
 
voilà ce que je te conseillerais :
- VMotion sur un VLAN
- si tu peux faire du MPIO avec ta baie, tu mets tous les ports ethernet de ta MD3200i sur le réseau de stockage (i.e. rien sur le LAN)
Pour la gestion de la baie tu mets une VM ou un poste de travail sur le réseau de stockage
Chez moi j'ai fais mieux : j'ai mon serveur de backup qui a une patte est sur le réseau de stockage et une patte sur le LAN, et j'ai fais des redirections de ports TCP pour gérer le SAN (supervision, interface web et ssh)

Shéma édité
Et 1er post également j'avais oublié de préciser que la base logicielle etait Vmware ESXI + Vcenter

couak, le MD3200 ne te sembles pas très limite pour ce qu'il veut faire ?

limite... ca dépend de l'utilisation y'a un post sur le forum de VMware qui parle de la MD3200i : http://communities.vmware.com/thre [...] 0&tstart=0
Il obtient avec un RAID 10 (12 disk 10K SAS) : 1900.898 IOPS / 14.85077 MB/s
Par contre il a l'air d'avoir des soucis pour le MPIO

Ok, intéressant, je pensais ce SAN plus "lent" que ça

 
Ca fait pas un peu léger 14.85077 MB/s ??
 
Je vais de ce pas lire ce qu'il en retourne

couak --> Tu as une idée des tarifs des PS6000XV, je vais contacter Dell sous peu mais ca me donnerait déjà une idée

c'est plus compliqué que ca... pour résumer tu as dans le stockage :
- la capacité à faire des IOPS (des I/O par seconde), à laquelle on ajoute la répartition lecture/écriture
- la bande passante (quantité de données à transférer par seconde)
 
Si tu t'amuses à faire une lecture séquentielle, tu vas sûrement avoir peu d'IOPS (car séquentiel) réparti en 100% read / 0% write, mais une grosse bande passante (genre 200Mo/s)
Si tu t'amuses à requêter une base de données ou une messagerie dont les données sont stockés un peu n'importe où, tu vas avoir besoin de faire beaucoup d'IOPS aléatoires en lecture et écriture, mais tu n'auras --pas forcément-- besoin d'une grosse bande passante
Ensuite en fonction de tes disques (connecteur, vitesse de rotation...) et de géométrie du RAID sélectionnée, tu auras des avantages et des inconvénients en terme d'IOPS et de BP
Par exemple, pour (disons) 6 disques, en théorie le RAID10 sera plus rapide en écriture que le RAID5 (à cause du calcul de parité à chaque écriture)
Mais inversement, comme la lecture est parallélisé sur le RAID5, cette géométrie sera plus rapide en lecture que le RAID10
 
Moralité : tout dépend de ton utilisation, le mieux est de faire un perfmon cumulé sur toutes tes machines qui seront sur le stockage, et en fonction des résultats tu choisis ton stockage
Sur le forum de VMware tu as énormément de gens qui post des tests de perf. de leurs baies : http://communities.vmware.com/thread/197844?tstart=0
 
Sinon j'ai une MD1200 au boulot, j'ai fais un test de perf. ici : http://forum.hardware.fr/hfr/syste [...] htm#t77594
Il y a plusieurs types de charges simulées, tu vois par exemple qu'un serveur mail type, on est dans des IOPS aléatoires avec une proportion 60% read 40% write

Le prix des baies de stockage sont un secret de polichinelle, en fonction de la tête du client
De plus les constructeurs demandent aux clients qui ont eu une grosse ristourne de garder le tarif secret...
Le mieux est que tu exprimes ton besoin en fonction des tests d'IOPS et que tu fasses jouer la concurrence avec les réponses reçues

RDV pris avec le commercial Dell cette aprem
 
Quel type d'indicateur utiliser dans le perfmon?  
Par exemple pour les disques, un "E/S partagées/s est il pertinent?
 

ca fait bizarre en français... en regardant avec mon XP je vois :
- écritures disque/s
- écritures disque, octet/s
- lecture disque/s
- lecture disque, octet/s
 
Ca te permet de mesurer les IOPS écriture, bande passante écriture, IOPS lecture, bande passante lecture
Avec quelques formules dans excel, tu pourras en tirer des IOPS (lecture+écriture), la proportion lecture/écriture, la bande passante nécessaire

Ok merci beaucoup!
J'ai lancé quelques perfmon sur mes principaux serveurs afin d'avoir une idée plus précise des besoins

J'ai eu le commercial Dell qui m'a proposé des solutions DAS, cela peut etre une piste à suivre
 
Il m'a pas mal parlé des Equalogic PS4000 également, par contre j'ai encore du mal à bien cerner la différence par rapport au MD3200I si ce n'est la suite logicielle a priori plus complete sur l'equalogic

Attention aux commerciaux ! ils te vendent en fonction des objectifs (qui varient en fonction des stocks, de la capacité de production, etc.)
Le mieux est d'avoir un interlocuteur technique pour échanger les points de vues techniques, plutôt que le commercial
 
Le PS4000 est un entrée de gamme chez Equallogic
Après la différence entre un tiroir disques et un SAN réside dans les logiciels, le support apporté, et les performances
Sur une gamme de SAN il y a eu du développement pour tirer un maximum de perf. (répartition sur les disques, caching, etc.) et en cas de pépin tu as le support, une communauté d'utilisateurs, et des outils pour analyser
Après c'est sûr tu y mets le prix, mais c'est plus rassurant de savoir que la gamme sera supporté et mis à jour, et que tu es capable d'analyser et de voir ce qu'il se passe avec une finesse jusqu'au disque près.
Quand j'ai commencé à avoir des doutes sur les perfs d'un serveur, impossible de savoir si c'était la MD1200 qui était en cause.
Contrairement à un SAN où tu es capable de voir la moindre contention disques avec les capteurs (nombre d'I/O sur tel disque, sur tel grappe RAID, taux d'utilisation de tel interface réseau, etc.)
 
Tu peux t'orienter vers du DAS si tu n'as pas de besoin en tolérance de pannes (que tu peux avoir avec VMotion) ou de besoin en stockage partagé
Si tu pars sur un DAS, tu peux tenter des solutions software qui les transforme en SAN/NAS et qui ont de bon retours, comme Datacore SanSymphony.

Je suis pas un spé Dell mais d'après moi :
 
Avantages MD3200i :  
Prix : il faut compter 6K€ pour une étagère controleur sans les disques
Souplesse : on peut mixer SAS/SATA dans la même étagère, ajouter des disques à la volée.
 
Avantages EQL :
- Idéal si besoin de faire de la réplication distante / mise en place PRA
- Thin provisioning
- Perfs qui ne diminuent pas au fur et à mesure de l'ajout de nouvelles étagères (archi cluster de stockage)
- Pas de couts cachés logiciels (à la NetApp), tout est compris
- Support des VAAI Vstorage Offloads
- Tiering du stockage automatisé (pas très évolué toutefois)
 
Niveau prix il faut compter dans les 12K€ (avec remise standard dans les 40 points accordée par Dell)

 
J'ai eu un avant vente qui avait l'air de maitriser son truc sans nous pousser vers telle ou telle solution
 
 
Au niveau de la techno je pense que je vais m'orienter vers le ISCSI, plus évolutif
 
Maintenant l'hésitation se fait entre la MD3200i et l'entrée de gamme Equallogic PS4000XV, les prix vont du simple au double
Les 2 seront blindés en 600GO SAS 15K
 
Mes besoin en I/O sont de l'ordre de 25IOPS / machine en moyenne (haute) réparties en 50/50 et de 1MB/S / machine (moyenne très haute)
J'ai 50 machines, donc dans les 1250IOPS et 50MB/s
 
Je me suis servi de VEEAM monitor pour obtenir ces chiffres
 
En créant 2 Raidgroup de 8 disques en RAID 10 (et 3 LUN par Raidgroup) je peux esperer dans les 850IOPS théorique en 50read/50write par Raid group
Si mon raisonnement est bon et en répartissant mes VM sur les 2 raidgroup j'ai de la marge
J'utiliserais 2 ports pour le stockage (juste 2 ports sur les PS4000) sur les SAN soit 2x 1Gbps
 
J'ai fait un nouveau shéma de cablage :
 

qqun a fait des tests de perf. sur une PS4000X ici : http://communities.vmware.com/message/1432322#1432322
Avec une PS4000X tu devrais tenir en IOPS et bande passante. Si tu fais du jumbo frame y'a moyen d'augmenter encore
 
Par contre tu ne contrôles pas les raid group dans une equallogic, tu spécifie le type de RAID et il se débrouille. Si tu as 16 disques et que tu décides de faire du RAID5, il va automatiquement créer un RAID50 sur 14 HDD avec 2 HDD en hotspare
Ensuite tu tailles des volumes (équivalent des LUN) dedans que tu vas présenter à VMware
 
Sinon ouais, avec la récolte de l'utilisation, tu peux choisir beaucoup plus sereinement un bon stocakge

Ah d'accord, je n'était pas au courant de cette subtilité sur les equallogic
J'éspère juste avoir bien interpreter les résultats présentés par Veeam monitor
En tout cas merci pour tout ces précisions, cela m'a pas mal aidé!
Je reviendrais surement avec d'autres questions

si tu pars sur de l'equallogic et que tu configures le tout toi-même, je te conseille ce document : http://en.community.dell.com/dell- [...] nload.aspx
 
cela te permet également de comprendre la connexion en iSCSI avec VMware (MPIO, Jumbo frame, etc)
 
tu peux aussi repasser pour dire où en est ton projet, pas forcément revenir qu'avec des questions

 
Merci pour le doc
 
Je ferais, bien evidement un feedback de l'avancée !

fais appel a des integrateurs , plus qu a des constructeurs. ils t'accompagneront sur le sizing.

Je reviens faire une petit suivi de l'avancée de mon projet
J'ai demandé des devis à Dell concernant la PS4000XV, leur premier devis est largement au dessus de ce que l'on attendait
Quel NAS SAN pourrait concurencer la PS4000 ?

connaît pas de NAS... côté SAN tu as le HP P4000 (ex LeftHands), ou prendre un SAN logiciel couplé à du hardware style Datacore SANSymphony
D'autres personnes pourront lister d'autres stockage de même gamme (boobaka et autres, si vous passez par là...)

Je voulais bien sur parler de SAN.. j'ai édité mon post
Je vais regarder du coté de chez HP

Netapp peux concurrence un Ps 4000 avec sa gamme 2020 ou Nexsan Sata Beast ( moins pourvu en fonctionnalités )

Si tu es intéressé par HP, pense à la P2000 G3 qui est une bonne alternative économique aux PS4000XV de Dell.

DELL nous a fait des offres sympa pour des PS4000xv
 
Du coup on va partir sur:
 
-  Deux PS4000XV --> 16*300 SAS 15K
 
- Deux R710 --> 2*X5650, 64GO RAM 1333, 2*Broadcom dual port  
avec TOE et déchargement iSCSI, 2*146 SAS, alim redondante 870w
 
-Un R900 que l'on a déjà, 32GO RAM
 
- Quatre switchs 5524
 
-Un R515 en serveur de backup avec 6TO de disque avec Veeam backup
 
- Un R610 pour Vcenter
 
-Un 2950 avec 6 TO de disque pour dupliquer les backups sur un autre site
 
 
- License Vmware Essentials Plus et Veeam Backup
 
Les 4 switchs font patie de l'offre de Dell (1 baie + 2 switchs) je ne sais pas ce que l'on va en faire pour le moment, on n'en avait prévu que 2

Voilà un aperçu de la future infra :
 

 
Et ici un aperçu du cablage:
 

 
 
Si vous avez des remarques je suis preneur !!!  

oui : remplace tes R710 par des R610 et ne prends pas de disques internes mais plutôt l'option "carte SD" pour y installer un noyau ESXi plutôt que ESX
 
j'ai des R610 avec 20VM de production sur chaque hôte, ca consomme à peine 75W/h

Pour les disques internes mon responsable préfère donc on laisse comme ça
Entre R610 et R710 les prix sont équivalents et pour une qustion de dissipation de chaleur mon responsable les préfères également ;-)