Architecture HPC - Réseaux - Systèmes & Réseaux Pro
MarshPosté le 16-03-2010 à 21:59:48
Bonsoir,
Je viens poster ce message car j'aurai besoin de feedback sur et autour de l'architecture HPC.
Voila la situation actuelle, je distribue via un serveur central des données en NFSv3 avec automontage NIS à des serveurs de calculs sur le même vlan.
Je constate de grosses lenteurs sur mes simulations (il n'y a pas de job scheduleur, tout se lance à la mano)
Après avoir écumé le net et pris beaucoup d'informations, j'ai eu confirmation de ce que je pensais, mon architecture n'est pas adaptée à mes besoins.
De base, je pense que je dois m'orienter vers un cluster de mes serveurs de calcul reposant sur le même OS. avec un serveur frontal distribuant les simulations aux nodes.
Cette ferme serait reliée en infiniband par exemple afin de disposer de bande passante importante avec un taux de latence extrêmement faible.
Les données seraient déplacées sur un SAN (ou éventuellement une baie ISCSI en raison du budget....) avec liaison sur l'ensemble des nodes.
L'ensemble m'offrirait un débit constant et performant là ou mes exports NFS saturent mon réseau et provoquent des goulots d'étranglement.
Là où Je m'interroge par contre, c'est au niveau du gestionnaire de fichiers car si RH propose du GFS, j'ai eu plus d'avis positif sur Lustre. J'ai aussi survolé PVFS...
J'ai lu qu'un scheduler de job style Torque/Maui permettrait de simplifier la vérification de l'usage des serveurs et d'optimiser les calculs.
Voila où j'en suis en ce moment mais si il y a parmi les personnes du forum des connaisseurs sur les différents point que j'ai évoqué, je suis preneur de leur expérience et conseil.
Marsh Posté le 16-03-2010 à 21:59:48
Bonsoir,
Je viens poster ce message car j'aurai besoin de feedback sur et autour de l'architecture HPC.
Voila la situation actuelle, je distribue via un serveur central des données en NFSv3 avec automontage NIS à des serveurs de calculs sur le même vlan.
Je constate de grosses lenteurs sur mes simulations (il n'y a pas de job scheduleur, tout se lance à la mano)
Après avoir écumé le net et pris beaucoup d'informations, j'ai eu confirmation de ce que je pensais, mon architecture n'est pas adaptée à mes besoins.
De base, je pense que je dois m'orienter vers un cluster de mes serveurs de calcul reposant sur le même OS. avec un serveur frontal distribuant les simulations aux nodes.
Cette ferme serait reliée en infiniband par exemple afin de disposer de bande passante importante avec un taux de latence extrêmement faible.
Les données seraient déplacées sur un SAN (ou éventuellement une baie ISCSI en raison du budget....) avec liaison sur l'ensemble des nodes.
L'ensemble m'offrirait un débit constant et performant là ou mes exports NFS saturent mon réseau et provoquent des goulots d'étranglement.
Là où Je m'interroge par contre, c'est au niveau du gestionnaire de fichiers car si RH propose du GFS, j'ai eu plus d'avis positif sur Lustre. J'ai aussi survolé PVFS...
J'ai lu qu'un scheduler de job style Torque/Maui permettrait de simplifier la vérification de l'usage des serveurs et d'optimiser les calculs.
Voila où j'en suis en ce moment mais si il y a parmi les personnes du forum des connaisseurs sur les différents point que j'ai évoqué, je suis preneur de leur expérience et conseil.
Merci de vos retours.