Bonjour.
 
Je travaille depuis peu au sein d'une équipe dans laquelle nous faisons des simulations cosmologiques (formation des galaxies etc...). Compte tenu des budgets et du caractère très "teraocti-vore" de ces simulations nous sommes en train de rechercher le meilleur compromis possible entre sécurité des données, quantité et prix. Nous souhaitons à tous prix éviter de nous faire "arnaquer" par des professionnels sous prétexte que c'est un marché pro pour avoir finalement des performances proches de ce que l'on pourrait bricoler pour un prix divisé par 10... Je pense que certains ici ont une bonne expérience de ce genre de chose.
 
Précision :
- Volume de stockage recherché : typiquement entre 20 et 100TO
- Norme : SATA II ou III
- Pas besoin d'une rapidité démentielle en temps d'accès
 
Bref, quel est le meilleur compromis dans 2 situations différentes :
1) celle où l'on ne cherche qu'à acheter des disques
2) celle où l'on veut un système complet
 
P.S. : je me demandais aussi ce qu'utilisent concrètement les services de stockage grand public en ligne (histoire de savoir).
 
Merci beaucoup  

Généralement on sépare le stockage du reste.
 
Tu stockes sur un SAN ou un NAS (c'est leur boulot le stockage) et tu utilises tes grosses stations de calcul pour faire leur boulot, le calcul.
 
Après tu remontes ton stockage sur ta station en fiber channel pour le san (cher !) ou en iscsi pour le nas (plus raisonnable). L'OS ne fera pas la différence avec un disque en local.

mais bon, je ne suis pas sûr qu'il y ait des nas capables de supporter autant de stockage ! (100To c'est quand même 50 disques de 2To !)

ha ben si, il y a chez dell notamment..

Je te conseille de regarder du coté de NexentaStor, il existe une version gratuite sans support.  
 
Ca fonctionne très bien, c'est performant et ça te permet de monter tes nas/san toi même avec du matos conventionnel.
 
De plus tu as les avantages du zfs (déduplîcation/compression).
 
Hésite pas à me contacter si besoin

Ouaip, mais c'est pas conventionnel un système de stockage avec une 50aine de disques...

Boaf, sur mon installation avec une simple carte sas et un expander, j'ai déjà 35 disques répartis sur 2 boitier (un norco et un chembro). A cela, tu rajoutes des baies JBOD et le tour est joué (j'avais rajouté 2 MSA70 la semaine dernière, ça se fait sans problème avec le chainage du Sas).
 
Après faut surtout déterminer le besoin en terme de sécurité et de RTO.  
 
J'ai cité NexentaStor car ce système comporte une interface aisée; après tu peux partir sur une distrib linux ou windows et te monter un gros serveur de fichier comme ça.  
 
Par contre, si tu veux de la HA, un système type NetApp/Emc/autres s'impose...

... se rapproche des professionnels, car derrière il y a aussi des marchés.
Bref : non au bricolage (du moins en France) pour ce qui est du domaine de l'Etat.
 
Seul solution viable (humm, marché, Etat...) en bricolage : créer soit-même le stockage en faisant faire du sur-mesure, après études et tout (beuhh ). Exemple chez blackbaze, 67To pour 8000$.
 

 
@Buen : la fonction d'édition tu connais ?

Pour la comparaison avec blackbaze, ce que je propose est clairement un équivalent...
 
Par contre, quitte à monter un truc comme ça, faut partir sur un boitier Norco, ou mieux Supermicro et des expander Sas, ça permet de sacré économies.
 
Supermicro à des boitiers pour 48 disques par exemple, à cela, tu rajoutes les disques, une carte mère, carte réseau etc et tu as un système complet et performant. En terme de sécurité, par contre, pas de HA et il te faut de solide connaissance pour entretenir le truc et le faire vivre
 
(encore que pour un labo, mettre en place ce genre de solution ne me choque pas)

à mi-chemin entre les grands constructeurs et le sur-mesure, tu as qques sociétés spécialisées qui te font ça : http://www.dataswift.fr/stockage/hercule/
 
dataswift bosse déjà avec des entreprises publiques et a un temps travailler avec "une société de streaming vidéo qui s'est fait racheté", ils ont de bonnes références
 
je parle de cette société parce que je connais qqun là bas, mais l'idée est de regarder du côté des petits constructeurs/intégrateurs, tu trouveras peut-être ton bonheur

Rien n'empêche dans le cadre d'un marché d'acheter du matériel (avec certaines caractéristiques bien définies, pas de marques dans un mp) et de faire le montage/installation sois-même (ou même de séparer le matériel de la prestation d'installation/paramétrage en 2 lots).
Ce n'est pas parce qu'on est fonctionnaire qu'on ne sait rien faire à part publier des marchés publiques !

Oui mais j'ai pas envie