Salut
 
petit projet, assez modeste....
 
J'ai besoin d'un max de puissance.
Oubliez Crysis, c'est misérable par rapport à ce que demande mon modèle météo.
 
Actuellement, je tourne avec un serveur de chez IBM :
14 blades, pour un total de 28 processeurs et 112 Gigas de RAM.
 
La bête :

 
Sauf que c'est du vieux matos pas très performant.
~ 3500 à 4000 W de conso électrique. Donc des supers gros ventilos pour évacuer la chaleur, et un bruit de boeing 747.
 
J'ai du y construire un caisson insonorisé exprès, avec évacuation de la chaleur direct dehors.
Diamètre intérieur des gaines : 250 mm !

Ma facture EDF est monstreuse.
 
J'ai donc décidé de passer sur du matériel un poil plus récent, moins énergivore.
 
 
Config de base :
- Core i7 3820
- ASRock X79 Extreme4-M
- 4*2GB DDR3 1600 2133 MHz CL9  G Skill Ripjaws
- alim Antec Earthwatt, 80plus bronze.
 
pas de disques dur, ni de carte graphique. inutile pour cet usage. (juste un SSD pour le master node)
 
ça me sert à rien non plus d'avoir pleins de cores. Ce qui bloque, c'est de la bande passante mémoire. Le 3820 est quad channel, un pour chaque core : c'est parfait.
 
Bien sur, j'en ai besoin de plusieurs. Je n'ai pas calculé combien exactement. J'ajouterais au fur et à mesure.
 
pour l'instant, j'ai pas prévu d'overclocker. J'y connais pas grand chose, et mon souci principal souci c'est justement la conso électrique. (cela dit, si il y a un moyen d’accélérer un poil la rame sans trop bouffer d'électricité en plus, je suis preneur)

Il va aussi me falloir un boitier pour loger tout ce matos.
 
Et dans ce domaine, il y a une réfénce.
 
HELMER Caisson à tiroirs sur roulettes - IKEA
http://www.ikea.com/fr/fr/catalog/products/00107874/
 
On va le prendre en rouge, c'est plus fun.
 

 
 
La dedans, on peut caser 6 configs en micro-atx. Et croyez-moi, c'est du sur mesure !
 
Cherchez "helmer cluster" sur google.
 
 
pour l'instant, proto avec 2 PCs
à quoi ressemble le truc complet :
 

sur la droite, c'est un switch Infiniband 19".
 
 
le boitier Ikéa, aux mensurations parfaites... La carte mère micro-atx rentre pile poil. pas un mm de jeu.
(notez l'adaptation maison pour la carte infiniband)
 

 
 
 
l'agencement intérieur.
encore un peu de ménage à faire au niveau des câbles d'alim. j'ai déjà raccourci le connecteur 24 broches.
 

 
 
backside :
(quand je vous dis que ce boitier est génial)

Donc maintenant, le sujet qui nous intéresse :
 
des i7, ça chauffe ! surtout s'il y en a plusieurs.
la mode "navette spatiale" dans la chambre (cf tuyaux ventilation), c'est cool, mais si on peut éviter...
 
on va donc faire un bon gros watercooling !
 
 
LE RESERVOIR
 
J'ai pas pu prendre un réservoir classique. Il me faut un gros diamètre pour les connexions.
Donc fabrication maison, encore une fois à base de ikéa et d'un peu de plomberie.
 
avant :
http://www.ikea.com/fr/fr/catalog/products/90166736/

 
après :
(la fixation "sandow" est temporaire.)

 
 
LA POMPE
 
Il faut à la fois une pompe puissante et robuste. N'oublions pas que nous allons refroidir une dizaine de CPU.
 
La solution ultime : un circulateur de chauffage central. 60 € à bricoman.
Débit à volonté et réglable avec 3 vitesses. Il y a de la patate !
 

 
 
 
DISTRIBUTION
 
Maintenant, va falloir envoyer tout ça aux waterblocks. Comme j'ai un gros débit, je fais un circuit en parallèle.
 
Une vanne à chaque fois, histoire de faciliter le démontage. Pour la connexion aux tubes, j'utilise des embouts prévus pour le PER. C'est pile-poil la bonne taille.
 

 
 
 
WATERBLOCK
 
Des EK Suprem LTX. 35 € pièce, compatible LGA2011. Que demander de plus ?
Raccords coudés à cause du manque de hauteur.
 
(je sais pas trop à quel point il faut serrer les écrous à ressort?)  
 

 
 
RADIATEUR  
 
Je recherche l'efficacité, pas le design : Un radiateur moteur de SKODA, cuivre, 490*285*34mm,
 
Pas envie de bricoler dans de la vielle graisse. Alors 68 euros neuf chez oscaro.
http://www.oscaro.com/radiateur-du [...] 7292-470-p
 
Plus qu'à attendre le facteur..
 
Il sera placé à l'extérieur de la maison en été, et à l'intérieur en hiver (= chauffage gratuit).
 
J'y collerais surement un ventilo. On verra au moment venu
 

 
LES TUYAUX
 
Pour le circuit commun, tuyau de jardin en 19mm. la classe ! (trouvé que ça...)
Pour les waterblock : Feser 10/13 mm
 
LIQUIDE
 
Eau déminéralisée + HydrX pour la corrosion. (le circulateur est en ferraille. C'est pas génial. va falloir surveiller.)

voila pour ce soir.  
 
c'est mon premier watercooling, donc n'hésitez pas à donner votre avis  
 
ça fait quelques heures que l'eau tourne, et pour l'instant pas de fuites...  
 
les autres news et les perfs, dès que je reçois mon radiateur.

Ahh, voila le genre de projets que j'aime.
 
J'avais envisagé un watercooling avec un radiateur de voiture pour ma bécane de jeu (et un bon gros radiateur de Corvette, question d'ajouter un peu au côté délirant).
 
Du coup je vais suivre ton projet, qui est beaucoup plus dans mes cordes. (pas bling bling, mais maous costaud et DIY )

Sympa ton idée, je vais suivre l'avancé avec curiosité.
 
Mais si le principal c'est la bande passante, pourquoi ne pas acheter de la RAM @ 2133 MHz ?
 

 
Non, il suffit juste de bloquer le ressort, ça veut dire que la force requise par EK est atteinte. C'est pour éviter que certaine personne explose CPU ou CM!

 
j'ai lu la doc doc d'intel :
http://ark.intel.com/products/6369 [...] -3_80-GHz)
 
ils ont l'air de dire que ce CPU supporte la DDR3-1600 au max.
du coup il serait inutile de mettre des barrettes plus rapide, non ?

MER IL EST FOU    
 
 

Aaaaannnnnnnnnhhhhhhhhh
 
Putin du matos pro pour faire mumuse ...
 
Du water home made fait et penser en deux et trois secondes !
 
Mais j'aime bordel !
 
Sans parler du Ikea la dedans !
 
Je drapalise à fond.

+1... projet de malade
 
j'ose même pas imaginer le prix total des 14 blades

    Ce projet de fou !!!
 
Je drap aussi.
 
Pour le serrage des waterblocks, EK recommande de les serrer en croix et à fond jusqu'à la butée tout simplement, c'est ce que j'ai fait sur le mien (aussi I7 3820) et aucun souci

Oh le truc de malade !    
 
Ce genre de projets de fou furieux, j'adore  

 
Inutile non, il n'y a pas de réel limite.
 
Regarde mon CPU : http://ark.intel.com/products/5221 [...] _80-GHz%29
 
D'après INTEL il ne supporte pas grand chose, pourtant j'utilise de la 2133 MHz sans soucis.

C'est du Mhz réel je crois, soit 1066Mhz

 
Donc son i7 qui d'après Intel supporte de la DDR 1600, supporterai de la 3200 MHz commercial.
 
 

j'y mets ça alors ?
 
G.Skill RipJaws Z Series 8 Go (4 x 2 Go) DDR3 2133 MHz CL9
http://www.ldlc.com/fiche/PB00123165.html
 
faudrait que je fasse un bench, voir ce que ça m'apporte
 
sinon, pour 30€ de plus, j'ai 16Go, mais en CL11.
ça change vraiment quelque chose ?
 
http://www.ldlc.com/fiche/PB00116621.html
 
 
sachant que pour des raisons évidentes de conso électrique, je ne vais pas overclocker les CPU

Si les 16 Go te sont utiles pourquoi pas oui.
 
Entre CL9 et CL11, il y aura une différence niveau latence (quelques ns) mais pas niveau de la bande passante (enfin si très légèrement).
 
 
Dans le doute, regarde quand même dans le bios si avec ta carte mère tu peux choisir le ratio 2133 MHz.
 
 
PS: Je vais te faire un screen avec un benchmark RAM (CL9 et CL11).
 
CL9:

 
CL11:

 
 
Ca rejoint se que je dis plus haut.

j'ai trouvé mon bonheur :
 
http://www.hardware.fr/articles/81 [...] mings.html

Barby, ton CPU supporte pas plus que 4,50Ghz @ 1,38v ?
 
Thx pour le lien

du coup je viens de commander G.Skill RipJaws Z Series 8 Go (4 x 2 Go) DDR3 2133 MHz CL9  
 
et je renvois la 1600MHz
 
 
et puis ça me laisse de la place pour évoluer. Quand j'aurais des plus gros besoins, on y mettra 16Go en 2400MHz. d'ici là ça coûtera un peu moins, j'espère.

loool pas mal le projet !
 
C'est quoi ton modèle météo que tu fais tourner ? Pour quelle pratique ?

Si si, il approche les 5 GHz.

Mais CPU-Z me donne 1.38V, c'est vrais que c'est bizarre  

nom de zeus,quel truc de fou^^ca change des machines a bencher qu on voit en general^^ca fait plaisir tu fais du modele météo si j ai bien compris?

ton rad il sera en passif?sinon tu vas y mettre quoi comme ventilo?

Drapal ! Juste un mot à dire : vive Ikéa

 
pour l'instant je peux pas trop en parler. c'est un concept totalement nouveau.
ce qui est certain, c'est que ça vaut largement le coup d'investir dans tout ce matos.
 
 

 
pour le radiateur, je sais pas encore trop.
j'attends déjà de le recevoir..
 
le système est pensé pour être évolutif. Avec 2 PCs, ça devrait le faire en passif. Mais avec une dizaine faudra surement un ventilo.

Drap projet super intéressant et de fou surtout

je veux voir l'avancement aussi,  

pourquoi prendre des i7 3820 et pas un autre model ayant un meilleur ratio performance/watt ?

 
parce que c'est ce modèle qui m'offre le meilleur ratio performance/watt...
 
pour mon application, la performance = bande passante mémoire. J'ai besoin que d'un core par canal mémoire. Plus, ça ne m'apporte rien, mise à part une plus grosse conso électrique.
 
il y a trois familles de processeurs en quad channel :
- AMD Opteron 6200
- Xéons E5-2600
- i7 3820
 
Les opterons sont introuvables en france, et pas très performants.
Les Xéons sont hors de prix. Meme s'il sont plus économes, ils ont une fréquence cpu et ram moins rapide. Donc moins de bande passante.
Reste plus que le i7.
 
Quand à prendre deux dual ou triple channels, ça bouffe encore plus de watts.
 
Sachant que le TPD est calculé pour un "worst case scenario" : toutes les fonctions du chipset activée. donc en éteignant tout les trucs inutiles genre USB3 et compagnie dans le bios, je devrais encore gagner quelques watts.

Puis tu peux même baisser légèrement la fréquence CPU et baisser le vcore !

yes, vive l'underclocking !
 
et attendez de voir les cartes graphiques que j'ai commandé hier...

 
je croyais que tu ne mettais pas de cgs pour ton cluster ? sachant qu'il y a le chipset graphique intégré au proc ça doit suffire ?

 
En effet autant pour moi  

effectivement, rien d'intégré.
 

oui, mais en fait j'ai réfléchis qu'il en fallait une même une.
comment je règle les problèmes sinon... du coup j'y colle une par machine, avec un switch KVM pour pouvoir gérer tout ça depuis la plage
 
allez, je vous montre la bête :
 

 
ATI Rage 128Pro
ça c'est de la carte graphique ! En PCI, s'il vous plaît.
 
8 € pièce ! qui dit mieux ?

Je n'y connais pas grand chose en meteo mais c'est du calcul massivement parralelle avec bcp d'access memoire  
pourquoi ne pas utiliser de GPU en cuda ou opencl ?
(les cg ayant un tres bonne bande passante memoire)
 
en tout cas je suivrai se topic pour ce watercooling hors norme (meme si j'aimerai en savoir d'avantage sur ton model meteo)

 
plusieures raisons :
- premièrement le modèle fait des millions de lignes de codes. tu imagines réécrire ça pour CUDA ?
- aussi, l'architecture mémoire des GPU n'est pas vraiment adapté. c'est compliqué à expliquer. j'ai la flemme