Cube Xeon / 7GPUs pour 3D WaterCoolé

Cube Xeon / 7GPUs pour 3D WaterCoolé - Water & Xtreme Cooling - Overclocking, Cooling & Modding

Marsh Posté le 20-04-2017 à 21:49:53    

Bonjour,
 
J'ai un petit projet de watercooling qui devrait utiliser 2 pompes.
J'ai actuellement une DDC-3.25 TP 12 Volts et une D5 avec regulateur (5 positions) (celle qui est avec l'airplex modularity system 240mm)
 
Le circuit serait le suivant avec du 10/13:
Airplex (D5 en position 2 ou 3) Rad 240 --> EK Supremacy EVO CPU --> 7 EK-FC GPU --> EX360 (30mm) --> pompe DCC --> XTX 360 (60mm) --> Phobya 1080.
 
Est-ce que le mélange des deux types de pompe peut causer des soucis ?
La DCC est en 12V et régulé par la carte mère, la D5 est seulement en 12V avec un fil de moniteur et reglable par sélecteur (de 1 à 5)
 
Dans le system, c'est la D5 qui va forcer, non ?
Merci pour vos conseils.

Reply

Marsh Posté le 20-04-2017 à 21:49:53   

Reply

Marsh Posté le 21-04-2017 à 13:33:58    

C'est tellement hors normes comme système!

 

Je pense que tu vas devoir tester par toi même car ça va être compliqué de trouver quelqu'un avec un truc similaire.

 

J'imagine que le prix total du bestiau doit être très élevé. Si tu as un doute sur l'interaction des pompes, pourquoi ne pas simplement acheter une autre pompe similaire (pour avoir 2 D5 ou 2 DDC)?


Message édité par lucas444719 le 21-04-2017 à 13:34:47
Reply

Marsh Posté le 21-04-2017 à 15:54:27    

Tout le WC est issue de la récup de mes anciens PC. Et les GPUs sont un peu de la récup des autres PC (780Ti et 980Ti).
C'est comme une compilation mais du coup compiler 2 pompes différentes, c'est vrai que c'est pas génial.
Le pb c'est l'airplex qui a déjà la D5, du coup il me faut une D5 vario pour mettre les même "vitesse". Je vais voir ça sur le forum.

Reply

Marsh Posté le 21-04-2017 à 16:20:47    

Je passe surtout pour draper le sujet fort intéressant !

 

Par contre je me pose une question, tu risque pas d'avoir un gros gros delta de temps entre le premier et le 7ème GPU ? Car 8 WB ça en fais à passer avant les radiateur ^^'
Après je dit ça mais vu le débit des pompes ça devrait aller.

 

Après au niveau des pompes en série c'est une bonne idée, car tu double la pression du coup mais faut vraiment quelles soient identiques car tu vas monter la pression assez vite sur la pompe la plus lente sinon et ça risque de pas lui plaire ^^'.

 


Message édité par maverip le 21-04-2017 à 16:21:11
Reply

Marsh Posté le 21-04-2017 à 17:33:07    

Pour les 7 GPU c'est du Semi-parallel (EK-FC HEPTA).
Oui, peut etre passer par CPU --> RAD --> GPUs, mais je pense que c'est  un delta de 2 ou 3° max.
Et c'est justement les pompes qui m'inquiète. la D5 en setting 5 a un PSI de 4.6 et la DDC a un PSI de 5.6 environ à 1GPM. Mais c'est theorique, comment elles se comportent dans un environnement aussi restrictif (7 GPU).

Reply

Marsh Posté le 21-04-2017 à 21:55:24    

Bouah!
Rien que pour le faire, j'aimerais travailler sur un système comme ça!
Bon après, je rejoins "maverip", personne ne pourras te dire par rapport à une config existante. Donc tu dois te rabattre sur les théories.
Pour moi, il te faut faire deux boucles liées dans un reservoir. Dans la première tu mets res -> pompe -> cpu -> 3 GPU -> rad -> res et l'autre res -> pompe -> 2 GPU -> rad -> 2 GPU -> Rad -> res. C'est pas mal de mettre la pompe la plus forte sur la deuxième boucle parce qu'elle sera plus restrictive et de bien séparer les GPU pour éviter un peu l'effet décrit par "itou".
Autre methode, parce que d'en fait t'es quand même sur un système un peu particulier: deux boucles mais pas pareil. Une boucle avec la pompe la plus forte en pression : res -> pompe -> CPU -> un té avec d'un coté 4 GPU et un autre 3 GPU plus une vanne -> un té pour rassembler -> res. et une seconde boucle Res -> pompe la plus volumétrique -> rad -> rad -> rad -> res. En gros, t'as une boucle de chaud et une boucle de froid. La vanne dans le deuxième bras du té servira pour faire l'équilibrage des deux bras. Si tu as les moyens de mettre deux débit-mètres c'est pas mal sinon il faudra le faire avec la température des différents GPU...
Voilà, si t'as besoin d'un coup de main, je suis fan  :love:  
@+

Reply

Marsh Posté le 22-04-2017 à 00:16:07    

Salut merci pour les propositions.
Mais avec le Hepta terminal, je ne peux pas séparer les GPUs.
Donc si je fais deux boucles, c'est 1 CPU (pompe DDC) et 7GPU (D5). pas génial finalement.
Quand je compare les deux pompes  
D5 : plus gros débit mais pression basse (h3.9m 1500l/h)
DDC 3.25 : petit debit grosse pression (h5.9m 900l/h)
 
Du coup, je ne sais pas trop si je prend une autre D5 ou une DDC.
 
Voici un rendu de la machine pour avoir une idée des emplacements.
 
http://img15.hostingpics.net/pics/291398respcfull61.jpg
http://img15.hostingpics.net/pics/996167respcfull62.jpg

Reply

Marsh Posté le 22-04-2017 à 15:24:01    

Ok, donc du coup, je te propose une autre façon:
 - la première boucle "chaude" avec la ddc : res -> pompe -> GPU's -> res. ça suffira parce que ça va quand même résister...
 - la deuxième boucle "froide" avec la D5: res -> pompe -> CPU -> rad -> rad -> rad -> res.
Avec ça, ça devrait fonctionner de façon pas mal. L'intérêt, c'est que tu peux changer tes rads sans tout démonter. De même pour tes GPU, tu les change comme tu le sent sans pour autant tout pétarder.
Voilà ce que l'aurais tenter de faire avec ta config mais je ne suis pas avec ta config...
@+

Reply

Marsh Posté le 22-04-2017 à 16:54:26    

Merci,
Bon, finalement, j'ai trouvé sur le forum une D5 vario. Je vais aller au moins compliqué et avoir plus de pression dans la boucle.
Je vous tiendrai au courant de la config finale.

Reply

Marsh Posté le 22-04-2017 à 18:05:12    

:hello:
 
ça me fait penser à cette config : https://www.youtube.com/watch?v=LXOaCkbt4lI
 
Hâte de voir la config finale ! :)

Reply

Marsh Posté le 22-04-2017 à 18:05:12   

Reply

Marsh Posté le 22-04-2017 à 19:05:40    

! c'te config de fou! Bon 30.000 boules quand même... Par contre, j'ai pas bien saisit comment il virtualise 7 machines sur 7 claviers différents...
Et toi, tu compte mettre quoi comme soft et pour faire quoi avec tout ça?
@+

Reply

Marsh Posté le 22-04-2017 à 19:52:56    

Putain le truc de dingue.
Par contre sa peut fonctionner si tu utilise des CG avec GPU differents???

Reply

Marsh Posté le 22-04-2017 à 20:05:27    

D'après ce que j'en comprend de son logiciel de virtualisation, y a pas de limitation au mixage des cartes. Par contre, on peut pas mettre toutes les cartes que l'on souhaite...
De plus, pour des workstations c'est pas mal parce que 7 configs pour 1600W au lieu des 400 chacun !!!!
Après, ça fait quand même 4.300 boules la config...

Reply

Marsh Posté le 22-04-2017 à 21:24:36    

Il virtualise 7 machines sur 7 claviers différents avec unRAID, et des cpus avec les instructions vt-d qui permettent le passtrough des cartes graphiques comme si elles étaient connectées physiquement aux vms, et cela permet d'avoir quasiment aucune perte vs une machine physique.
 
théoriquement, tu peux mixer tout genre de cartes graphiques, mais en pratique ici, tu es limité à des 7 cg single slot + limitation de l'alimentation (1600w au global).
Tu peux cependant regarder une autre de ses vidéos où c'est encore + poussé : https://www.youtube.com/watch?v=uKJw8IKVYQ8

Reply

Marsh Posté le 22-04-2017 à 22:53:17    

albertdici95 a écrit :

! c'te config de fou! Bon 30.000 boules quand même... Par contre, j'ai pas bien saisit comment il virtualise 7 machines sur 7 claviers différents...
Et toi, tu compte mettre quoi comme soft et pour faire quoi avec tout ça?
@+


 
En fait, j'utilise octane render et daz studio (GPU) et aussi Keyshot (CPU --> Xeon)
 
Je discute pas mal dans le forum octane et on est plusieurs à faire du 7GPUs et plus avec des clusters de GPU. Mais rassembler 7 GPU sur une carte mère permet de profiter de la bande passante x8 PCIe. Sur des cartes Supermicro on peut monter à 10GPUs.
J'ai opté pour du single GPU pour éviter de la DDR4 ECC qui coute un bras, mais c'est vrai qu'un dual xeon, c'est sympa mais pb si l'option 4G decoding n'est pas dispo : impossible de mettre plus de 5 GPUs car pb d'adressage.
Apparement l'asus X99-E WS/USB3.1 est assez capricieuse pour les 7GPUs, mais bon je vais essayer de m'en sortir.
 
J'ai deux alim 1600W + 900W pour :
- 2 1080Ti + 3 980Ti + 2 Titan Black. (pas assez d'argent pour 7 1080Ti)
- Xeon E5-2696 V3 Mod turbo (plus performant qu'un 6950X @ 4.5Ghz à CinebenchR15 en multicore)
 

Reply

Marsh Posté le 26-04-2017 à 22:10:42    

Bon alors, ça donne quoi cette affaire?

Reply

Marsh Posté le 27-04-2017 à 10:58:37    

J'ai pas encore tous les éléments du WC.
j'ai parcouru un peu de littérature et le net pour mettre 2 pompes en série. Conclusion --> à tester en série. Apparement il est possible de mettre une D5 et une DDC en série, mais bon, ce sont juste des tests pour vérifier les flux et pression. La plupart ont des dual pump en D5 ou en DDC mais pas un mix pour du "normal config". Je suis en cours pour une D5 sur hfr.
En ce moment, je teste mon xeon / mod bios pour le mode full turbo.
et je perce le boitier pour fixer les rads.
 
J'ai pu rentrer le rad avant dans la tour mais il me semble un peu coincé, c'est peut etre mieux dehors (mais besoin de découper un peu le devant pour passer les tuyaux/coiffe in/out)
 
https://img4.hostingpics.net/pics/997949resPC72016b71.jpg
https://img4.hostingpics.net/pics/204709resPC72016b72.jpg
 
et du coup reculer le rad de coté mais les tuyaux devraient passer par l'arriere : pas simple.


Message édité par itou le 27-04-2017 à 14:13:02
Reply

Marsh Posté le 04-05-2017 à 10:21:34    

Je viens de recevoir les WB des 1080ti mais horreur, les EK-FC 1080ti ne sont plus alignés avec les EK-FC titan X / EK-FC 780Ti. J'aurais du regarder de plus près les photos (ça se voyait pourtant avec le truc esthétique qu'ils ont rajouté, ils ont du décaler les entrées !). Je vais voir si les EK-FC Titan X Pascal sont alignés.


Message édité par itou le 04-05-2017 à 23:10:49
Reply

Marsh Posté le 05-05-2017 à 13:25:55    

donc adieux le pont propre ... bonjour le bidouillage de toyos dans tous les sens :o :ol


---------------
I sit, in my desolate room, no lights, no music, Just anger, I've killed everyone, I'm away forever, but I'm feeling better,How do I feel,What do I say,Fuck you, it all goes away,
Reply

Marsh Posté le 05-05-2017 à 16:29:51    

:cry:  
j'ai écrit à au support EKWB pour confirmation, mais sur facebook, ils m'ont dit que les WB de differents générations ne sont pas compatibles.
--> FAUX, les WB 780ti et WB TitanX pour les 980ti s'alignent bien.
pas du tout envie de faire avec des tuyaux partout ! Je veux le voir ce gros bloc de 7 !


Message édité par itou le 05-05-2017 à 16:30:23
Reply

Marsh Posté le 05-05-2017 à 18:22:30    

Va falloir usiner maison alors  :sweat:


---------------
I sit, in my desolate room, no lights, no music, Just anger, I've killed everyone, I'm away forever, but I'm feeling better,How do I feel,What do I say,Fuck you, it all goes away,
Reply

Marsh Posté le 05-05-2017 à 19:40:37    

ça c'est tendu mais ça aura un p***n d'effet!!! pour ceux qui connaissent parce que tous les autres en auront rien à faire...
Je viens de montrer les photos à ma femme: "ben pourquoi il met pas tout son bazars dans le garage avec un déport kvm??? ça fera moins de bruit et de chaud et ça sera tout aussi efficace.." Ah ben oui...

Reply

Marsh Posté le 05-05-2017 à 21:32:54    

Si tu recherche un usineur et si tu me donne les plans aux cotes, fait moi signe on verra niveau coût ;) (je peux usiné : alu, acetal, cuivre, plexi)
 
(exemple de WB fullplate maison : https://img4.hostingpics.net/pics/40157903800.png )


Message édité par valdus_heresi le 05-05-2017 à 21:34:58

---------------
HYBRID COOLING MODDING : https://hybridcooling-modding.fr/
Reply

Marsh Posté le 05-05-2017 à 23:23:32    

Merci les gars pour votre soutien.
C'est la classe un WB perso. Je retiens ton pseudo.
En attendant la réponse d'EK, je continue à monter les rads.
 
Finalement j'ai mis les tuyau dehors car pas de place sur le coté.
 
https://img4.hostingpics.net/pics/557798Capture.jpg


Message édité par itou le 06-05-2017 à 00:03:47
Reply

Marsh Posté le 08-05-2017 à 18:22:04    

Bonne nouvelle, EK vient de me répondre que les blocs sont compatibles !

Reply

Marsh Posté le 15-05-2017 à 14:17:09    

Petit souci avec la tuyauterie. Mon projet de départ était de partir sur du rigide plexi (comme dans le rendu 3D), mais mon boiter ne semble pas assez rigide (car trop lourd avec tous ces blocs et rad), et du coup risque de fuites/casse lors des "transports". Je repasse en tuyaux souples. La deuxième D5 Vario est arrivée et j'attend les deux WB EK-FC Titan X Pascal.
L'orientation du WB CPU est finalement en régular et non pas en goofy comme sur le rendu 3D.

Reply

Marsh Posté le 17-05-2017 à 10:04:46    

Bon, ça avance.
Et j'attends toujours les WB des 1080ti qui n'arrivent pas ...  :sleep:  
 
Mise ne place des ventillos devant (le RAD 360x60 est finalement à l'intérieur)
https://img4.hostingpics.net/thumbs/mini_475613resDSC04665.jpg
 
Mise ne place des Rad sur le dessus et la pompe-rad D5 vario
https://img4.hostingpics.net/thumbs/mini_395166resDSC04668.jpg
 
Mise en place de la deuxième pompe D5 Vario  
https://img4.hostingpics.net/thumbs/mini_164606resDSC04682.jpg
 
Montage des 5 cartes (2 encore en attente des WB)
https://img4.hostingpics.net/thumbs/mini_997975resDSC04683.jpg
https://img4.hostingpics.net/thumbs/mini_355608resDSC04692.jpg
 
cablage des alims PCI_E en attente des cartes
https://img4.hostingpics.net/thumbs/mini_969677resDSC04694.jpg
Finalement c'est assez aéré même avec le gros RAD 360 à l'intérieur

Reply

Marsh Posté le 19-05-2017 à 14:30:36    

Je suis ça de prêt : je me monte également une config Octane mais beaucoup plus modeste héhé : deux GTX 1070 (sur une CM mini-itx qui supporte la bifurcation).
Quelques déboires avec le service EK (pour info, les Thermosphere ne sont pas single slot).
 


---------------
Feedbacks
Reply

Marsh Posté le 19-05-2017 à 17:10:00    

jagonio a écrit :

Je suis ça de prêt : je me monte également une config Octane mais beaucoup plus modeste héhé : deux GTX 1070 (sur une CM mini-itx qui supporte la bifurcation).
Quelques déboires avec le service EK (pour info, les Thermosphere ne sont pas single slot).
 


Ah oui, ils sont un peu plus haut. Ce que je trouve dommage c'est qu'on a pas les dimensions extérieurs de tous ces blocs.

Reply

Marsh Posté le 20-05-2017 à 00:38:43    

Eh bah, ça c'est un gros cube.
 
je préfère les ddc 3.25 mais il faut avouer qu'avec le top standard faut viser le très restrictif sinon les perfs de débit sont bridées.
3 mois que mes 4x1080 tournent presque 24/7 et, a part la connerie d'avoir mis du liquide mayhem XT-1 qui a pourri mon circuit de micro-particules et dépôts, c'est nickel comme chauffage d'appoint.
 
j'ai pas grand chose à dire, c'est du beau boulot, en espérant que ça tienne le choc.
 
après pour ceux qui n'aime pas le bidouillage, moi j'y vois que des avantages, tout comme les tuyaux souples. Avec le mou, je débranche ce que je veux, je le sors du boitier, et après c'est soirée piscine.
https://s25.postimg.org/vevqq71ob/4_EKWBkfa2.jpg
 
Encore bravo.

Reply

Marsh Posté le 22-05-2017 à 10:08:58    

Bon,
WE assez chargé.
Les WB (EF-FC Titanx X Pascal) des 1080ti sont arrivés et ressemblent beaucoup au EK-FC Titan X (même notation sur le bloc). Donc du coup pas de pb de compatibilité.
Les 7 GPU sont bien alignés (2 1080Ti + 3 980Ti + 2 TitanB). Le bloc est très lourd.
La mise en boite des 7 GPU est un peu galère, c'est au chausse-pied, et ça tire de tout les cotés (coté hepta terminal FC et coté slot PCI express), et ensuite c'est le coté des reglettes arrières. Et enfin le bordel de cable alim des GPU (un gros tas de cable).
Pour soutenir ces 8Kg, j'ai du bricoler un support rudimentaire pour ne pas trop que  ça force trop sur les slots PCI-e.
 
Après avoir mis en place les rad et pompe et flotte pour les tests de fuite : OK
Test du débit : KO ! très peu de débit même avec les deux à fond !! y'a un truc qui cloche (trop restrictif quelques part).
--> fautif : le RAD pompe Airplex 240 (qui est d'origine assez restrictif comme RAD).
Apres l'avoir exclus du circuit (galère de vidange), --> démontage du rad et de la pompe pour test perfo seul (j'aurais du le faire avant !) :  :pfff:  : il y a un filtre dans le circuit pour les dépôts et justement, y'en a plein, ça a du bien sécher depuis que le temps que je ne l'avais pas utilisé).
Apres avoir nettoyé le filtre, la pompe a bien repris ses performances.
 
An attendant de remettre l'Airplex, j'ai appuyé sur le petit bouton ON du PC pour son premier démarrage avec les 7 GPU.
C'est un moment de stress :
- est-ce que les cartes fonctionnent ? (pas de test individuel apres mis en place du WB)
- est ce que la carte mère va supporter les 7 GPU (support du BIOS, assez d'IRQ et adresse IO ? car j'ai 3 familles de GPU) et pas mal de soucis sur les forums des utilisateurs de cette carte avec plus de 5 GPUs.
- re-vidange s'il faut sortir une carte...  :cry:  
 
Apres de longues secondes à scruter les loupiotes de la carte mère et des codes qui semble boucler assez souvent (surement pour initialiser les GPUs), l'écran s'allume ! YES :bounce:  ! (mais pas encore gagné)
pas eu le temps de passer sur le BIOS pour vérifier, windows se lance ---> et re YES   :bounce: , j'ai bien les 7 GPUs (générique) dans le gestionnaire des périphérique, et apres quelques minutes, les drivers sont à jour et je vois bien mes GPUs comme il faut.
 
Premier test de température --> pas fameux malgré un "bon débit observé" d'une seule pompe : 60°C sur une carte sans charge. ça sent les bulles ça. Même que le CPU a une température anormalement haute.
 
--> remise en place de l'Airplex dans le boucle (re galère de vidange). Et regalère de BULLE  :fou: même en laissant tourner les pompes au max pour récupérer les bulles dans le réservoir.
Bon, WE terminé sur le pb des bulles....  :cry:  
A suivre

Reply

Marsh Posté le 22-05-2017 à 12:29:54    

Une ou deux petites photos ? syouplé :P


---------------
La réalité est la suivante, nous ne sommes qu'un tas de matière invisiblement... visible.
Reply

Marsh Posté le 22-05-2017 à 16:52:29    

oui, oui, ça va arriver.
on n'a pas trop l'habitude de prendre des photos quand on a un truc qui marche pas bien...
Pas aussi bien rendu que le virtuel, mais au moins ça marche, enfin presque.

Reply

Marsh Posté le 23-05-2017 à 10:05:51    

Comme promis voici quelques photos du montage des cartes :
 
Montage d'une des deux 1080ti
https://img4.hostingpics.net/thumbs/mini_878400resDSC04700res1.jpg
 
la deuxieme 1080ti en slot1 (16X) les autres passent du coup toutes en 8X (avec des multiplexage par les PLX)
https://img4.hostingpics.net/thumbs/mini_502752resDSC04708res1.jpg
 
La petite titan black en dernière avec un petit plexi pour vérifier le liquide.
https://img4.hostingpics.net/thumbs/mini_356903resDSC04710res1.jpg
 
Montage dans la tour une par une
https://img4.hostingpics.net/thumbs/mini_338214resDSC04718res1.jpg
 
Mise en place du bloc hepta FC terminal
https://img4.hostingpics.net/thumbs/mini_924355resDSC04719res1.jpg
 
La suite arrive...
 

Reply

Marsh Posté le 23-05-2017 à 16:37:27    

Et voici la suite
 
Tout est monté
https://img4.hostingpics.net/thumbs/mini_838722resDSC04737res1.jpg
 
Possibilité d'ouverture (tuyau souple finalement)
https://img4.hostingpics.net/thumbs/mini_633232resDSC04732res1.jpg
 
Le bordel interne de la face cachée
https://img4.hostingpics.net/thumbs/mini_232761resDSC04728res1.jpg
 
Vue arrière une fois fermé
https://img4.hostingpics.net/thumbs/mini_396091resDSC04735res1.jpg
 
Et enfin, une fois allumé en test avec alimentation des pompes avec une alim externe pour "chasser" les bulles.
https://img4.hostingpics.net/thumbs/mini_821380resDSC04742res1.jpghttps://img4.hostingpics.net/thumbs/mini_734872resDSC04743res1.jpghttps://img4.hostingpics.net/thumbs/mini_293604resDSC04741res1.jpghttps://img4.hostingpics.net/thumbs/mini_539475resDSC04744res1.jpg
 
Prochaine étape : test perfo sous octane render et températures
 
 

Reply

Marsh Posté le 23-05-2017 à 17:26:10    

oh lol !!!
 
Tu fais quoi avec autant de cg ????


---------------
Topic vente : https://forum.hardware.fr/forum2.ph [...] w=0&nojs=0
Reply

Marsh Posté le 23-05-2017 à 19:02:13    

J'ai eu comme un grand sourire et un rire machiavélique en voyant cette chose monstrueusement puissante  [:madkat]  
C'est quoi le boitier ? Je serrais intéresser pour y mettre ma configu' avec un EK-KIT S360 en mettent le combo pompe/réservoir derrière la carte mère  :whistle:  
 
Edit : va falloir jouer du shaker  :D


Message édité par ZGMF_Freedom le 23-05-2017 à 19:04:58

---------------
La réalité est la suivante, nous ne sommes qu'un tas de matière invisiblement... visible.
Reply

Marsh Posté le 23-05-2017 à 20:34:38    

C'est le Corsair carbide air 540


---------------
Topic vente : https://forum.hardware.fr/forum2.ph [...] w=0&nojs=0
Reply

Marsh Posté le 24-05-2017 à 00:55:03    

Belle machine et beau montage!!!! Bravo l'ami ! :jap:


---------------
Ventes hardware - Watercooling
Reply

Marsh Posté le 24-05-2017 à 08:38:44    

Merci bueldozer32, tu sais que j'ai monté la pompe à l'envers la première fois  :pt1cable:

Reply

Marsh Posté le    

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed