Extreme watercooling build (2 Xeons + 4 GPUs) 1st time

[TheAssaSim]

Beste Tweakers,

Ik ben van plan in de toekomst. (waarschijnlijk over ong. een maand of 4) een monster workstation te bouwen.
Ik heb het over
2 intel Xeons,
4 GTX Titan XPs (of een alternatief wat miss inmiddels op de markt zal zijn.),
128 GB DDR4 RAM (uitbreidbaar in de toekomst)
6 TB aan M.2 SSD. etc.

Ik ben professioneel mediavormgever en met name (3D CGI/VFX Artist.) Heel veel (High-end) 4K renderen dus. Dit is tot nu toe een enorme bottleneck geweest waar ik vanaf wil.
Dit is voor mij als tweaker ook wel een droom. Een echte money no issue build maken.

Het ding, en dus mijn vraag is. Ik heb nog nooit waterkoeling loops gebouwd. (meerdere PCs wel, maar nog nooit met custom waterkoeling loops.)

Hoe moet ik dit aanpakken? Er is zooo veel informatie! Waar moet ik beginnen?
Heeft iemand hier goeie informatie bronnen. Het liefst in een logische volgorde. Zodat ik geen details over het hoofd zie.

Of is er iemand die zich wel over deze setup zou willen buigen? Hoe zou een ervaren water-tweaker dit aanpakken? 1 of 2 loops, hoeveel Rads, pompsterkte etc.

Side note: Ik zat te denken aan bv. een phanteks Entho primoo. (Ik heb nu een Phanteks entho luxe en dat bevalt erg goed)

Goed.. Ik hoor het graag!

bij voorbaat dank!

[rdejongjr]

Zoiets als https://i.imgur.com/qpDNo5x.jpg
Alles van ek waterblocks.

2x360 rads, full cover blokken met serie/paralell koppeling.

Alleen de waterkoel spullen was volgens mij al 700+
Kost ongeveer een dag om te bouwen, kast moets ook aangepast worden. (rads waren te lomp)

[TheAssaSim]

Oh wauw ja dat is het precies!
Ik geloof zeker dat alleen in de de loop bouwen al veel tijd en geld zit!
Weet jij welke case het op die foto is?
En welk RAM geheugen?

[ Voor 7% gewijzigd door TheAssaSim op 19-01-2018 11:16 ]

[rdejongjr]

Komt die waslijst;

Wenslijst RML output

#	Product	Prijs	Subtotaal
14	EK Water Blocks EK-ACF Fitting 12/16mm - Red	€ 4,66	€ 65,24
2	EK Water Blocks EK-CoolStream PE 360	€ 76,-	€ 152,-
4	EK Water Blocks EK-FC GeForce GTX FE - Acetal	€ 103,50	€ 414,-
1	EK Water Blocks EK-FC Terminal X4 - Acetal	€ 35,61	€ 35,61
1	EK Water Blocks EK-RES X3 150 RGB	€ 58,95	€ 58,95
2	EK Water Blocks EK-Supremacy EVO - Acetal	€ 59,-	€ 118,-
6	EK Water Blocks EK-Vardar F4-120, 120mm	€ 16,13	€ 96,78
1	EK Water Blocks EK-Dual DDC 3.2 PWM X-TOP incl. Pomp	€ 191,49	€ 191,49
Bekijk collectie Importeer producten		Totaal	€ 1.132,07

tubing komt ook nog een paar tientjes bij.

De kast was een Phanteks Enthoo Primo, destijds gekozen voor de flink ruimte voorin, breed en er kon nog een hot-swap bay bovenin.
Als ik nu weer zoiets zou moeten bouwen denk ik eerder aan de Obsidian 900D, daar kun je onder, en bovenin wat mooier een 480 Rad in kwijt

Het geheugen is ECC REG modules van 32GB, enkel ondersteund in vatsige Werkstation/Server moederborden met de juiste CPU

Waren absoluut de meest vette systemen om in elkaar te knutselen, we hadden er een stuk of 6 voor deap learning gebouwd.
Gamen ging in die config voor geen meter 20 cores op ~2,2GHz ging hem niet worden in GTA-V

Tip voor de videokaarten; Neem EVGA of MSI, met de founders/reference pcb's, passen de meeste blokken op, 3jaar of meer garantie en ze doen niet moeilijk als er eens een zegeltje is verbroken.
Waterblokken/pompen altijd even de boutjes nalopen, en pas nadat alles goed warm is alle fittingen en deksels aandraaien.

[ Voor 20% gewijzigd door rdejongjr op 19-01-2018 14:54 ]

[Tjm De Groot]

Voor waterkoeling is het highflow forum the place to be https://www.highflow.nl/

En tevens een erg goede shop voor de onderdelen.

[TheAssaSim]

Oh super bedankt voor de info mensen! Hier kan ik zeker verder mee!
@rdejongjr Zou je miss kunnen vertellen/laten zien hoe je loop precies loopt? En weet je specifiek welke RAM je hebt? Hij lijkt daar zwart (of ligt dat aan mij?), dat staat wat mooier dan groene RAM sticks in deze build. Maar is uiteraard geen ramp.

Hier mijn voorlopige specs lijst voor de build:

#	Product	Prijs	Subtotaal
2	Intel Xeon E5-2690 v4 Tray	€ 2.171,79	€ 4.343,58
1	Asus Z10PE-D8 WS	€ 468,50	€ 468,50
1	Kingston ValueRAM KVR24R17D4K4/128I	€ 1.447,50	€ 1.447,50
1	Super Flower Leadex Platinum 2000 watt Zwart	€ 414,-	€ 414,-
4	Samsung 960 Pro 2TB	€ 1.072,68	€ 4.290,72
1	Origin Storage FUJ-600SAS/10-S5, 6TB	€ 555,39	€ 555,39
1	Asus Hyper M.2 X16 Card	€ 46,20	€ 46,20
4	MSI GeForce GTX 1080 Ti GAMING 11G	€ 748,51	€ 2.994,04
1	Phanteks Enthoo Primo Zwart / Wit	€ 214,-	€ 214,-
1	Phanteks Enthoo Luxe Multicolor LED Strip 2 meter	€ 19,51	€ 19,51
1	Akasa AK-ICR-14 USB 3.0 Internal 6-Port Card Reader	€ 22,-	€ 22,-
1	Samsung SH-224DB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 14.815

[maratropa]

@TheAssaSim Welke software gebruik je allemaal precies?

ik zou op dit moment echt niet investeren in een (verouderd) dual xeon bord en die xeons, een AMD 1950X is met puur 3D renderen bijna evensnel, en voor het werken met zo'n beetje alle software is die threadripper fijner, hogere clocks etc.

Ik heb toevallig al een tijdje een z10pe-d8 met 2 2696 v3's die ik goedkoop kon scoren; prima systeem en renderd rap, maar als ik nu zou moeten kiezen zou het zeker de 1950x worden, of een intel i9 met oc, betere allround werkervaring.

[ Voor 4% gewijzigd door maratropa op 19-01-2018 20:48 ]

[Verwijderd]

Ach man hou toch op met die Threadripper... midrange meuk
Voor een cost-no-object rendering build ga je voor 2x 22 core Xeons oid.

[ Voor 8% gewijzigd door Verwijderd op 19-01-2018 20:50 ]

[maratropa]

Verwijderd schreef op vrijdag 19 januari 2018 @ 20:50:
Ach man hou toch op met die Threadripper... midrange meuk
Voor een cost-no-object rendering build ga je voor 2x 22 core Xeons oid.

Ook renderers kunnen, vooral met wat grotere scenes, helemaal niet altijd zo goed doorschalen op zo veel cores. Plus in 3D apps en tijdens het starten van de render zit je met allerlij slowndowns door de lagere coresnelheid van de xeons.

3,5ghz turbo klinkt leuk, tot je er achter komt dat ze eigenlijk in de praktijk altijd onder de 3ghz lopen.

En dan zit je met alles boven de 16 HT cores per socket ook door de windows "processor group" grens van 64 threads heen. (ik draai bijv met 2 cores per cpu uit om weer netjes 1 group te hebben)

Voor alles adobe apps, die je er vast bij draait, is dual xeon ook echt ruk.

Threadripper en de i9 xeon's hebben dual xeon als workstation echt de nek om gedraaid. (en voor een pure rendermachine ook trouwens, veel meer power per euro met de 1950x)

[ Voor 4% gewijzigd door maratropa op 19-01-2018 21:05 ]

[TheAssaSim]

Ik mooet toevoegen dat het me vooral om en smooth ervaring gaat in after effects en premiere qua CPU. ik render mn 3D cgi met redshift (GPU renderer) vandaar de 4 gpu's.

[TheAssaSim]

maratropa schreef op vrijdag 19 januari 2018 @ 21:03:
[...]


Ook renderers kunnen, vooral met wat grotere scenes, helemaal niet altijd zo goed doorschalen op zo veel cores. Plus in 3D apps en tijdens het starten van de render zit je met allerlij slowndowns door de lagere coresnelheid van de xeons.

3,5ghz turbo klinkt leuk, tot je er achter komt dat ze eigenlijk in de praktijk altijd onder de 3ghz lopen.

En dan zit je met alles boven de 16 HT cores per socket ook door de windows "processor group" grens van 64 threads heen. (ik draai bijv met 2 cores per cpu uit om weer netjes 1 group te hebben)

Voor alles adobe apps, die je er vast bij draait, is dual xeon ook echt ruk.

Threadripper en de i9 xeon's hebben dual xeon als workstation echt de nek om gedraaid. (en voor een pure rendermachine ook trouwens, veel meer power per euro met de 1950x)

Aah kijk dat is zeker een blangerijk detail! Ik zal eens kijken naar hogere clocks. Maar als het kan wel dual CPU. Kan dat met threadripper of i9 ook?

[maratropa]

@TheAssaSim sorry zag later pas dat je 2 keer gereageerd had en de software genoemd hebt

TheAssaSim schreef op zaterdag 20 januari 2018 @ 01:53:
Ik moet toevoegen dat het me vooral om en smooth ervaring gaat in after effects en premiere qua CPU. ik render mn 3D cgi met redshift (GPU renderer) vandaar de 4 gpu's.

dual xeon heeft (bijna) geen zin voor After Effects en Premiere. (alleen de AE cinema 4d renderer heeft baat bij veel cores)

ik garandeer je dat premiere op 2 xeons vaak niet smooth werken is, vooral met zwaarder materiaal, en AE ook niet. Het zijn te veel cores op een te lage snelheid en de software is er niet voor geoptimaliseerd
Bij AE gaat steeds meer naar de gpu en is bizar genoeg een 6 core 7800k de beste keuze. Voor Premiere zijn wat meer cores ook nog wel leuk en kun je de threadripper of i9 kant op. Ivm de lanes en het ram is het consumenten platform voor jou ook niet zo interessant, ondanks de prestatie in oa AE.

Hier zie je dat bij AE dat de 1950x het nog net wat beter doet dan de high core count i9's. Hier zie je dat veel cores alleen handig zijn met raytracen binnen de c4d engine van AE.

& Hier zie je bij premiere pro de 1950x goed meekomen, de i9's zijn niet veel sneller.

Zelfs al zou je voor het nieuwste platform gaan en bijv een WS C621 Sage mobo van Asus nemen met 2 high mhz cpu's (uit de xeon gold reeks) dan nog is het je geld wegpissen..Doe. Het. Niet.

En die waterkoeling, is natuurlijk superleuk maar; wat doe je als er 1 gpu uitvalt en je hebt een deadline? Die trek je er niet zo maar even uit.

Stop liever geld in goede koeling voor de i9 of threadripper zodat je hem maximaal veilig kunt overclocken, goed snel ram, extra gpu's voor redshift en een goede wide gamut monitor, etc.

[ Voor 172% gewijzigd door maratropa op 20-01-2018 12:18 ]

[TheAssaSim]

maratropa schreef op zaterdag 20 januari 2018 @ 09:01:
@TheAssaSim sorry zag later pas dat je 2 keer gereageerd had en de software genoemd hebt

[...]


dual xeon heeft (bijna) geen zin voor After Effects en Premiere. (alleen de AE cinema 4d renderer heeft baat bij veel cores)

ik garandeer je dat premiere op 2 xeons vaak niet smooth werken is, vooral met zwaarder materiaal, en AE ook niet. Het zijn te veel cores op een te lage snelheid en de software is er niet voor geoptimaliseerd
Bij AE gaat steeds meer naar de gpu en is bizar genoeg een 6 core 7800k de beste keuze. Voor Premiere zijn wat meer cores ook nog wel leuk en kun je de threadripper of i9 kant op. Ivm de lanes en het ram is het consumenten platform voor jou ook niet zo interessant, ondanks de prestatie in oa AE.

Hier zie je dat bij AE dat de 1950x het nog net wat beter doet dan de high core count i9's. Hier zie je dat veel cores alleen handig zijn met raytracen binnen de c4d engine van AE.

& Hier zie je bij premiere pro de 1950x goed meekomen, de i9's zijn niet veel sneller.

Zelfs al zou je voor het nieuwste platform gaan en bijv een WS C621 Sage mobo van Asus nemen met 2 high mhz cpu's (uit de xeon gold reeks) dan nog is het je geld wegpissen..Doe. Het. Niet.

En die waterkoeling, is natuurlijk superleuk maar; wat doe je als er 1 gpu uitvalt en je hebt een deadline? Die trek je er niet zo maar even uit.

Stop liever geld in goede koeling voor de i9 of threadripper zodat je hem maximaal veilig kunt overclocken, goed snel ram, extra gpu's voor redshift en een goede wide gamut monitor, etc.

Wauw! Super bedankt voor je uitgebreide antwoord! Dit wist ik allemaal niet en verklaart zeker mijn huidige struggle met AE en Pr. (werk veel met 4K materiaal en heb 2 Xeons op het moment.)

Qua moederbord. Ik sta volledig open voor alle suggesties. Ik heb gebwoon hier op tweakers gezocht. gefilterd op 2 sockets en deze leken de best( Qua reviews en populariteit) Maar zo te zien moet ik beter mijn huiswerk doen!

Wat betreft de waterkoeling heb je ook zeker een goed punt. Ik was alleen bang dat als ik neit zou waterkoelen zoveel GPUs bij elkaar slecht zouden koelen (omdat er wienig lucht bij de fans op de GPU kan, omdat devolgende er bijna tegenaan zit en omdat er dan uberhaupt meer warme lucht in de case is.) Of maak ik me hier te druk over dan?

Ik zal ff een nieuwe specs lijst maken!
Super bedankt voor de input en de grafieken/info!

[maratropa]

@TheAssaSim no problem. Waar werk je nu op dan qua xeons en gpu's?

Zaak is dat je een 10 tot 18 core cpu scoort en als je je daar comfortabel bij voelt een beetje overclocked om de allcore snelheid zo hoog mogelijk te krijgen. Threadripper is als je naar de grafieken kijkt veel meer value dan de intel i9's en absoluut gezien concurrerend. Geef je die snel ram en zet je hem rond de 4ghz dan heb je sowieso een rap systeem. Misschien dat de intel's iets beter over te clocken zijn en dus nog ietsje sneller ( in jouw geval zou ik de 14 of 16 core pakken), maar verder zie ik voor jou ook minpunten. (duurder, recente veiligheidsbugs met mogelijk vertraging door fixes, weinig pci-e lanes)

Alles wat in AE en PR Pro goed op de GPU te doen is zie je ook naar de GPU toe gaan. (Effecten vooral)

Qua gpu's, met dit soort gpu-render setups gebruikt men 99% van de tijd "reference" blower koelers, dus de nvidia standaard koelers of de look-alikes van OEM's. Ja die zijn wat luidruchtiger & trager, maar de koeling werkt gewoon goed en gooit alles je behuizing uit, en het werkt ook met 4 stuks naast elkaar. (ik heb 2 1080 ti's naast elkaar voor gpu renderdoeleinden etc, merk & type MSI earo, blowerkoeler dus) Als je het geluid echt een issue vindt dan moet je de gpu's buiten je behuizing plaatsen of idd naar waterkoeling toe. Waterkoeling zou ik voor een werk pc niet zo zien zitten, wat ik al noemde.

Qua type, op zich zijn 1080ti's de beste value op het moment, de titan's zijn maar weinig sneller (de V wel maar die is veels te duur) en hebben maar 1 GB vram meer. Al kan ik titan Xp's ook nog wel begrijpen, 4x 10% extra snelheid en die 1Gb extra kan net het verschil maken, zo maximaliseer je wel de pci-e ruimte. Je kunt ook beginnen met 2 titan xp's ofzo. Redshift schaalt wel goed geloof ik.

Zorg igg voor het juiste moederbord waar je 4gpu's op kwijt kunt, dat kunnen ze (fysiek) niet allemaal. Voordeel van threadripper is dat je meer pci-e lanes hebt. Al heeft asus bijv de X299 WS Sage met PLX chip.

Icm met een behuizing met 8 of 9 pci-e expansion slots op de juiste plek natuurlijk.

[TheAssaSim]

Ik heb nu 2 Intel Xeon E5-2670 8 Core 2.6-3.3GHz. (runt practisch altijd wel op 3-3,2 GHz)
En qua GPU 1 GTX 1080 FTW.

Dus ji zegt dat ik beter 1 hoge Clock CPU kan doen met 16-18 cores) ipv 2 CPUs met meer slomere cores? Omdat dat beter is voor AE en Pr. En ik toch GPU gebruik voor 3D. en de rest.

[PilatuS]

Met zoveel hitte qua onderdelen zou ik persoonlijk nog voor wat meer gaan dan 2 stuks 3x120mm. Heb zelf in mijn 900D 2 stuks 4x120mm zitten, dat zou voor deze setup geen overkill zijn. Verder 2 D5 pompen en een Aquaero is ook wel zo handig.

Zo ziet mijn setup er uit:

[TheAssaSim]

Okee! Na wat graven idd tot de conclusie gekomen dat Adobe toch niet goed omgaat met multicore processing. Dit verbaast mij en stelt me vooral teleur. Zeker jammer voor mijn huidige dual Xeon build die net n half jaar oud is.

Daarom nu mijn nieuwe keuze:

Intel Core i9-7980XE Boxed (Deze ipv de Ryzen TR vanwege de betere OC mogenlijkheden en lager TDP.)

Gigabyte MW51-HP0 (Deze piv de Saga omdat deze meer RAM Geheugen support.)

Nu nog een goeie watercooling loop ervoor ontwerpen.
Dit brengt mij op de volgende vraag: Hoe kun je het best 2 Rads (1 boven en 1 onderin de case) In de loop plaatsen? Res-Pomp1-CPU-Rad1-GPU1-4-Pomp2-Rad2-Res ? Of wat is daar het beste voor?

In ieder geval al suuper bedankt voor alle reacties! Master community is dit!

[PilatuS]

Volgorde van onderdelen maakt niets uit. Wanneer het water door een CPU of GPU gaat word het nog geen 0.2 graden warmer. Het heeft geen nut om tussen de CPU en GPU's een rad te plaatsen voor de temps. Ook heeft dual-loop zo goed als geen nut. Zelfs met 4 GPU's en 2 CPU's kan je alles gewoon achter elkaar aansluiten. Bij mijn eigen build komen de rad's achter elkaar voordat het water weer bij de GPU komt.

[maratropa]

@TheAssaSim Dat moederbord wat je aanhaalt is een C chipset voor xeon's (daarom is de ram support groter), i9's staan niet eens in de QLV lijst daarvan, los van je xeon niet kunt oc'en etc. De Xeon kant op kan natuurlijk ook, voordeel is ecc, maar je gpu's hebben ook geen ecc dus lijkt me ook onnodig geld uitgeven.

waarom die 7980XE ipv de betaalbaardere 14 core oid? Je gaat die cores niet nuttig gebruiken in AE & Pr Pro. Stroom / TDP maakt natuurlijk weinig uit mbt threadripper, vooral met 1000watt aan gpu's in je systeem

En de marginale snelheidwinst voor wat jij doet tov de 1950x terwijl je meer dan 2x zo veel betaald is sowieso wel naar.

En als je heir een half jaar geleden was geweest dan had ik je toen ook al kunnen vertellen dat een dual 2670 ruk is, de situatie met AE en Premiere pro is al langer zo. Dat zijn v1 sandy bridge cpu's, op 3ghz is dat helemaal niks voor een workstation.. Maarja wel een les om je even goed in te lezen

[itsalex]

Je kan toch ook een Supermicro dual xeon bord pakken. Prik 1 Xeon E5 2xxx v6 erop en >100 Gb werkgeheugen en je kan altijd nog een cpu erbij prikken. Voldoende power voor de komende tijd en je kan uitbreiden.

[TheAssaSim]

itsalex schreef op zondag 21 januari 2018 @ 00:00:
Je kan toch ook een Supermicro dual xeon bord pakken. Prik 1 Xeon E5 2xxx v6 erop en >100 Gb werkgeheugen en je kan altijd nog een cpu erbij prikken. Voldoende power voor de komende tijd en je kan uitbreiden.

Nou nee want ik ben er inmiddels achter dat ik minder baat heb bij veel cores voor mijn doeleinden met Adobe etc.