250W ThreadRipper in 2U case, hoe te koelen?

[d-snp]

Hoi Tweakers! Volgende maand komt AMD met de nieuwe threadrippers, en dat komt qua timing waarschijnlijk goed uit met het uitbreiden van de compute cluster op mijn werk. Een paar maanden terug heb ik de eerste 3 compute machines geconfigureerd op basis van Ryzen 3 3900X'en. Die zijn inmiddels lekker aan het brommen en performen goed. Onze klanten zijn echter hongerig en willen meer, dus aan ons om meer datasets te processen, en dus meer machines in te richten.

Ik heb een paar dingetjes geleerd van de eerste 3 machines, en wil die nieuwe kennis toepassen in de volgende.

1. Kan het compacter? die 4U bakken vullen racks wel erg snel, zou graag naar 2U gaan
2. Kan het koeler? die 3900X'en lopen constant op 83 graden te bakken

Die threadrippers gaan dus nog eens 2.5x zo heet zijn als de 3900X die er nu in zit. Hoe koel je zoveel ruwe kracht?

Ik heb een beetje research gedaan, maar ik kan niet echt ontdekken wat er nou voor zorgt dat die CPU's zo heet zijn. Als ik bijvoorbeeld deze review zie van de Noctua NH-U9 TR4-SP3:

https://www.phoronix.com/...Noctua-NH-U9-TR4-SP3-2019

Houden ze een 170W CPU op full load onder de 50 graden celsius. Waarom zijn mijn 3900X'en van 100W dan zo heet? Daar heb ik de NH-U9DX i4 op. De airflow is slecht, maar zelfs met de bovenkant van de case er af ging de temperatuur niet om laag.

Als ik van 4U naar 2U wil, moet ik dan sowieso aan waterkoeling gaan denken of is dat met luchtkoeling nog te doen?

[Eldunari]

Mijn eerste ingeving voelt misschien als een belediging, maar heb je de koeling er goed op zitten (heb je het plastic beschermfolie ertussenuit gehaald en koelpasta gebruikt)
Anders zou het kunnen zijn dat de fans niet goed zijn ingesteld en niet harder gaan draaien als de boel warm wordt.

In 2u is een threadripper wel lastig koelen, maar als je het niet erg vind er 80mm fans op 10.000 toeren in te hebben zouden er oplossingen moeten zijn, want de high core count xeons die in veel servers zitten zijn ook warm. (duidelijk geen consumentenspul en ik zou ook niet weten waar je dat kunt krijgen)

[keur0000]

Heb je weleens in de HP blade's gekeken hoe ze dikke xeon's koel houden?
Vol koperen koelblok met een rij dubbele fans die een storm door de blade's heen blazen, dit zou ook een mooie oplossing zijn voor jouw toepassing, vereist wel enig pas en meetwerk natuurlijk
Echter hou dan wel rekening met het geluidsniveau

Dit soort straaljagers:
https://www.itinstock.com...ink-for-msa20-36584-p.asp

[ Voor 17% gewijzigd door keur0000 op 23-10-2019 16:26 ]

[d-snp]

@Eldunari thanks! ja, ze waren al zo warm met de stock coolers (die ook al niet te min zijn) en werden slechts een paar graden koeler dan de stock koelers op idle. Op full load thermal throttlen ze dus het is een beetje moeilijk inschatten hoeveel het nou echt geholpen heeft. Ik denk dat jij en @keur0000 gelijk hebben en ik meer lucht moet forceren. Misschien dat die Noctua fans meer voor stilte dan voor performance ontworpen zijn.

Als de straaljagers acceptabel zijn denken jullie dus wel dat luchtkoeling the way to go is. Heb vanmiddag wat meer research gedaan naar waterkoeling, en ik heb gezien dat het ook wat onderhoud vergt. Dingen als bacterie/algen kunnen in je loop vormen, zelfs als je de juiste toevoegingen gebruikt.

[keur0000]

d-snp schreef op woensdag 23 oktober 2019 @ 16:54:
@Eldunari thanks! ja, ze waren al zo warm met de stock coolers (die ook al niet te min zijn) en werden slechts een paar graden koeler dan de stock koelers op idle. Op full load thermal throttlen ze dus het is een beetje moeilijk inschatten hoeveel het nou echt geholpen heeft. Ik denk dat jij en @keur0000 gelijk hebben en ik meer lucht moet forceren. Misschien dat die Noctua fans meer voor stilte dan voor performance ontworpen zijn.

Als de straaljagers acceptabel zijn denken jullie dus wel dat luchtkoeling the way to go is. Heb vanmiddag wat meer research gedaan naar waterkoeling, en ik heb gezien dat het ook wat onderhoud vergt. Dingen als bacterie/algen kunnen in je loop vormen, zelfs als je de juiste toevoegingen gebruikt.

Koop geen all in one waterkoel setje aub, dat ga je echt niet willen bij een 250W cpu en constante hoge belasting .
Moet dan echt een zelf samengesteld systeem worden (highflow om advies vragen?)

[Eldunari]

Als je het kunt luchtkoelen is dat de betrouwbaardere en goedkopere optie. Dus dat raadt ik in eerste instantie aan.

Die Noctua ventilators kunnen prima genoeg koelen. Je moet eens in je bios kijken hoe de fan curve zit.

Als je gaat overclocken en echt maximale koeling nodig hebt is waterkoeling zeker een optie.
Waterkoeling met degelijke componenten en gedestilleerd water heeft vrij weinig onderhoud nodig. Als je een dergelijke loop 1 keer per jaar ververst is dat voldoende.
Maar er zijn een aantal dingen waar je op moet letten. Met name dat alles koper of nickel is. Je een d5 pomp gebruikt (gezien de dure hardware is de meerprijs van een betrouwbare d5 pomp tov een goedkoper type verwaarloosbaar)
Maak de radiators van binnen goed schoon voor installatie.
Alphacool heeft een speciale 80mm serie radiators uitgebracht voor 2u racks.
En verder zou je allemaal off the shelf parts kunnen gebruiken.

[ Voor 6% gewijzigd door Eldunari op 23-10-2019 17:09 ]

[chaoscontrol]

HP DL325 G10 zijn er met EPYC 64 cores in 1U dus het moet te doen zijn. Zal wel veel fans nodig hebben en een goede flow. Kan je niet beter een prebuilt server kopen (zoals die HP)?

[tweakict]

NOFI!

Ik lees: op mijn WERK / iets met onze KLANTEN en dan ZELFBOUWSERVERS...

IMHO zou ik lekker HPE / DELL kopen voor dit soort zaken. Bijvoorbeeld: Dell PowerEdge R7415 met maximaal 2 AMD EPYC 32 core CPU's EDIT: of zelf met 2 x 64 cores: KLIK

Dan heb je redundante voedingen / nic's en minder 'gedoe' met koeling... Wel de ruimte goed koelen en of denken aan in-rack-koeling met een koude (voorkant) en warme (achterkant) zone.

[ Voor 18% gewijzigd door tweakict op 23-10-2019 17:25 ]

[d-snp]

Ik heb naar de R7515 gekeken, is een leuk ding. Maar ik hoef geen 15.000 euro te betalen voor iets dat minder kan 1 machine van de 3 machines die ik samen voor 12.000 euro heb gekocht.

Heb overwogen om nu we er meer nodig hebben om toch op Dell of HP over te stappen. Maar economisch kan het gewoon niet uit, ik kan een hele developer een jaar betalen van het verschil tussen zelfbouw, en Dell machines, en dan leveren dus nog shittiere service aan onze "KLANTEN" ook, omdat we minder snel en duurder zijn. NOFI

Onze klanten merken niets van onze compute cluster verder, want onze diensten zijn gewoon lekker in de cloud gehost bij Google.

Ik vind het nice om op ThreadRipper over te stappen omdat die chips misschien iets meer ingericht zijn op 24/7 belasting, en misschien op NVidia Tesla T4's, zodat NVidia wat liever voor ons is met drivers, maar de premium die Dell, HP en Xeon en EPYC kosten daar zie ik gewoon de waarde niet van in.

[superduper]

d-snp schreef op woensdag 23 oktober 2019 @ 17:32:
Ik heb naar de R7515 gekeken, is een leuk ding. Maar ik hoef geen 15.000 euro te betalen voor iets dat minder kan 1 machine van de 3 machines die ik samen voor 12.000 euro heb gekocht.

Heb overwogen om nu we er meer nodig hebben om toch op Dell of HP over te stappen. Maar economisch kan het gewoon niet uit, ik kan een hele developer een jaar betalen van het verschil tussen zelfbouw, en Dell machines, en dan leveren dus nog shittiere service aan onze "KLANTEN" ook, omdat we minder snel en duurder zijn. NOFI

Onze klanten merken niets van onze compute cluster verder, want onze diensten zijn gewoon lekker in de cloud gehost bij Google.

Ik vind het nice om op ThreadRipper over te stappen omdat die chips misschien iets meer ingericht zijn op 24/7 belasting, en misschien op NVidia Tesla T4's, zodat NVidia wat liever voor ons is met drivers, maar de premium die Dell, HP en Xeon en EPYC kosten daar zie ik gewoon de waarde niet van in.

Klinkt als een perfect scenario voor een belangrijke levensles in bedrijfsvoering. Veel succes.

[d-snp]

Wat gaat de les dan zijn? Kan iemand me een Dell verkopen?

Om duidelijk te zijn, ik heb een vergelijkbaar systeem samengesteld op basis van die R7415, voor ~14.000 euro. Als ik er 10 koop, is dat 140.000 euro. Als ik 10 van de zelfbouw machines samenstel is dat 40.000 euro. Dat betekent dat ik 100.000 euro extra betaal voor de IDRAC, het Dell logo, de EPYC en de NVidia Tesla. Qua performance ga ik er een stukje op achteruit.

Met welk argument moet ik komen om mijn CEO te overtuigen dat dat sense maakt? als ik 20.000 euro reserveer om kapotte machines te vervangen, en zo nu en dan een ritje te maken naar het data center, hou ik nog steeds genoeg geld over om een ervaren software ontwikkelaar in dienst te nemen, of een extra drone te laten vliegen.

Wat gaan die consumenten dingen doen? ontploffen? gaat de 40.000 euro investering 100% verloren? Om duidelijk te zijn, ook al hadden we de eerste week problemen met random reboots, volgens mij hebben de afgelopen paar maanden de machines al voor meer dan hun waarde aan opdrachten verwerkt. De reboots zijn nu verholpen, waarschijnlijk dankzij een chipset driver update.

[ Voor 90% gewijzigd door d-snp op 23-10-2019 18:00 ]

[GoldenBatt]

Ben zelf geen prof in de ICT dus neem mijn woord met een beetje zout, maar volgens mij betaald je bij die dure servers vooral voor support. Je koopt een machine die gewoon werkt, en als er wat is lossen ze dat snel voor je op! Je krijgt een machine waar al onderzoek na is gedaan, ding is waarschijnlijk zo compact mogelijk, met koeling die ook gewoon voldoende is.

Al die uren die jij nu steekt in het onderzoeken naar een oplossing voor je koeling, uitzoeken van hardware, het testen of het compatible is met elkaar, bij stabiliteits issues het nodig uitzoek werk enz enz enz is iets wat daar bij allemaal al is gedaan. Daardoor kan je zelf bezig met je core business, centen verdienen. Zo'n "dure" server zou zichzelf terug moeten verdienen.

[superduper]

d-snp schreef op woensdag 23 oktober 2019 @ 17:50:
Wat gaat de les dan zijn? Kan iemand me een Dell verkopen?

Om duidelijk te zijn, ik heb een vergelijkbaar systeem samengesteld op basis van die R7415, voor ~14.000 euro. Als ik er 10 koop, is dat 140.000 euro. Als ik 10 van de zelfbouw machines samenstel is dat 40.000 euro. Dat betekent dat ik 100.000 euro extra betaal voor de IDRAC, het Dell logo, de EPYC en de NVidia Tesla. Qua performance ga ik er een stukje op achteruit.

Met welk argument moet ik komen om mijn CEO te overtuigen dat dat sense maakt? als ik 20.000 euro reserveer om kapotte machines te vervangen, en zo nu en dan een ritje te maken naar het data center, hou ik nog steeds genoeg geld over om een ervaren software ontwikkelaar in dienst te nemen, of een extra drone te laten vliegen.

Wat gaan die consumenten dingen doen? ontploffen? gaat de 40.000 euro investering 100% verloren? Om duidelijk te zijn, ook al hadden we de eerste week problemen met random reboots, volgens mij hebben de afgelopen paar maanden de machines al voor meer dan hun waarde aan opdrachten verwerkt. De reboots zijn nu verholpen, waarschijnlijk dankzij een chipset driver update.

Ik snap je eerste lijns gevoelens dat het goedkoper is, maar je houd het niet vol als de toko groeit. Je hebt support en toekomstbestendigheid nodig. Eé'n keer een calamiteit met je data en dat kost je vele malen meer. Ik weet waar je vandaan komt, been there done that. Ontploffen zal wel meevallen, maar instabiliteit of corruptie is een grotere sluipmoordenaar.

[d-snp]

Het support argument heb ik eerder gehoord, en eerlijk gezegd geloof ik er niets van. Heb zo'n ding van 14.000 euro in mijn winkelmandje gegooid, had er een vraag over en het beste dat ze voor me konden doen is een chatsessie met iemand in India die niet wist waar ik het over had.

Als ik een maximaal snelle machine wil, voor een zo'n laag mogelijke prijs, want performance is geld voor ons, welke Dell medewerker gaat me daar mee helpen? Gaat ie me de snelste PCI 4.0 NVMe SSD verkopen, of smeert ie me een SAS backplane aan? Gooit ie dan ruwe Gbps naar me, of kan ie me ook wat vertellen wat de latency en de random iop/s zijn? Welke NVidia GPU gaat ie me verkopen, en waarom? Ik geloof er niets van dat ik een goede deal met hun kan sluiten zonder eerst zelf expert te worden.

@superduper dat snap ik, maar het is belangrijk in gedachten te houden dat deze machines geen data opslaan, en geen dienst verlenen aan onze eindgebruiker, het zijn slechts dataverwerkers. Onze drone operators slepen hun data van SD kaartjes naar een NAS, dan anonimiseert een machine de data, gaat de anonimiseerde naar een ander mapje, en wordt de originele data verwijderd, dan plukt deze cluster een kopie van de data naar een lokale SSD, doet een verwerking waar ze 1-7 dagen over doen met z'n allen, eindresultaat wordt geupload naar de cloud. Als een machine faalt, op welke manier dan ook, dan is de hoogste kost dat het verwerken een paar dagen langer duurt.

Ik wil niet overkomen alsof ik de waarheid in pacht heb, en ik sta honderd procent open voor suggesties. Ik ben geen netwerk- of systeembeheerder van beroep, en ik heb dan ook al onze systemen netjes ge-outsourced naar Google's platformdiensten. Maar Google's dataverwerking oplossingen zijn te duur, en zoals ik het zie is de hardware die Dell bied ook te duur. Zoals we het nu lokaal oplossen lijkt mij een goede middenweg. We zitten op een professionele lokatie bij een ander bedrijf, netjes met een goede firewall afgeschermd, hun netwerkbeheerder kijkt wat zuur naar onze RGB ledjes, maar het zoemt allemaal lekker verder.

[c-nan]

Ik heb verschillende servers in beheer gehad. Nooit waterkoeling gebruikt of nodig gehad. Ook nooit actieve CPU koelers gebruikt. Gewoon een groot koelblok op de CPU en daar heel veel heel hard lucht tegen aan blazen. Nadeel is wel heel veel geluid

[dylan111111]

Hier mijn input er over.

Een 3900X verbruikt wel meer dan 100Watt, het TDP is geen indicatie wat een chip werkelijk verbruikt.
Een Threadripper cpu is ook een stuk groter waarbij de warmte meer verspreid is en meer warmte overdracht heeft naar het koelblok.

Ik heb ook een NH-U9DX i4 met een Xeon E5 2683 v3 en die wordt max 70 graden na 3 uur prime95 Small FFTs load. De fan staat op 100% ?
Het is ook belangrijk dat er genoeg lucht en en uit de kast gaat om die NH-U9DX i4 goed zijn werk te laten doen. Het is geen groot koelblok namelijk.

Je wilt in een bedrijfsomgeving zo min mogelijk zelf onderhoud/risico's aan de hardware, waterkoeling zou ik dan niet nemen.

Maak een keuze wat je wilt, 2U koelen kan prima met lucht koeling maar maakt wel veel lawaai. Je kan bijvoorbeeld een Dynatron A26 nemen voor in een 2U build. Met een 4U build kan het wel wat stiller en kan je inderdaad voor een NH-U9 TR4-SP3 gaan.

Betreft het support argument zou ik gewoon voor het goedkoopste gaan in dit geval. Het is niet bedrijfskritisch en prima zelf te beheren wat ik zo lees. Hou dit wel scherp en wees er op tijd bij mocht dit veranderen.

[maratropa]

zat grote toko's die juist voor zelfbouw gaan, of iig ooit gegaan zijn. Google, FB, backblaze, etc. Iig is er blijkbaar een context waarin dat zinvol is. Ik geloof ook niet zo in de must van een grote OEM in bepaalde situaties. Zo lang je maar over de risico's nadenkt.
En bijv. snelle support bij defecten slaat ook nergens op bij dat soort prijzen. Met zelfbouw leg je er gewoon een paar op de plank voor hetzelfde bedrag.

@d-snp 2U goed koelen met lucht is gewoon, zoals al gezegd, heel veel airflow door de 2U koelblokjes jagen met veels te luide kleine intake & exit fans.

Al kan ik me ook nog wel een custom rackoplossing met aio waterkoelers bedenken oid.

[Operations]

2U kan ik je niet echt mee helpen. Als je het bij 4U houdt zou je kunnen kijken naar de industrial fans van Noctua. Die maken een hoop lawaai @100% maar er gebeurt dan ook zeker wat

[wagenveld]

Toevallig net gepost, waterkoeling in 2U
YouTube: Building the ULTIMATE Minecraft Server

[d-snp]

Ja die had ik ook voorbij zien komen! Was al even diep in de waterkoeling wereld gedoken, met het idee om die mooie Koolance quick connects te gebruiken om een hele rack met 1 loop te doen, dus dat er onderin de rack 4U met 140mm radiators, en een dikke pomp, die dan een aantal machines erboven koelt.

Dat was leuk om over de fantaseren, maar de rest heeft gelijk, en als luchtkoeling het aankan is het gewoon niet praktisch om voor waterkoeling te gaan. Felle 80mm tornadootjes moeten het gaan maken.