Mini render cluster koelen met WTW (+airco)

Pagina: 1
Acties:

Acties:
  • 0 Henk 'm!

  • d-snp
  • Registratie: Januari 2005
  • Laatst online: 25-07 21:43
Hoi Tweakers,

We hebben op ons kantoor een kleine renderfarm, op het moment 6 machines, op middellange termijn verwachten we dat dat nog een keer of 2 verdubbeld. Deze machines staan 24/7 lekker te bakken, op het moment is dat ~2300W als ik de PDU's kan vertrouwen. Deze warmte wapperen we nu het gebouw door, maar het is wel duidelijk dat nu onze operatie de machines steeds optimaler belast, we snel moeten gaan denken aan actievere koeling.

Heb al wat rondgesneupt, en als we aan de buitenlucht willen koelen, dan lijkt het i.v.m vochthuishouding een goed idee om met een WTW te werken. Dan kun je de lucht in je serverruimte laten circuleren, en blijft alles lekker stabiel.

Nou wil ik niet maar random zo'n ding (of een paar) aanschaffen en hopen dat het kouder word, dus ben ik wat back of the envelope gaan rekenen om een ballpark te krijgen van hoeveel warmte dit gaat afvoeren.

Stel, we hangen een Brink Renovent Sky 300 op. Die verplaatst ongeveer 300m3/h, en wisselt dat dan aan de buitenlucht met een efficientie van ongeveer 95%. Stel dan, het is buiten 20 graden, en de servers verwarmen de lucht tot 30 graden (ik snap dat je dit niet zo kunt stellen, hoe sneller de lucht hoe minder die verwarmt wordt natuurlijk, maar het versimpelt de berekening). Online vond ik m*C_p* dT = P. C_p voor lucht is 1, en dT is 5 graden (warmtewisseling met verschil van 10 graden op ~100% efficientie), en m is dan die 300m3/h * 1.28 (de dichtheid van lucht) dus 300*1.28*5 = 1920W.

Mijn conclusie is dan dat onder die omstandigheden de 300m3/h WTW ongeveer 2000W aan de ruimte onttrekt. Ligt dat in de buurt van de waarheid?

Als het serieus zomer wordt zullen we de boel aanvullen met een airco, is het plan althans, als alles naar plan verloopt is er dan budget voor.

Acties:
  • +1 Henk 'm!

  • Ernemmer
  • Registratie: Juli 2009
  • Niet online
Waarom zo moeilijk doen? Voor het vocht hoeft het niet, aangezien het binnen warmer is dan buiten.

Acties:
  • 0 Henk 'm!

  • d-snp
  • Registratie: Januari 2005
  • Laatst online: 25-07 21:43
Ik weet het niet 100% zeker, maar in alle threads die ik over buitenlucht koeling lees hoor ik dingen over vochthuishouding en warmtewisselaars. Er was laatst ook een groot datacentrum in Amsterdam in het nieuws omdat ze hun warmte afvoerden met een warmtewiel. Blijkbaar vonden zij het ook geen cool idee om maar gewoon buitenlucht hun datacenter in te blazen.

Maar ik kan je punt wel volgen, zolang het warmer is in je datacenter dan buiten, zal vocht niet condenseren en eerder zelfs vocht worden onttrokken aan je hardware. Misschien is er dan te weinig vocht en krijg je last van statische electriciteit ofzo? Ben nu maar aan het gokken.

Acties:
  • +2 Henk 'm!

  • PcDealer
  • Registratie: Maart 2000
  • Laatst online: 24-08 03:17

PcDealer

HP ftw \o/

Staan de machines nu in de open ruimte in het kantoor of in een aparte ruimte?

Kijk hier eens @d-snp: https://www.se.com/ww/en/...ument/SPD_KSIH-9P2TSK_EN/

[ Voor 36% gewijzigd door PcDealer op 16-02-2020 01:16 ]

LinkedIn WoT Cash Converter


Acties:
  • 0 Henk 'm!

  • d-snp
  • Registratie: Januari 2005
  • Laatst online: 25-07 21:43
Thanks! De rack staat in een aparte technische ruimte.

Acties:
  • +1 Henk 'm!

  • Will_M
  • Registratie: Maart 2004
  • Niet online

Will_M

Intentionally Left Blank

Misschien wel leuk om te vertellen met wat voor een machines je je renderfarm opgebouwd hebt? Aan het opgenomen vermogen te zien is het géén professioneel (19" / xU) materiaal? Ook je switches / routers produceren warmte welke je 't liefst zo effectief mogelijk UIT je rack wilt houden.

Een 'warme - koude' straat principe zal waarschijnlijk wel te hoog gegrepen zijn nu?

Ik kom wel eens bij klanten in data-rooms en dan hebben ze een hele mooie (én dure) warme-koude straat waarbij alle 'blindplaten' nog keurig ongebruikt in de dozen liggen én er vervolgens, tot overmaat van ramp, ook nog legborden in de Server Racks gebruikt zijn.... De 'Airco' verbruikt vervolgens méér stroom dan alle servers bij elkaar om 't spel nog een beetje koel te kunnen houden :o

[ Voor 33% gewijzigd door Will_M op 16-02-2020 15:51 ]

Boldly going forward, 'cause we can't find reverse


Acties:
  • 0 Henk 'm!

  • d-snp
  • Registratie: Januari 2005
  • Laatst online: 25-07 21:43
Hoe toont het opgenomen vermogen iets over de form factor van de hardware? Het zijn 3 4u machines en 3 3u. Het is allemaal wel consumenten hardware, vooral omdat professionele hardware minder performant is, en natuurlijk vrij prijzig. 3 9900K's en 3 3900X. Als je daar de beweegredenen voor wil heb ik er 2 andere threads over gepost.

Het is zeker wel het plan om de warme zijde te isoleren, het is maar 1 rack dus ik weet niet of je van een straat zou kunnen spreken. Geen legborden, er zijn een paar kleine apparaatjes die de PDU's als legbord gebruiken, maar unifi heeft ook daar net een rack variant van uitgebracht dus die zullen snel vervangen worden, dan is de hele rack netjes.

@Will_M De switches en andere prullaria die aan de achterkant hangt, hoe koel je die doorgaans? De 10Gbit switch en de PoE switches maken ook best wat hitte. Ik ga er nu een beetje vanuit dat die wel lekker luchten, maar als ik straks de lege rackspace ga blinderen dan hangen ze effectief in de hot zone hete lucht naar binnen te slurpen..

[ Voor 39% gewijzigd door d-snp op 17-02-2020 21:16 ]


Acties:
  • +1 Henk 'm!

  • Bl@ckbird
  • Registratie: November 2000
  • Niet online
19 Inch rack servers zuigen aan de voorkant koude lucht aan en blazen dit via de voedingen aan de achterkant weer uit. Alle warme lucht moet naar 1 zijde van het rack blazen. Bij sommige switches (vaak specifiek datacenter switches) kan je de airflow omkeren door andere fans (front-to-back naar back-to-front) of door de switch andersom in het rack te hangen.

PoE switches hebben zware voedingen, maar de meeste warmte (in ieder geval het PoE gedeelte) wordt buiten het datacenter / server ruimte afgegeven via warmte. (Bekabeling en stroom verbruik van het PoE apparaat.) Voor koeling berekening hoef je alleen rekening te houden met het stroomverbruik van de switch zonder het PoE vermogen.

Blindplaten en vloertegels zijn de goedkoopste manier om te koelen, heb ik van een consultant van APC / Schneider Electric geleerd :)

Vochtige lucht is niet goed, maar erg droge lucht levert statische elektriciteit op. Vandaar dan consumenten airco's niet voldoen voor een server ruimte. Daarnaast blazen ze alle kanten op, i.p.v. met een koude / warme zone te werken.

~ Voordelig Zelf Vliegen? ~ Sent using RFC 1149. Note: No animals were harmed during this data transfer. ~


Acties:
  • +1 Henk 'm!

  • Ernemmer
  • Registratie: Juli 2009
  • Niet online
Koude/warmte zones zijn natuurlijk leuk, maar voor 6 renderbakken in een rack lijkt dat mij erg overbodig.
Als je er een consumenten airco neerhangt ben je een stuk goedkoper uit en werkt voor deze setup ook gewoon goed.

[ Voor 3% gewijzigd door Ernemmer op 18-02-2020 11:34 ]


Acties:
  • +3 Henk 'm!

  • Uberprutser
  • Registratie: Januari 2000
  • Laatst online: 19-09 15:07
Hier hobby Bob: hoeveel U neemt het in gebruik?

In de good old days had ik een half rack met renderspul (lees: verwarming) en daar heb ik een mooie plaat trespa in gezet met een 140mm gat erin, flexibele buis die lucht uit een andere ruimte trok (met een mooie panty ertussen) en aan de achterkant ongeveer hetzelfde, maar dan naar buiten. Passief systeem welke door de apparatuur zelf wordt geregeld (fans zuigen / voeren af).

Niet ideaal, maar met dit soort apparatuur burn je in twee - drie jaar helemaal af dus aparte koeling of een WTW lijkt mij overkill. Liever de knaken apart houden voor vervanging.

Tot zover Hobby Bob.

[ Voor 7% gewijzigd door Uberprutser op 18-02-2020 16:00 ]

As you may already have guessed, following the instructions may break your system and you are on your own to fix it again.


Acties:
  • 0 Henk 'm!

  • d-snp
  • Registratie: Januari 2005
  • Laatst online: 25-07 21:43
Ik heb een vergelijkbaar plan, de rack blinderen, een koude kant realiseren, daar dan frisse lucht in blazen. Restwarmte afvoeren naar rest van het gebouw.

Misschien moet ik het maar iteratief aanpakken. Eerst maar eens buitenlucht naar binnenkrijgen, en dan de luchtvochtigheid en temperaturen monitoren. Als een van de waardes de verkeerde kant op gaat dan kunnen we daar dan weer op corrigeren.

Acties:
  • +1 Henk 'm!

  • Frogmen
  • Registratie: Januari 2004
  • Niet online
De temperatuur en luchtvochtigheids gevoeligheid is gelukkig veel minder geworden zou het gewoon proberen.

Voor een Tweaker is de weg naar het resultaat net zo belangrijk als het resultaat.


Acties:
  • +2 Henk 'm!

  • johnkeates
  • Registratie: Februari 2008
  • Laatst online: 04-07 16:30
Is het het risico nog waard om zelf te hobby'en en in-house te renderen? Bij een willekeurige cloud-boer kan je on-demand renderen zo veel je maar wil. Kost ook geld, maar minder dan je zou denken en je hebt verder geen werk/investering aan hardware, koeling e.d. en het risico dat het kapot gaat en je dan een tijd niks kan tot er nieuwe hardware is heb je niet.

Acties:
  • +1 Henk 'm!

  • Uberprutser
  • Registratie: Januari 2000
  • Laatst online: 19-09 15:07
johnkeates schreef op woensdag 19 februari 2020 @ 15:19:
Bij een willekeurige cloud-boer kan je on-demand renderen zo veel je maar wil.
Maare, daar ga je echt niet dezelfde performance mee halen, tenzij je een euro per uur in de AWS machine gooit voor een flinke C5 instance. Zoals OP schreef staat het 24x7 te stampen, dus niet echt on demand werkbaar.

As you may already have guessed, following the instructions may break your system and you are on your own to fix it again.


Acties:
  • +1 Henk 'm!

  • johnkeates
  • Registratie: Februari 2008
  • Laatst online: 04-07 16:30
Uberprutser schreef op woensdag 19 februari 2020 @ 17:27:
[...]

Maare, daar ga je echt niet dezelfde performance mee halen, tenzij je een euro per uur in de AWS machine gooit voor een flinke C5 instance. Zoals OP schreef staat het 24x7 te stampen, dus niet echt on demand werkbaar.
Ik zou eerder voor een p3.8xlarge gaan met 4x Tesla GPUs en dan een savings plan (of een van de marketplace, nog goedkoper). Dat die dingen constant staan te stampen zal ook aan de performance liggen. Stel dat je een oneindige queue hebt met render projecten dan ga je idd eerder een reserved upfront 3 year nemen, helft van het geld en wel alle voordelen van het beperken van risico en het investeren in hardware die je toch moet afschrijven.

Aan de andere kant: als je je de potentiële downtime en andere risico's kan permitteren is non-redundant consumentenhardware draaien na ~3 maand al goedkoper.

[ Voor 9% gewijzigd door johnkeates op 19-02-2020 18:00 ]


Acties:
  • 0 Henk 'm!

  • d-snp
  • Registratie: Januari 2005
  • Laatst online: 25-07 21:43
In datacenters hebben ze alleen maar Xeon's, die zijn te traag en niet kostenefficient voor ons. Meer dan een GPU is niet heel erg nuttig voor onze workload, een tweede 2080ti verbetert de rendertijd met ~12%. De snelste Xeon is 25% trager dan de 9900KS.

@johnkeates heeft gelijk, deze cluster heeft zich binnen een half jaar terugverdiend, en de downtime is niet echt een probleem, vooral nu we er 6 hebben, en hopelijk binnenkort 12.

Acties:
  • +1 Henk 'm!

  • johnkeates
  • Registratie: Februari 2008
  • Laatst online: 04-07 16:30
d-snp schreef op woensdag 19 februari 2020 @ 22:40:
In datacenters hebben ze alleen maar Xeon's, die zijn te traag en niet kostenefficient voor ons. Meer dan een GPU is niet heel erg nuttig voor onze workload, een tweede 2080ti verbetert de rendertijd met ~12%. De snelste Xeon is 25% trager dan de 9900KS.

@johnkeates heeft gelijk, deze cluster heeft zich binnen een half jaar terugverdiend, en de downtime is niet echt een probleem, vooral nu we er 6 hebben, en hopelijk binnenkort 12.
Hangt natuurlijk van je workload af, maar een "datacenter" vs. AWS is toch wel wat andere koek, je kan bijv. prima Xeon Scalable en AMD EPYC CPU's krijgen, ook bare metal. Het gaat meestal om risico's en randvoorwaarden die je wel/niet accepteert en zodra je geen gebruik maakt van de redundantie/faciliteiten buiten puur de cores/ram/storage is een cloud (en eigenlijk zelfs basic bitch colocation) al niet meer zinvol na 2 maanden.

Wat koeling betreft: heb je al gemeten wat de huidige luchtvochtigheid is?

[ Voor 3% gewijzigd door johnkeates op 19-02-2020 22:47 ]

Pagina: 1