Aanpassing meterkast.

[franssnarf]

Mijn vraag:

Binnenkort gaan we het een en ander verbouwen bij ons op kantoor maar loop nog tegen wat uitdagingen aan, we hebben wat servers staan waarmee we willen gaan werken die tegelijk gaan draaien.
Nu is het zo dat er nog niet bepaalt is(qua stroom) wat er precies gaat komen maar ik ben al wel vast aan het uitrekenen en daarbij heb ik jullie hulp nodig.
Als ik meerdere servers wil aansluiten kom ik met het geval dat het teveel wordt voor een groep althans zoals ik het bereken.

Even een paar cijfers:
Elke server heeft 1 voeding die 230v/5a vraagt (volgens plaatje) dat betekent dat er een maximum van 1150w per server gevraagd kan worden.
De server stoot 750w uit naar binnen, maar het verbruik is laag de cpu verbruik heeft 2 piekpunten met onze software (bij opstarten en afsluiten programma=95%) tussendoor is hij max 10% bezig dus stroomverbruik licht dan ook laag.(is mijn gedachte)
Nu willen we meerdere servers gaan aansluiten (tussen de 20 en 30) waarvan er de helt altijd draait.

Nu wil ik zoveel mogelijk servers op 1 groep maar dat zou dan officieel 3 zijn (uitgaand van 230v/16a groep).
Er gaat een krachtstroom groep aangelegd worden van 400v/32a of 400v/64a die geheel beschikbaar wordt hiervoor, deze splitsen we op naar 6 of 12 groepen van 230v/16a met elk een eigen c16 automaat.
Is het dan nog steeds zo dat er maar 3 op in zon groep mag qua berekeningen zeg ik ja maar een server verbruikt niet constant 1150w lijkt me enkel op piekmoment en de servers hebben niet altijd tegelijk hun piekmomenten want software start en stopt op verschillende momenten.

Dus even ingekort is 400v/32a naar 6x230v16a is per groep 3 servers is een totaal van 18 servers.
of 400v/64a (of 2x32a) is per groep 3 servers is een totaal van 36 servers.

Kijkend naar een data centrum zie ik altijd een hele rack vol met maar 2 binnenkomende groepen (a en b voor powerfailure) hoe doen hun dat.Er zitten dan aan beide kanten 2x2 blokken van 8 die aan elke kant geschakeld zitten en dan weer op 2 aparte groepen zitten.(niet elk rack is vol maar servers zijn zwaarder/vragen meer)

Mijn vraag is waar verkijk ik mij nu op of kloppen mijn berekeningen of zit ik met huis tuin en keukenstroom gedachte en is kracht anders.

[DJSmiley]

Beetje high-density rack heeft vandaag de dag 32A beschikbaar (per feed). Maar je kan natuurlijk niet 64A gebruiken, want dan gaat het hele idee van dual-feed de mist in.

Wat trekken de servers ECHT? De grootste zuipers zijn storagebakken. Een normale node valt nog wel mee (die is met 400W al heel zwaar belast)

Hoe verdeel je feeds? Ik zou 1 feed via je UPS doen, en een 2e direct op het net. Dan draait je handel ook door als je UPS het laat afweten.
Ik lees alleen dat je maar 1 voeding per server hebt. Dat betekend dat het relatief oude/simpele bakken zijn. Grote kans dat je met 1 nieuwe zwaardere bak ook al een enorme hoop stoom kan besparen (en verhoogde betrouwbaarheid / snelheid).
En wat zijn die voedingen? 750 of 1100W?

Heb je nu iRMC/idrac/ilo oid waarmee je het echte verbruik kan uitlezen?
Tenzij je het over een bladechassis of een storagebak met 12+ disks hebt geloof ik echt niet dat een server 700W trekt. Of je moet antieke Xeons met SCSI disk hebben draaien.

Zorg ook voor een externe bypass, dan kun je de UPS ook vervangen zonder dat je hok plat gaat.

Verder: Hoe doe je de koeling? Hoeveel racks wil je plaatsen? Ik gok dat je met 2 kasten wel af kan. (48U, neem wel diepe kasten)

In alle gevallen: Raadpleeg ook een goede installateur voor het ontwerp. Denk ook aan overspanningsbeveiliging.

Globaal: 15 servers a 400 watt gemiddeld = 6kW. Dat is peanuts. Houd overigens ook rekening met de faseverdeling. Je zou eens bij Rittal kunnen kijken. In een 'normaal' DC zijn er kasten zat en kan er gewoon 32A naar een rack, en wordt de faseverdeling wel geregeld doordat er veel servers hangen.
In kleinschalige oplossingen zou je kunnen kijken om alle fases per rack beschikbaar te maken, zodat je zelf de load een beetje kan verdelen. Rittal heeft hiervoor het PSM systeem

Met (ongeveer) 6kVA vermogen (even wat ruimer aangehouden 10kVA) heb je zo'n 12kVA aan vermogen nodig (je UPS geeft ook wat verliezen en je wilt wat marge houden).
12kVA = 18A per fase.

Met 32A vind ik dat persoonlijk wel wat krap als daar ook je koeling op moet. Een airco van zeg 15kW doet ook zo'n 5kW aan stroom als ie maximaal draait. Dan zit je op 25A per fase. Met het oog op aanloopstromen enz zou ik liever wat ruimer gaan zitten. Met 32A kan het wel, maar neem dan wel smeltpatronen. Die reageren net ff wat trager dan een automaatje.

Beter is de UPS in een aparte ruimte. Maar dan zul je ook daar een (kleine) airco moeten hebben. Op termijn wel goedkoper: Je UPS hok zet je op 18-20 graden, terwijl je servers rustig op 25 graden kunnen draaien. Dat is een stuk goedkoper dan alle servers ook op 18 graden te zetten (= duur en onnodig aan koeling), of je UPS bij je servers te zetten (met 25+ graden kun je de accu levensduur halveren....)

[unezra]

Wat je server verbruikt hangt sterk van het merk en model af. Mijn ervaring met HP DL360's en DL380's G6, G7 en Gen8 (2x 4-core en 2x 8-core) is dat ze in regulier bedrijf rond de 200W vragen. Tijdens boot kan het wat meer zijn en belast je ze vol kan het nog wat meer worden, maar reken op 200-250W per machine.

Op een enkele 16A groep kun je dus grofweg 10 van die dingen kwijt, al zou ik in de praktijk minder machines op 1 groep zetten. (Al hangt dat er wel vanaf of het een labsetup is, of bedrijfsproductie. In een labsetup is het minder spannend als je zekering een keer klapt, in bedrijfsproductie is dat behoorlijk vervelend.)

Hoe veel je airco trekt hangt erg af van de efficiëntie van je airco. Ik dacht dat je per kW opgenomen (en bijna volledig aan warmte uitgestoten vermogen), tussen de 10% en 20% aan koelend vermogen nodig heb maar die exacte berekenign heb ik op kantoor liggen en kan ik dinsdag voor je nazoeken. Wel is het belangrijk of je inverters hebt (die terug kunnen schakelen en dus bij minder benodigd koelvermogen terug schakeen), of airco's die maar 2 standen kennen: aan of uit.

UPS heeft dacht ik ook nog een verlies van tussen de 10% en 20%, afhankelijk van het type UPS. Opgenomen vermogen hangt ook weer af van of je UPS leeg is (en dus moet laden), of vol is (en dus niet hoeft te laden).

Die 750W voor een server ga je waarschijnlijk in ieder geval niet halen, tenzij je extreem zware servers of heel oude gebakjes hebt. Onze Gen8's pakken in vol bedrijf rond de 180W bij een 2x8-core CPU en tussen de grofweg 300 en 400G geheugen. (Geen storage, dat ligt centraal op een NAS.)

Ook daar, de vermogensberekening die ik heb gemaakt om te bepalen wat we precies aan stroom verbruiken (zodat we weten wat we moeten inkopen voor migratie naar een extern datacenter) heb ik op kantoor liggen. Als het interessant voor je is, geef een gil, zoek ik het er dindsdag of woensdag even bij. Daarin staan ook de verliezen op airco, UPS en wat onze switches en storage systemen nodig hebben. Geeft een aardige richtlijn. Yet, check zoals anderen ook zeggen ook je servers zelf. Vermogen dat op de voeding staat zegt *niets* over het werkelijk opgenomen vermogen.

[franssnarf]

Om mee te beginnen er komen geen racks de servers liggen op een plank 2 hoog (met rubbers ertussen voor wat lucht koeling).Deze staan in een magazijn met geen koeling via airco.
Dit alles moet je ook niet zien als datacentrum.

Servers zijn idd niet de nieuwste maar voor ons doel perfect(lees zkkr 5 jaar oud), elke server gaat per sessie 12 sata/sas drives draaien zon sessie start en stopt om de zoveel tijd.

De voeding geeft aan dat hij 230v/5a vraagt (=1150w piek)en intern 750w kan leveren.(hij kan natuurlijk meer aan maar plaatje geeft aan 110v en nog iets aan ampere en 230v/5a)

Alle servers gaan direct op het stroomnet zonder ups want stroomuitval is niet erg,we verwachten alleen landelijke uitval (kans nihil natuurlijk) daarom de vraag wat zorgt ervoor dat de servers blijven draaien zonder dat de groep eruit klapt.

De hal is voorzien van 3 fase vanaf buiten met al enkele krachtgroepen aanwezig die niet gebruikt worden.(mix van 32 en 64a en ook standaard 230v/16a groepen)

Alle kabels en aansluitingen worden door een bedrijf aangelegd maar ik wil weten wat ik nodig heb, mijn som komt uit op 2x400v/32a groepen die een verdeelblok krijgen van elk 6x230v/16a groepen.(want elke fase mag 2x16a hebben).

Heb helaas geen uitlees kastje (nog niet) ga daarom even uit van het maximale maar mijn eerste gedachte was om 5 servers op een 230v/16a groep te zetten (die weer komt van een 400v/32a groep). maar dan zit je officieel over het aantal heen als het volle bak vraagt.

Edit: Ik denk dat ik mijzelf kapot staar op het plaatje van de voeding waarop staat inpunt 230v/5a.

[ Voor 3% gewijzigd door franssnarf op 14-04-2017 23:21 ]

[unezra]

Wat voor servers gaat het om?
Want op de meeste servers kun je gewoon uitlezen wat ze in bedrijf gebruiken. Da's heel wat beter dan schatten op basis van de vermogens van de voedingen.

UPS zou ik *zeker* doen, niet zozeer vanwege de overbruggingsperiode, maar omdat een UPS ook een spanningsfilter is. Piekspanning kan je servers slopen en da's ook in zo'n setup zonde.

Daarbij, koop een 19" rack. Dat kost 2e hands helemaal niet zo veel (gratis tot een paar honderd EUR) en is zo veel fijner dan het spul gewoon op plankjes leggen.

[franssnarf]

Het gaat om een flinke partij Asus RS720-E6/RS12 eerste datum is uit 2011. kan alleen geen echte info vinden over wat hij echt verbruikt.

Even heel krom voor iedereen er komt geen 19'' rack omdat dit niet werkbaar is voor ons idee en er komt ook geen ups omdat als er een server kapot gaat we een pallet naar beneden halen en een nieuwe neerleggen.
Alle servers komen niet aan het internet en draaien voor ons intern 1 programma en meer niet.

Er komen ook geen andere servers voor nu mits we een betere partij vinden. daarom ga ik uit van wat verbruikt deze server en wat heb ik nodig.
Alles hierna qua vervanging naar zuiniger is mooi dan kunnen we aan overschot van stroom mischien verdubbelen.

[DJSmiley]

Servers van 5+ jaar zonder ilo, enkele voeding, in een magazijn, op een plankje, zonder airco..

klinkt als een disaster-to-happen. Ik gok dat een storing doordat er een groep uitklapt nog je minste risico is.

Ik zou zeggen: Doe het goed of doe het niet. Een simpele patchkast in een (iig enigszins stofvrijere) ruimte is toch wel minimaal.

Maar wtf draai je dat je 15 servers draait voor 1 programma?

Als dat programma zo belangrijk is, dan draai je die op een bak die wat redundanter is uitgevoerd. Wat doen die andere 14 servers?

[ Voor 22% gewijzigd door DJSmiley op 14-04-2017 23:31 ]

[unezra]

franssnarf schreef op vrijdag 14 april 2017 @ 23:29:
Het gaat om een flinke partij Asus RS720-E6/RS12 eerste datum is uit 2011. kan alleen geen echte info vinden over wat hij echt verbruikt.

Hebben die dingen iets dat vergelijkbaar is met HP's ILO of Dell's DRAC?

Even heel krom voor iedereen er komt geen 19'' rack omdat dit niet werkbaar is voor ons idee en er komt ook geen ups omdat als er een server kapot gaat we een pallet naar beneden halen en een nieuwe neerleggen.
Alle servers komen niet aan het internet en draaien voor ons intern 1 programma en meer niet.

Ehm, ik dacht te begrijpen dat het om een test / lab / spielerij omgeving ging.
Maar het gaat om productie?

Ik snap niet zo goed wat er "niet werkbaar" is aan een net 19" rack met rails voor je servers en fatsoenlijke koeling. Met een piekspanning is het sowieso met wat pech niet 1 server die d'r aan gaat, maar *al* je servers. Kun je het, zonder productieverlies, opvangen als je hele setup in 1 klap de geest geeft? Zo niet: UPS.

Also, als het gaat om productie, doet het goed of doe het niet. Maar dan is ook de vraag waarom je op oude hardware gaat draaien en niet beter die hele handel servers verkoopt en investeerd in 2 of 3 nieuwe servers met supportcontract, etc.

Reken even uit wat het kost als al je servers er een uur of een dag uitliggen.
(En wat het kost als ze vervangen moeten worden, inclusief kosten voor het terughalen van je backups.)

Er komen ook geen andere servers voor nu mits we een betere partij vinden. daarom ga ik uit van wat verbruikt deze server en wat heb ik nodig.
Alles hierna qua vervanging naar zuiniger is mooi dan kunnen we aan overschot van stroom mischien verdubbelen.

Wat *is* je use-case precies? Want ik heb het gevoel dat hier wat meer achter zit dan alleen "wat verbruiken die servers aan stroom" en dat je er wellicht goed aan doet je hele plan even goed te bekijken voordat je je druk gaat maken over het stroomverbruik van die servers.

[franssnarf]

DJSmiley schreef op vrijdag 14 april 2017 @ 23:29:
Servers van 5+ jaar zonder ilo, enkele voeding, in een magazijn, op een plankje, zonder airco..

klinkt als een disaster-to-happen. Ik gok dat een storing doordat er een groep uitklapt nog je minste risico is.

Ik zou zeggen: Doe het goed of doe het niet. Een simpele patchkast in een (iig enigszins stofvrijere) ruimte is toch wel minimaal.

Maar wtf draai je dat je 15 servers draait voor 1 programma?

Als dat programma zo belangrijk is, dan draai je die op een bak die wat redundanter is uitgevoerd. Wat doen die andere 14 servers?

Stof is niet belangrijk 1x per maand compressor erdoor en klaar, kapot = vervangen.(nee we behandelen ze niet met handschoenen
Alle servers draaien het zelfde programma en doen hun ding op de schijven(die wisselen qua grote per batch) kan helaas niet vertellen wat we er precies mee doen enkel dat het niet belangrijk is of een server crasht of niet tijdens deze actie.
Elke server doet zijn ding tussen een kwartier en een hele dag, en gaat eigenlijk enkel uit bij problemen tussen alle acties in draait hij idle.

We gaan minimaal 15 servers draaien en maximaal 30 met eventueel uitbreiding in de toekomst.
Mijn gedachte kijkend naar de voeding is dat ze maximaal pers stuk 230v/5a opnemen maar ik twijfel hier heel sterk aan.

Voor doomdenkers er wordt niks illegaals gedaan enkel is dit voor ons de beste oplossing voor ons werk.

Edit: er komt ten alle tijde geen data op de servers die bewaard moet blijven, valt ie uit pech batch opnieuw.
Edit 2: ik verkijk me constant op wat ie kan hebben en niet wat ie verbuikt daarom mijn vraag wat is de beste opstelling qua stroom voor 30 van zulke bakken ik denk zelf een 400v/64a met verdeelers erachter naar 230v/16a maar dan zit je echt met overschot denk ik.
Andere optie is 400v/32a en dan verdeelers naar 230v/16a en alles daarop.

EXTRA UITLEG:
Extraextra edit: elke server is standallone en doet ziin eigen ding qua programma en 12 schijven.
Er draaien tussen de 1 en 24 servers tegelijkertijd en eventueel 8 als extra bulk)die aan de hand van het programma en de samenstelling van de op dat moment aanwezige hdds bezig zijn.
Mijn vraag Is dus eigenlijk als ze alle 24 aanstaan (even de 8 spare weggelaten)
Wat heb ik dan nodig aan stroom.

[ Voor 21% gewijzigd door franssnarf op 14-04-2017 23:57 ]

[Brahiewahiewa]

franssnarf schreef op vrijdag 14 april 2017 @ 23:37:
[...]
Mijn gedachte kijkend naar de voeding is dat ze maximaal pers stuk 230v/5a opnemen maar ik twijfel hier heel sterk aan...

Ja, dat heb je nu al vier keer gezegd. Maar wat wil je nu eigenlijk van ons?

Je geeft geen antwoord op vragen, suggesties voor verbeteringen schuif je terzijde en je blijft maar herhalen dat die 230V/5A waarschijnlijk fout is

[franssnarf]

Brahiewahiewa schreef op vrijdag 14 april 2017 @ 23:57:
[...]

Ja, dat heb je nu al vier keer gezegd. Maar wat wil je nu eigenlijk van ons?

Je geeft geen antwoord op vragen, suggesties voor verbeteringen schuif je terzijde en je blijft maar herhalen dat die 230V/5A waarschijnlijk fout is

Klopt idd dat ik de verbetering qua rack en ups opzij zet maar dat Is voor ons niet werkbaar.
Ikzelf zit vast met die gegevens enkel ergens zecht iets in me dat het niet klopt maar kan er geen vinger zo opleggen wat ik fout bereken.
Dus mijn vraag Is en zie mijn vorige post voor wat extra uitleg wat heb ik nou aan stroom echt nodig zonder dat het uitvalt als alles draait.

[unezra]

Even grof gerekend, alle andere bedenkingen terzijde schuivend:
24 kisten á 250W = 6000W

Dat red je met 1x32A, wil je op safe spelen, maak je d'r 2x32A van. Wil je niet met 32A groepen, maak er dan 2x 16A of 4x 16A van. Hoef je je ook geen zorgen te maken dat je powersloffen het niet aan kunnen.

Qua kosten is het ook allemaal niet zo spannend, groep kost je misschien 250-500 EUR om aan te leggen. Niet zelden goedkoper als je d'r meerdere tegelijkertijd aan laat leggen. Dat zijn peanuts. (Ik heb daarom dus ook niet minder dan 10 groepen in mijn serverruimte liggen, 2-4 per rack en flink veel overcapaciteit per groep zodat ook de piekstromen @ boot niet voor problemen zorgen.)

[Brahiewahiewa]

franssnarf schreef op zaterdag 15 april 2017 @ 00:04:
[...]

Klopt idd dat ik de verbetering qua rack en ups opzij zet maar dat Is voor ons niet werkbaar.
Ikzelf zit vast met die gegevens enkel ergens zecht iets in me dat het niet klopt maar kan er geen vinger zo opleggen wat ik fout bereken.
Dus mijn vraag Is en zie mijn vorige post voor wat extra uitleg wat heb ik nou aan stroom echt nodig zonder dat het uitvalt als alles draait.

Wat denk je er van omdat te testen?
Fire één server op, geef 'm een dummy opdracht, schakel dan een tweede server in, geef die ook wat te rekenen. En zo ga je door; steeds meer servers tot dat de zekering eruit vliegt. Dan heb je een optimistisch bepaald maximum. Daar moet je in ieder geval onder zitten. Misschien kom je niet eens tot drie, en m'n glazen bol is ook beslagen

[franssnarf]

Het probleem Is dat we nu nog geen goede groep hebben om vol op te testen( draaien nog in oud kantoor pand) maar binnenkort gaan we dus over en dan willen we alles al klaar hebben liggen.

We hebben als test nu 2 servers draaien en 2 schermen voor elke server 1, ik kan helaas door de beperking in huidige groepen niet verder testen en was daardoor gaan rekenen.

Wat unezra zegt was mijn eerste gedachte ook van ach 1 groep van 32a trekt dit wel.
Een collega bedrijf had dit nammelijk wel zo draaien maar dan met nieuw bakken die Zuiniger waren.
Onze zijn ouder en mijn gedachte was die verbuiken meer, toen viel mijn oog dus op het plaatje van de voeding en was ik daarna het hele spoor kwijt.

En dan kom je in zon maal stroom en draai je daarna rondjes.

Ik denk dat ik gewoon 2x32a voorstel met een gelijke splitsing op beide dan kan er niks mis gaan lijkt me.

[ Voor 6% gewijzigd door franssnarf op 15-04-2017 00:20 ]

[unezra]

Blijft: Testen
Want wat we nu met zijn allen doen is puur giswerk.

Met wat geluk hebben die dingen een ILO achtige en kun je daar uitlezen wat ze in vol bedrijf doen. Zo niet: koop een stroommeter van een paar tientjes, hang die d'r tussen en laat je kist rekenen. Tel 10-20% bij de afgelezen waarde op (die dingen van een paar tientjes zijn niet *heel* nauwkeurig) en zorg daarna voor nog wat overcapaciteit.

Plemp een zooi groepen neer, 4, 6, 8 en zorg er voor dat je ver van de 3680W per groep blijft zodat ook wanneer alles in 1x aangezet word niet meteen je zekering d'r uit klapt. (Opstarten vraagt in de regel het meeste stroom en is niet zelden in 1x, tenzij je je servers dusdanig instelt dat ze bij verlies van spanning *niet* automatisch aan gaan.)

[franssnarf]

Zal dinsdag eens een plek gaan zoeken waar ik ff een paar aan ga hangen en kijken wat er gebeurt. En ik ga zon tester bestellen.

Ik ga alleen altijd teveel denken als ik andere dingen zie.

Daarom ging mijn gedachte uit van wat de voeding maximaal opnam.
Mijn berekening was 230*5= 1150w piek(230/5 is wat op voeding staat als ingangs spanning)
1150/2= 575w in normale draaimodus.
575W*6=3450w is onder de grens(6 servers)
Alleen toen kwam ik weer terug bij wat de voeding aangaf.

[DutchKel]

Wat interesseert het wat op de voeding staat? Bij mijn PC staat 1300W op de voeding en die verbruikt maximaal 150W en bij normaal gebruik 100W.

Dat wat erop staat is hoeveel je de voeding maximaal KUNT belasten, dat beperkt je alleen met hoeveel hardware je erin kunt gebruiken, meerdere zware videokaarten, ontzettend veel harde schijven (harde schijven zijn ongeveer 3-5W per schijf, reken maar uit hoeveel je er dan in kunt doen). Daar kom je waarschijnlijk nooit aan, meestal moet je voor een server zoals gezegd 200-250W tellen in totaal.

Maar meten is weten.

Ik weet overigens niet of de verzekering het wel een goed plan vind wat je allemaal van plan bent. Servers die te warm worden kunnen naast uitvallen ook andere problemen veroorzaken zoals brand. Dus niet koelen lijkt me zoals al is gezegd niet slim. Ik kan je vertellen dat als in ons datacenter de airco uitvalt dat de servers binnen 30 minuten uit zijn gevallen omdat ze te warm zijn geworden (dat is al eens gebeurd, daarna is er direct een reserve airco bij geplaatst) en voor brand hebben we ook een gasblusinstallatie oid in de serverruimte.

Overigens stroomuitval komt ook regelmatig voor, niet omdat zekeringen doorbranden bij ons maar vanwege werkzaamheden in de buurt waardoor een stroomkabel wordt geraakt. Maar blijkbaar is dat laatste geen probleem.