Maximale stroom (power) in co-locate kast

[reinhrst]

Wij hebben op het moment een aantal 55u co-locating kasten bij XS4all. XS4all biedt maximaal 24 ampere per kast aan.

Een klein rekensommetje leert dat een Xeon processor (100W) ong. 0,5 A trekt. Dit wil zeggen dat in de kast maximaal 48 Xeons passen (en maar 24 als je redundant power wil hebben). (overigens houdt dit nog geen rekening met andere onderdelen in de computer zoals harddisks).

Wij maken gebruik van Dell blades, die 20 Xeons in 7u proppen, met als gevolg dat wij maar 2 sets blades per kast kwijtkunnen, XS4all wil graag dat wij per 2 sets 1 kast huren, wij willen uiteraard graag van een 55u kast minstens 50u gebruiken - en dan nog op redundante voeding zitten.

Zijn dergelijke stroomproblemen in colo-kasten gebruikelijk, of is het hier alleen XS4all dat een probleem heeft. Graag jullie ervaringen!

[Maasluip]

Je maakt een basale denkfout. Redundante voeding betekent niet dat je twee keer zoveel stroom verbruikt. Het betekent alleen dat als voeding 1 uitvalt voeding 2 de stroomvoorziening volledig kan overnemen. Onder normale omstandigheden zorgen ze beide voor de helt van de stroomvoorziening.

Verder heb je wel gelijk dat het aan de krappe kant is. Zo te lezen trekt een van die bladeservers in full config 2100W, XS4ALL biedt 24A (volgens de website 20) x 240V (volgens de website 220) dus met twee 7U bladeservers zit je 55U rack vermogenstechnisch vol. Is wel erg karig.

Wat zegt XS4ALL daarvan?

[ Voor 48% gewijzigd door Maasluip op 11-05-2005 13:07 ]

[reinhrst]

Het redundantie-verhaal klopt wel: ik wil de servers op 2 groepen hebben staan, elke groep levert dan inderdaad de helft van de stroom. Als echter 1 van de 2 groepen uitvalt, zal de tweede alle stroom moeten leveren, dus elke groep moet in staat zijn het volledige vermogen van de hele kast te leveren - dit had ik inderdaad niet duidelijk uitgelegd.

XS4all blijft volhouden dat we inderdaad per 2 blade-sets een volledige kast moeten nemen. Zij zeggen namelijk ook niet meer dan 24x220 Watt te kunnen koelen per kast. Het lijkt me toch dat wij niet de eerste zijn die hier tegenaanlopen; wellicht hebben andere colo's wel rekening gehouden groter stroomgebruik....

[ Voor 5% gewijzigd door reinhrst op 11-05-2005 13:57 ]

[Canaria]

[I&T] -> [PNS]

[reddog33hummer]

Welke soort blades ga je van uit ?
Mischien loont het om iets energiezuinigere blades te kopen en daarmee mischien 3 X 7U omdat je toch een hele kast moet hebben.

[Rolfie]

reinhrst schreef op woensdag 11 mei 2005 @ 13:56:
Het lijkt me toch dat wij niet de eerste zijn die hier tegenaanlopen; wellicht hebben andere colo's wel rekening gehouden groter stroomgebruik....

Ik heb het probleem wel vaker gehoord. En dan niet alleen bij blade servers. Ook bij de 1U Servers, kunnen er warmte problemen ontstaan.
De datacenters kunnen gewoon de koeling niet aan.

Ik heb een rekensommetje gemaakt van HP blades:

2 * 3.2Ghz 1Mb, 3Gb, 2*18,2 1K SCSI. Hiervan 8 servers + overige configuratie, op een 1 fase aansluiting.
Dit levert mij de volgende gegevens op : 13.3Ampere, 3131Watt, 10691BTU/Uur

[reinhrst]

Het zijn inderdaad 3.2GHz Xeons + wat SCSI schijven. XS4all lijft voorlopig nog beweren dat ze niet geloven dat 1 blade-case (10 dual Xeon blades) meer dan 8Amp trekt (wat wij dus al zonder problemen kunnen uitrekenen), dus morgen gaan ze een stroomtest doen.

We zitten er inderdaad op dit moment aan te denken om een volgende stapel blades opterons te laten zijn - dit zal zo'n 20W per processor schelen.... Probleem is dat we op het moment niet ontevreden zijn met Dell, en die levert geen AMD.

Eerst maar eens de stroomtest van morgen afwachten en kijken hoe de heren van XS4all daarop reageren!

[Rolfie]

Laat ze hier eens naar kijken. Het is van HP, maar veel zal het niet schelen:

Power calculators HP BladeSystem

[joopv]

Die getallen gelden alleen bij volle cpu load.

Worst-case scenario dus, op zich wel goed om daar van uit te gaan maar is het ook realistisch?

[DaRealRenzel]

joopv schreef op donderdag 12 mei 2005 @ 00:48:
Die getallen gelden alleen bij volle cpu load.

Worst-case scenario dus, op zich wel goed om daar van uit te gaan maar is het ook realistisch?

Je zult bij dit soort calculaties altijd uit moeten gaan van worst case. Als je van een gemiddelde uit gaat zal toch een keer de lamp uit gaan.

[joopv]

Dan zul je er ook van uit moeten gaan dat een blade meer vermogen verbruikt dan alleen dat van de (volbelaste) CPU zelf. Ik schat een factor 2 meer.

[Maasluip]

De servers waar de TS het over heeft hebben volgens Dell een maximaal opgenomen vermogen van 2100W, dus daar kan mee gerekend worden.
Ik ben nog altijd niet overtuigd van het redundatie verhaal. XS4ALL biedt een redundante aansluiting van 24A, voor mij betekent dat '24A die bij uitval van een feed wordt overgenomen door een andere feed'. 24A redundant betekent voor mij niet 2x12A.
Maar als ik een verkeerd beeld van redundatie heb hoor ik het graag.

[proza]

Data centers en hun capaciteiten. Ja het klopt dat de providers gebonden zijn aan een aantal voorwaarden op de vloeren van een Datacenter. Dit heeft onderandere te maken met de te leveren koeling en stroom welke per vierkante meter wordt berekend.

Wanneer je over de "grens" gaat van dit gegeven dien je dus een tweede 19" kast (lees 2e vierkante meter) af tenemen bij je provider.

[Stewie!]

reinhrst schreef op woensdag 11 mei 2005 @ 13:56:
XS4all blijft volhouden dat we inderdaad per 2 blade-sets een volledige kast moeten nemen. Zij zeggen namelijk ook niet meer dan 24x220 Watt te kunnen koelen per kast. Het lijkt me toch dat wij niet de eerste zijn die hier tegenaanlopen; wellicht hebben andere colo's wel rekening gehouden groter stroomgebruik....

Je eerste fout: jij wilt graag in die ene kast blijven omdat je dat veel goedkoper is kwa traffic. Dat is jouw fout, jij wilt goedkoop uitzijn en je wist van te voren dat XS4ALL allen standaard colo pakketten bied (traffic + kast).
Ten tweede kunnen zij maar berperkt koelen per m2. Dat is overal zo. Nu wil jij een extra stroomgroep hebben of hoger afgezekerd worden. Dat lukt dan weer niet omdat een datacentrum heel standaard is gebouwd. Per kast heb je x aantal aansluitingen en idem met zekeringen. Maatwerk op dit niveau vind je nergens als je zo klein bent. Normaal krijg je zelfs maar 16A per kast (als je geluk hebt 2x 16A voor redunantie). 24A is dus al erg hoog.

En trust me, iedereen die snelle servers in kleine kasten gebruikt komt dit probleem tegen

[Stewie!]

Maasluip schreef op donderdag 12 mei 2005 @ 08:21:
De servers waar de TS het over heeft hebben volgens Dell een maximaal opgenomen vermogen van 2100W, dus daar kan mee gerekend worden.
Ik ben nog altijd niet overtuigd van het redundatie verhaal. XS4ALL biedt een redundante aansluiting van 24A, voor mij betekent dat '24A die bij uitval van een feed wordt overgenomen door een andere feed'. 24A redundant betekent voor mij niet 2x12A.
Maar als ik een verkeerd beeld van redundatie heb hoor ik het graag.

Nee jij denkt goed. Als XS4ALL echt 2x 12A geeft is dat gewoon misleiding. Maar van de andere kant lijkt mij 24A per kast nogal veel

[Verwijderd]

Heren,

Ik hou mij hier ook een beetje mee bezig en wat ik graag zou willen horen is wat zou je dan willen in 1 rek aan vermogen?
Denk er aan dat je dan moet uitgaan van koeling die conventioneel wordt aangeboden, dit houdt in rooster voor de kast en de servers moeten dus zelf de koudelucht binnen halen en de warme lucht aan de achterzijde afvoeren.

Ik ben benieuwd.

Groet,

[Verwijderd]

Als je 48 Xeon's in een kast bouwt met een thermisch vermogen van 110W per stuk dan maak je in feite een leuke straalkachel van 5,2 kW.

[Wunk]

12A is een vrij standaard topbelasting die bij een kast word geleverd, de standaard zekeringen voor onze kasten in NovaXess en Redbus staan ook rond de 12A gezekerd..

Als wij meer ampere in een kast willen, moeten we een feed bijbestellen (wat altijd voorkomt als je een kast helemaal volpropt met 1u, 2u's en Xeons)

[reinhrst]

Zojuist de meetgegevens binnengekregen:

Onder maximale load (tenminste, zoveel als wij erop kregen via "stress" - http://weather.ou.edu/~apw/projects/stress) trekt het systeem 11.6 Ampere. Reken dus uit hoeveel je er kwijt kan per kast bij je favoriete colo.....

Systeembouwers noemen een van de redenen om blades te nemen de geringe ruimte die ze innemen, maar dit voordeel vervalt dus volledig als je in een 55u kast niet meer dan 7u blades (+1u switch) kwijt kan. Nu hebben blades nog wel wat andere handigheidjes, maar voor de ruimte hoef je het niet te doen dus.

Ik stel me voor dat de kostprijs voor hosting uiteen valt in 4 (of 5) onderdelen: dataverkeer, stroomgebruik, koeling, vloeroppervlak(inhoud?) en eventueel een vorm van service. Het is natuurlijk zonde dat we vloeroppervlak, dataverkeer (en service) nu extra moeten betalen voor elke 7 u blades die niet in dezelfde kast kan. Ik ga eens verder zoeken of ik providers kan vinden die meer koeling/stroom per euro aanbieden.

In elk geval bedankt voor jullie ervaringen - het blijkt dus dat XS4all niet helemaal vreemde stroomeisen aan de kast stelt!

(@DaMorpheus: XS4all biedt niet eens 2x12A aan per kast, maar 1x16A en 1x8A, dus eigenlijk kan je niet meer dan 8A plaatsen als je door wil kunnen gaan als er een groep uitknalt.....)

[Stewie!]

reinhrst schreef op vrijdag 13 mei 2005 @ 17:45:
(@DaMorpheus: XS4all biedt niet eens 2x12A aan per kast, maar 1x16A en 1x8A, dus eigenlijk kan je niet meer dan 8A plaatsen als je door wil kunnen gaan als er een groep uitknalt.....)

Lekker handig daar
Dan maar niet alles redundant aansluiten ofzo?

[Wunk]

Sterker nog, initieel betaal je bij veel colocaties voor standaard 6 tot 8 ampere, als je meer gaat verbruiken hoor je officieel zelfs bij te betalen..

De officiele limiet zit op 12 ampere, de zekering voor een kast staat (iig in de datacenters waar ik ben geweest en heb gewerkt) op 12 ampere, je kunt er dus precies op gaan zitten, maar dat is zeer linke soep (als je kast er uit zou vliegen krijg je 'em niet eens meer in 1x aan door de pieken die er bij powerup worden getrokken en moet je handmatig de servers 1 voor 1 gaan aanzetten). De reden dat deze 'lage' (12 ampere is nog steeds VEEL stroom hoor voel voor de grap maar eens even aan de aanvoerkabel waar de stroom binnenkomt als je 't met 11 ampere belast, die is niet zo koel meer) waarden worden aangeboden, is omdat 't gros van de 19" kasten gewoon niet word volgestopt. je ziet VEEL kasten met maar 5 of 6 servers, een firewall en een switch er in. Ja dan kom ik ook niet boven de 5 ampere

Je kunt misschien wel vragen of ze een 3e feed willen aanleggen naar je kast (ik weet dat sommige datacenters dat doen), maar 't is nog steeds een flinke warmteontwikkeling in je kast (helemaal met xeons), dus zorg sowieso dat je voor en achter gepreforeerde deuren hebt (en niet glazen voorkant en stalen achterkant) en aan de voorkant van je kast een geperforeerde tegel waar lucht omhoog word geblazen.

En de vraag is dan ook of 't niet goedkoper is om een 2e kast+tegel+stroom te huren als je zoveel feeds en stroom nodig gaat hebben.

We hebben tot nu toe blade servers afgehouden om precies deze reden, we hebben al regelmatig gezeur met stroomverbruik en warmteontwikkeling met de 'gewone' servers wat veel plannen, passen en bijbetalen kost (zware dual xeon servers met scsi schijven in 1 kast mixen met kleinere celerons met een enkele ide/sata schijf e.d.), en ik zie 't met blades alleen maar erger worden

[ Voor 25% gewijzigd door Wunk op 13-05-2005 21:32 ]

[Acmosa]

Wat ik vreemd vind (en ik heb niet veel verstand van co hosting enzo) is dat wanneer ze gedeeltes van kasten verhuren ze (ze als in bv Xs4All) zelf verantwoordelijk zijn voor de stroom. Dus ik wil geen komplete kast huren maar ik wil maar 7 u huren en daar stop ik die blades in. Mijn concolega doet het zelfde. Op die manier zien ze zelf toch ook wel dat je gewoon meer stroom moet bieden wanneer iemand een kompleet rack huurt?

[Maasluip]

Pinky schreef op zaterdag 14 mei 2005 @ 11:43:

Op die manier zien ze zelf toch ook wel dat je gewoon meer stroom moet bieden wanneer iemand een kompleet rack huurt?

Doen ze ook. XS4ALL geeft 7A bij een 17U colo kast en 20A bij een 55U colo kast.

[Stewie!]

Wunk schreef op vrijdag 13 mei 2005 @ 21:27:
Sterker nog, initieel betaal je bij veel colocaties voor standaard 6 tot 8 ampere, als je meer gaat verbruiken hoor je officieel zelfs bij te betalen..

Wij krijgen gewoon 16A maar dat vind ik al krapjes. Wij werken bijna alleen met 1u en enkele 2u's tussendoor, dat is gewoon erg vervelend dat je op een gegeven moment moet ophouden met plaatsen. En niet bij elke provider is een extra rack gratis bij een pot pindakaas