Noodvoeding voor serverruimte

[raymonvdm]

We hebben hier een server ruimte met op dit moment:

- 40 servers allen uit de compaq Proliant reeks
- 1 Compaq San + San Switch
- 16 * Compaq 3000XR up
- 1 Cisco 4510 Switch met Router module
- 5 Cisco Routers
- 1 Cisco Pix
- 1 Cisco VPN Concentrator
- 2 Big Ass Airco`s met beide een losse buiten unit.
- 2 APC 3000VA upsen

Wat hebben we nu nodig om de om de 18 * 3000 VA = 54kVA te vorzien van een noodstroom voorziening, Ik zit zelf te denken aan een diesel van min 100kVA en een accu pack erachter voor de 5 minuten die de diesel nodig heeft om op te starten (alle upsen worden dus vervangen/afgevoerd/elders gebruikt)

Maar waar moet je nog meer op letten?

- NetFilters ?
- Doormelding aan alarm centrale
- Aircos ook op Agregaat

heeft iemand hier ervaring mee ? en bij wat voor bedrijf moet je hiervoor zijn ?

[Evos]

stage-opdracht?

Bij mij opstage hebben wij dit volledig outgesourced (waar ik nu zit, alleen UPS geen noodstroom), op papier gezet wat de eisen waren en zij hebben een plan gemaakt en na wat research van ons ook uitgevoerd...ging perfect! Server ruimte heeft maar 1 keer down gestaan omdat de eerste test niet goed ging

[tazzdevil]

je loopt zo wel meer risico door dat je straks afhangelijk bent van 1 noodvoorziening, als er wat gebeurd liggen gelijk alle servers plat.
niet alleen stroom uitval maar ook storingen zoals kortsluiting.


Dat probleem heb je nu niet .

ik heb dit inde praktijk meegemaakt met 170 servers door kort sluiting.

[jurri@n]

Bel eens met APC. Da's een van de grootste op het gebied van electravoorzieningen voor serverruimtes. Die lichten je graag voor over de beste oplossing (eigen ervaring).

Ik link overigens naar de US-site, maar ze zitten ook gewoon in Nederland, met een Nederlands sprekende medewerker aan de telefoon.

[ Voor 37% gewijzigd door jurri@n op 04-11-2004 13:22 ]

[Firefox]

APC heeft idd met hun suite aan spulletjes een hele complete oplossing.
Ik heb ooit uit mijn functie een reseller cursus moeten volgen waarbij het gebruik van hun ontwerp materiaal behandeld werd.

Daarmee kan de hele rattaplan uitgewerkt worden tot op de lengtes van de powecords die je nodig hebt.

[Turkish]

hmm aircos hoeven imho niet meteen op je noodaggregaat aangesloten te worden. Serverruimte wordt wel warm maar als je stroomuitval niet langer dan een halve dag is is dat nog te overzien.
Op m'n werk is de airco ooit op zaterdag stuk gegaan en toen was het 's maandags een graad of 45~50 in de serverruimte

[Gillie]

Bij grootte vermogens kan men eens gaan denken aan een tweede aansluiting vanuit een ander onderstation. En uiteraard alles via beide distributienetten voeden.
Niet alleen de servers, maar ook netwerkapparatuur, HVAC en verlichting. Voor het gemak kantoor gedeelte per etage of werkplek gescheiden aansluiten op 1 van beide netten.

Gegarandeerd dat stroomuitval geen probleem meer is.

Als laatste resort noodstroomaggregraat mocht het voorkomen dat beide aansluitingen het begeven. Maar uit ervaring in nederland zal dat zelden voorkomen, zeker niet als dit in goed overleg i.c.m. SLA van de energiedistributeur gebeurt.

[Maarten @klet.st]

Turkish schreef op 04 november 2004 @ 16:04:
hmm aircos hoeven imho niet meteen op je noodaggregaat aangesloten te worden. Serverruimte wordt wel warm maar als je stroomuitval niet langer dan een halve dag is is dat nog te overzien.
Op m'n werk is de airco ooit op zaterdag stuk gegaan en toen was het 's maandags een graad of 45~50 in de serverruimte

Als ik zo de apparatuur ff tel gaat dat hier wel wat sneller mee. Dit is vergelijkbaar met wat ik een een ruimte had staan en daar ging de temperatuur van 22 naar 50 graden in een uur of 3. Altijd je airco ook op noodstroom zetten, alleen de UPS power is misschien niet nodig.

We hebben nu een nieuwe serverruimte, compleet voorzien van APC infrastruxure (waar eerder in dit topic over gesproken werd), alleen de airco's zijn niet APC (vooral vanwege een centraal koelwatersysteem e.d.). We hebben in elk rack een A en B feed, kortsluiting zal in beginsel slechts 1 groep treffen. Apparatuur die redundante voedingen (en aansluitingen heeft) overleeft dat gewoon. Voor kritiche apparatuur die maar een voeiding heeft kun je nog automatic tranfser switches overwegen.

In ons geval komen de A en B feed overigens wel uit 1 UPS, maar je zou 2x 40KVA units van APC kunnen gebuiken, die elk gescheiden stroom toevoer krijgen. Kortsluiting is in dat geval beperkt tot daar waar de stroomvoorziening naar de UPS-en loopt.

Mooi aan de Infrastruxure lijn zijn zaken als de voedingssloffen (PDU's, eventueel ook remote switched), de enviromental monitoring (temp/humidity en evt doorswitches of bewegingsmelders), overhead cabling en de integratie van het geheel. Dat gekoppeld aan keurige meldingen (email, SNMP etc..) en mogelijke koppelingen aan standaard gebouw management systemen. Het nadeel is natuurlijk de prijs..

[Koffie]

Turkish schreef op 04 november 2004 @ 16:04:
hmm aircos hoeven imho niet meteen op je noodaggregaat aangesloten te worden. Serverruimte wordt wel warm maar als je stroomuitval niet langer dan een halve dag is is dat nog te overzien.
Op m'n werk is de airco ooit op zaterdag stuk gegaan en toen was het 's maandags een graad of 45~50 in de serverruimte

En dan kun je de helft van je apparatuur weggooien

Zal niet de eerste keer gebeuren dat er in het weekend een (Stroom)Storing is, de servers doordraaien maar de koeling niet.
Enig idee hoe heet die schijven worden als je omgevingstemperatuur al 50 graden is ?

[Maarten @klet.st]

Koffie schreef op 04 november 2004 @ 20:46:
[...]

En dan kun je de helft van je apparatuur weggooien

Zal niet de eerste keer gebeuren dat er in het weekend een (Stroom)Storing is, de servers doordraaien maar de koeling niet.
Enig idee hoe heet die schijven worden als je omgevingstemperatuur al 50 graden is ?

Jep, best vervelend als je een 100+ HDD's niet meer kan vertrouwen vanwege en te warm geworden serverruimte. Mijn ervaring: altijd meer dan 1 airco en goede signalering van de temperatuur (met opvolging bij alarm..)

[Magure]

Koffie schreef op 04 november 2004 @ 20:46:
[...]

En dan kun je de helft van je apparatuur weggooien

Zal niet de eerste keer gebeuren dat er in het weekend een (Stroom)Storing is, de servers doordraaien maar de koeling niet.
Enig idee hoe heet die schijven worden als je omgevingstemperatuur al 50 graden is ?

Hoe is het bij Tweakers.net geregeld dan qua UPS??

[heuveltje]

als het goed is zorgt telecity voor de noodstroom, en de airco !

[Bjorker]

raymonvdm schreef op 04 november 2004 @ 12:49:
Ik zit zelf te denken aan een diesel van min 100kVA en een accu pack erachter voor de 5 minuten die de diesel nodig heeft om op te starten (alle upsen worden dus vervangen/afgevoerd/elders gebruikt)

Ik zou niet weten wat je allemaal nodig hebt in jouw geval, maar 5 minuten opstarttijd voor een dieselaggregaat lijkt me zwaar overdreven.
Bij ons in het bedrijf, en word maandelijks getest, zit de noodstroom aggregaat na zo'n 20 sec op zijn max vermogen van 300KW (of dat goed voor de motor is, is een ander verhaal )

[Verwijderd]

Kijk wel reeel naar wat je wilt hebben draaien als de stroom uit valt.

Als de stroom uit valt, dan kunnen mederwerkers ook niet meer werken, dus kunnen veel servers ook gewoon 'down' zijn. Kan aan je verhaal niet zien of het voor hosting of eigen gebruik is serverpark.

[Koffie]

Mja .. die dikke fileserver heeft idd geen enkele user meer te bedienen, maar is wel zo fijn als hij chrtistelijk down gaat, in plaats van dat hij je RAID array met 100+ Gb aan userdata naar gort helpt

Dus al was het alleen al voor het netjes af kunnen sluiten van je servers, die vinden een totale powerdown in 1 ruk namelijk niet zo heel fijn.

[TrailBlazer]

als je diesels neer gaat zetten doe je dat natuurlijk volgens het N+1 principe dus 4 agregaten van ieder 20 KW Met drie kan je dan draaien dus mocht er een kapot zijn of inde onderhoud zijn. Of spreek je af dat al je je enige diesel gaat onderhouden dat de stroom blijft werken

[Maarten @klet.st]

Bjorker schreef op 04 november 2004 @ 21:24:
[...]
Ik zou niet weten wat je allemaal nodig hebt in jouw geval, maar 5 minuten opstarttijd voor een dieselaggregaat lijkt me zwaar overdreven.
Bij ons in het bedrijf, en word maandelijks getest, zit de noodstroom aggregaat na zo'n 20 sec op zijn max vermogen van 300KW (of dat goed voor de motor is, is een ander verhaal )

Ja en Nee. De gemiddelde aggregaat is idd in een paar seconden actief (als ie standby draait). Maar ik hoor vaak genoeg dat er dingen mis gaan met het starten van de aggregaat. Gaat die niet automatisch, dan moet deze met de hand gestart worden. De vraag is hoe lang het duurt als er handmatig gestart wordt..

..duurt dat een half uur omdat iemand van thuis moet komen dan wordt het kostbaar, maar in het geval dat de juiste mensen aanwezig zijn dan zou een paar minuten best wel prettig kunnen zijn.

Datzelfde kan natuurlijk andere oorzaken hebben, zoals verkeerd ingestelde secties e.d.. In de situatie op mijn werk worden bepaalde groepen/secties in een bepaalde volgorde aangeschakeld op het noodnet. Als jouw ruimte achteraan in de rij zit, dan zou dat best ff een paar minuten kunnen duren.

Sowiezo moet je niet blij zijn met een noodaggregaat die na enkele seconden stroom begint te leveren bij uitval. Als je op die aansluitingen geen UPS hebt, dan betekent dat dat apparatuur uitschakeld en een paar seconden later weer stroom krijgt. Sommige apparatuur kan daar heel slecht tegen (en meestal is dat net belangrijke apparatuur.).

[raymonvdm]

Het gaat om een eigen server park, met wat hosting dingen voor oa mederwerkers.

Het is niet wenselijk als in dit gebouw de spanning plat gaat de server ook plat gaat dit omdat andere gebouwen via glas ook op deze server werken. En we hebben al een keer een storing van de airco gehad. koste ons een nieuwe switch blad en 15 harddisken en 2 server moederborden. ( en het was slecht 40 graden in de ruimte) en het heeft maar een paar uur geduurd.

Als er trouwens mensen zijn met fotos of case stories, dan zie ik die ook graag. En ik weet al hoe telecity het geregeld heeft maar daar zijn we dan weer net te klein voor en heb al eens gebeld met APC maar wil eerst wel even zelf weten wat ik verwachten kan en aangeven moet een APC.

[ Voor 27% gewijzigd door raymonvdm op 08-11-2004 17:30 ]

[Verwijderd]

Hier hebben we ook zo'n aggregaat. Ideaal. Maar toch zou ik die UPS'en niet zomaar wegdoen. Ons aggregaat is altijd stand-by (hangt ook medische apparatuur aan)., maar toch duurt het 1 of 2 seconden voordat het operationeel is. Wij hadden toen ik hier net kwam werken een defecte UPS en dan is zo'n agregaat niet zo best voor je servers. Dit gebeurde er:

- De stroom viel uit, pats alle servers uit omdat de UPS dus stuk bleek te zijn.
- 1 of 2 seconde later was er weer stroom dus gingen prompt alle servers weer aan. (Terwijl alle fans en HD's nog niet eens stilstonden, zeg maar.)
- De stroomvoorziening was 1 of 2 minuten later weer in orde, ook dan heb je weer uitval van 1 of 2 seconde. Dus pats die servers weer uit en vervolgens meteen weer aan.

Dat wil je niet. Toch maar snel zo'n APC gekocht. (Dezelfde als in je topic-start.) Better safe than sorry.

[raymonvdm]

Daarom wil ik ook een battery pack ertussen voor de hele voeding.

[Verwijderd]

Verwijderd schreef op 08 november 2004 @ 17:45:
Hier hebben we ook zo'n aggregaat. Ideaal. Maar toch zou ik die UPS'en niet zomaar wegdoen. Ons aggregaat is altijd stand-by (hangt ook medische apparatuur aan)., maar toch duurt het 1 of 2 seconden voordat het operationeel is. Wij hadden toen ik hier net kwam werken een defecte UPS en dan is zo'n agregaat niet zo best voor je servers. Dit gebeurde er:

- De stroom viel uit, pats alle servers uit omdat de UPS dus stuk bleek te zijn.
- 1 of 2 seconde later was er weer stroom dus gingen prompt alle servers weer aan. (Terwijl alle fans en HD's nog niet eens stilstonden, zeg maar.)
- De stroomvoorziening was 1 of 2 minuten later weer in orde, ook dan heb je weer uitval van 1 of 2 seconde. Dus pats die servers weer uit en vervolgens meteen weer aan.

Dat wil je niet. Toch maar snel zo'n APC gekocht. (Dezelfde als in je topic-start.) Better safe than sorry.

een ups is ook niet bedoelt als noodstroomvoorziening, maar om die korte stroomstoringen op te vangen. Als je verder geen aggregaat hebt is het de bedoeling dat je servers gecontroleerd down gebracht worden (na 1-5 minuten ofzo).

zelf heb ik 2 keer een vette powerfailure gehad, waarbij de agregaat ook failde en pas 15 mins de computervloer van stroom voorzag, dan ben je blij dat je nog een ups hebt