stroomuitval blade servers

[elrobbo]

We hebben een groot probleem. Onze blade enclosures zitten elke 2 uur ( ze gingen down om 12.00/14.00/16.00/18.00uur ) zonder stroom.
Geen idee waar dit vandaan komt. Er is nog wel steeds stroom, maar geen amperes meer. ( het is 48volt die blades )
Als de stroom er even helemaal afhaal, kunnen we alles weer aanzetten en werkt het ook weer prima. Maar na 2 uurtjes is de pret weer voorbij!
Wat zou nu kunnen veroorzaken dat er PRECIES om de 2 uur de boel plat gaat?

i'm flabbergasted!

Anybody?

[Koppensneller]

Wel stroom, geen ampères?

Stroom == Amperes, toch?

[Sebazzz]

DDoS icm met teveel belasting?

[Cave_Boy]

Lijkt wel of er ergens een tijdschakelaar zit...

Bij veel grote gebouwen is er een soort ruimte waar de stroom en belichting geregeld kan worden. Bij sommige kan dit electronisch is dit bij jou het geval dan zou ik daar eens kijken.

[elrobbo]

Cave_Boy schreef op dinsdag 18 september 2007 @ 19:19:
Lijkt wel of er ergens een tijdschakelaar zit...

Bij veel grote gebouwen is er een soort ruimte waar de stroom en belichting geregeld kan worden. Bij sommige kan dit electronisch is dit bij jou het geval dan zou ik daar eens kijken.

Het lijkt me het meest waarschijnlijk, maar de beheerder van het datacenter zegt dat er niets is gewijzigd. Behalve dat ze 2% minder spanning geven sinds vandaag.
De enclosures zelf en de blade switches hebben niets met tijd dat ik weet .

[elrobbo]

The Triad schreef op dinsdag 18 september 2007 @ 19:19:
DDoS icm met teveel belasting?

Lijkt me onwaarschijnlijk, omdat de overige 220v servers wel up blijven.
Ze hebben ook geen piekbelasting gezien.
Maar thanks voor de input

[Gomez12]

Heb je geen scheduled dingen draaien om de 2 uur die toevallig iets veel belasten??? Logging parsing???
Waardoor de blades net te veel stroom gaan trekken en automatisch uit gaan...

[KillerAce_NL]

Ik neem aan dat je hier toch gewoon full-support op hebt ?
Meteen HP/IBM who-ever inschakelen.

[LiquidSmoke]

idd, wij werken ook met blades, maar zoiets als dit heb ik nog nooit gehoord, misschien dat er in de trafo's van de enclosures iets goed fout gaat?

en je 220 servers die komen vanuit dezelfde groep?

[ Voor 15% gewijzigd door LiquidSmoke op 18-09-2007 20:00 ]

[Cave_Boy]

elrobbo schreef op dinsdag 18 september 2007 @ 19:26:
[...]


Het lijkt me het meest waarschijnlijk, maar de beheerder van het datacenter zegt dat er niets is gewijzigd. Behalve dat ze 2% minder spanning geven sinds vandaag.
De enclosures zelf en de blade switches hebben niets met tijd dat ik weet .

Hoe doen ze die 2% meten? Dit lijkt op zo'n electronische regelpaneelkast. Best kast dat er een fout met het inprogrammeren is gebeurt. Wat je misschien ook kan doen is zet er een flinke bouwlamp ofzo op kijken wat die doet. Gaat die ook uit en aan of knippert die dan weet je zeker dat de stroomtoevoer niet constant is.

[real-doc]

Is het toevallig van Dell? In die dingen zit namelijk een bug in oude firmware die precies dit gedrag kan veroorzaken.

Is op te lossen met een nieuwe firmware.

[elrobbo]

Gomez12 schreef op dinsdag 18 september 2007 @ 19:52:
Heb je geen scheduled dingen draaien om de 2 uur die toevallig iets veel belasten??? Logging parsing???
Waardoor de blades net te veel stroom gaan trekken en automatisch uit gaan...

Er is niets veranderd aan schedules o.i.d.
Als we kijken naar de stroom, dan staat het voltage op 58V en we gebruiken ongeveer 180 Ampere. We kunnen tot 640 Ampere, dus dat zal het niet zijn. De stroom TOEVOER blijft gewoon. Het metertje zegt gewoon dat we niets gebruiken.....beat´s me!

[elrobbo]

real-doc schreef op dinsdag 18 september 2007 @ 20:04:
Is het toevallig van Dell? In die dingen zit namelijk een bug in oude firmware die precies dit gedrag kan veroorzaken.

Is op te lossen met een nieuwe firmware.

Helaas, ze zijn van HP. De firmware is niet echt up/to/date, maar dat boeit niet denk ik. Dat zal niet veroorzaken dat ze ineens elke 2 uur down gaan.

[JappieR]

Gomez12 schreef op dinsdag 18 september 2007 @ 19:52:
Heb je geen scheduled dingen draaien om de 2 uur die toevallig iets veel belasten??? Logging parsing???
Waardoor de blades net te veel stroom gaan trekken en automatisch uit gaan...

Ik ga ook met dit verhaal mee. Omdat als er 2% minder spanning word gegeven er meer stroom gaat moet gaan lopen. Dus als er harder gewerkt moet worden word er meer stroom opgenomen waardoor er mee warmte zou kunnen ontstaan.

[Verwijderd]

2% minder zeg je dat zou het probleem kunnen zijn in combinatie met een hoge load in je blades

[elrobbo]

Cave_Boy schreef op dinsdag 18 september 2007 @ 20:02:
[...]


Hoe doen ze die 2% meten? Dit lijkt op zo'n electronische regelpaneelkast. Best kast dat er een fout met het inprogrammeren is gebeurt. Wat je misschien ook kan doen is zet er een flinke bouwlamp ofzo op kijken wat die doet. Gaat die ook uit en aan of knippert die dan weet je zeker dat de stroomtoevoer niet constant is.

Ik geloof hier ook in. Het is me TE toevallig dat ze vandaag 2% minder spanning leveren en BOEM....elke 2 uur plat!
Ik heb helaas geen verstand van stroom....alleen van servers!

[Ulx]

Wat zegt je ILO eventlog?

[elrobbo]

Ulx schreef op dinsdag 18 september 2007 @ 20:13:
Wat zegt je ILO eventlog?

Die zegt `power down` en that´s it. En de exacte tijden erbij. 1200-1400-1600-1800uur
De eventvwr zegt gewoon `unexpected shutdown`

[arvidbeheerder]

maar moet de server om de 2 uur iets doen waar hij een piekspanning door genereert? iets parsen ofzo?

[Gomez12]

Zit er toevallig nog een eigen ups tussen die rot zou kunnen zijn???

En worden de server ook elke keer op hetzelfde tijdstip aangezet ( dus 12:01, 14:01, 16:01,18:01 ) of kan hier een paar minuten variatie in zitten door handmatig handelen ( naar het rack toelopen, stroom er weer op gooien etc.)

Want de tijden zijn zo netjes ( mits het handmatig handelen is ) dat het wel iets electronisch moet zijn.

En als jij zegt dat bij een out je meter zegt dat je niets trekt, is dit dan ook echt niets ( oftewel ligt je ilo er ook uit ).
En gooi eens een digitale temperatuurmeter in dat rack, als je er zelf bijstaat hoor je dan iets veranderen ( power up/down van andere racks ). Hebben andere mensen in je datacenter hier ook last van...

Btw, zie ik het nou goed dat hij om 20:00 niet down is gegaan???

[elrobbo]

arvidbeheerder schreef op dinsdag 18 september 2007 @ 20:23:
maar moet de server om de 2 uur iets doen waar hij een piekspanning door genereert? iets parsen ofzo?

Alleen naar de resourcemanager, maar dat gebeurt heel de tijd geloof ik. Verder zou ik niks kunnen verzinnen. Maar zou zoiets echt zo'n piekspanning kunnen veroorzaken?

[elrobbo]

Ulx schreef op dinsdag 18 september 2007 @ 20:13:
Wat zegt je ILO eventlog?

Dit staat er:

Informational
iLO
09/18/2007 18:00
09/18/2007 18:00
1
Server power removed.

Informational
iLO
09/18/2007 16:00
09/18/2007 16:00
1
Server power restored.

Informational
iLO
09/18/2007 16:00
09/18/2007 16:00
1
Server power removed.

Informational
iLO
09/18/2007 14:26
09/18/2007 14:26
1
On-board clock set; was previously [NOT SET]

Informational
iLO
09/18/2007 14:00
09/18/2007 14:00
1
Server power removed.

Informational
iLO
09/18/2007 13:02
09/18/2007 13:02
1
On-board clock set; was previously [NOT SET]

Informational
iLO
09/18/2007 12:00
09/18/2007 12:00
1
Server power removed.

Sorry, opmaak verneukt, maar je snapt het wel...

[Pascal Saul]

Laat anders eens een aantal blades uit en kijk dan nog eens?

[DiedX]

UPS ertussen voor nu?

[elrobbo]

We wachten nu tot morgenochtend. Het heeft vrijwel zeker een centraal geregelde oorzaak. Het feit dat 2 enclosures in een ander rack staan EN softwarematig volledig onhafhankelijk van elkaar werken ( zijn citrix servers in een andere farm ).
Het enige wat ze bind is WSUS en EPO en die zijn uitgebreid bekeken.
We zullen het wel te weten komen als we morgenochtend naar het datacenter gaan en die enthousiaste monteur ontmoeten
Thanks voor de hulp en ik laat de uitkomst weten....

[Gomez12]

Of ze besparen gewoon 2% door 1x in de 2 uur gewoon even de stroom uit te gooien voor 3 minuten... Meest simpele besparing die er te maken is

[elrobbo]

We heben het hele spulletje naar een andere shared ruimte gebracht ( jaja, tot 5.00 uur vannacht ), alwaar het gewoon op 230V is aangesloten.
En stabiel.....wel jammer dat we nog steeds niet weten ( en dat zal ook wel niet meer gaan gebeuren )waar het vandaan kwam.

thanks voor de hulp...

[Gomez12]

elrobbo schreef op woensdag 19 september 2007 @ 10:28:
We heben het hele spulletje naar een andere shared ruimte gebracht ( jaja, tot 5.00 uur vannacht ), alwaar het gewoon op 230V is aangesloten.
En stabiel.....wel jammer dat we nog steeds niet weten ( en dat zal ook wel niet meer gaan gebeuren )waar het vandaan kwam.

thanks voor de hulp...

Zit hier dan ook die 2% besparing op of niet??? Gewoon even voor de duidelijkheid...
Want ls de omstandigheden hetzelfde zouden moeten zijn lijkt het mij alleen aan de stroomtoevoer te kunnen liggen en niet meer aan de servers.

[Powermage]

Ik kan me voorstellen dat wanneer de voedingen van het blade systeem een probleempje hebben en die 2% mindere powerfeed dan de problemen veroorzaakt, alleen die exacte tijd (om de 2 uur) is wat vreemd.