Dell Raid-1 probleem

[Enki]

Situatie
Dell R610 met Perc 6/i
OS op virtual disk "OS" (twee fysieke disks in RAID-1)
Een van deze disks staat nu op "Failed" en daarmee dus de Virtual Disk op "Degraded" (nieuwe disk wordt vandaag geleverd)

Volgens Dell support (en mijn eigen ervaring) zou het een kwestie moeten zijn van die nieuwe disk er in rossen en wachten tot de mirror hersteld is.

Probleem
De handleiding in Open Manage zegt net iets anders.... Hier wordt gesteld dat je eerst een Consistency Check moet uitvoeren, voordat de disk verwijderd kan worden. Maar die optie (weliswaar volgens de documentatie ondersteund door de controller) is niet aanwezig. Het enige wat in de buurt komt is "Replace member disk...", maar volgens sommige documenten op internet zou dit slechts het handmatig terugzetten van een hot spare zijn.

Help
Kortom, kan ik die nieuwe disk er gelijk in zetten of moet er eerst nog iets geconfigureerd worden? Iemand hier ervaring mee...?

[Powermage]

T zou vreemd zijn als je een failed disk hebt je eerst een consistency check uit te voeren, heel consistent zal het boeltje niet meer zijn natuurlijk...

oftewel, gewoon defecte disk eruit, nieuwe disk erin, even checken of het systeem hem automatisch als spare markeert en een rebuild start, zo niet even aangeven dat de disk de nieuwe spare is, dan start hij wel.

[Enki]

Dank voor je antwoord!

Dan hoop ik maar dat het systeem dat doet, want zelf kan ik alleen maar de opties "Blink" of "Unblink" kiezen..

[Enki]

Powermage schreef op vrijdag 19 december 2014 @ 09:19:... oftewel, gewoon defecte disk eruit, nieuwe disk erin, even checken of het systeem hem automatisch als spare markeert en een rebuild start, zo niet even aangeven dat de disk de nieuwe spare is, dan start hij wel.

Hmm, zo simpel was het dus niet. Ondanks dat Dell ProSupport, de Raidcontroller manual en mijn eigen ervaring zeiden dat het inderdaad slechts een kwestie van omwisselen zou moeten zijn, klapte de server eruit bij het plaatsen van de nieuwe disk. Erger nog: bij het opnieuw opstarten bleef hij hangen op de melding dat er een Foreign Disk was gevonden en kon ik kiezen uit Import of Clear. ProSupport kon mij het verschil tussen beide opties niet vertellen. Toen de Dell-engineer de onsterfelijke woorden uitsprak "dat ik dan maar zelf even moest Googlen" zakte mijn broek af en heb ik het telefoongesprek maar beleefd beëindigd.

Beide opties deden uiteindelijk echter niets, behalve mijn Raid definitief naar de ballen helpen! OS weg en data weg! En dan komt de ellende opborrelen: droge mond, dat gevoel dat de grond onder je voeten wegzakt, plannen voor het weekend (kerstdiner) die in rook opgaan!

Terwijl ik al begonnen was een kale virtuele server op te tuigen, werd ik gebeld door onze support partner. Hij stelde voor alle disks uit de server te halen, de Raid configuratie uit de controller te verwijderen en opnieuw aan te maken met alleen de gezonde Raid-1 disk erin. En warempel, dat werkte! Zelfde geintje uitgehaald met de vier data disks (stonden in Raid-10 en waren ook weg) en ook dat ging goed. Daarna de nieuwe disk van Dell geplaatst en nu ging de mirror zichzelf keurig rebuilden...Stipt 17:00 vrijdagmiddag kon ik aan m'n VrijMiBo beginnen!

Onnodig te zeggen dat ik maandag persoonlijk een fles champagne bij hem afgegeven heb...

[ElCondor]

Dat is wel een fijn begin van de kerst inderdaad. En ook fijn dat die gast daar mooi even over terug belde.

Het kan inderdaad nog wel eens zo zijn dat het rebuilden van een array de tweede disk ook down haalt. Wet van Murphy heet dat. Ik heb het hier ook gehad. Raid 5 van drie disks, één disk klapt, de andere twee moeten iets harder werken om de boel draaiende te houden en prompt klapt disk 2 ook. We hebben het hier over 300GB UltraWide SCSI schijven en die heb ik niet zo maar meer op de plank liggen. Disks eruit halen en reseaten bood uiteindelijk soelaas. Niet dat de server nog kon booten, maar ik kon in ieder geval in de PE repair environment nog bij de data. USB stickje erin en xcopy draaien. (Het was geen productie server, dus geen recente backup, maar je zult altijd zien, die data is toch wel fijn om te hebben )

En terecht van die fles champagne hoor. Goeie actie!

[Dennism]

Enki schreef op dinsdag 23 december 2014 @ 11:28:
[...]


Hmm, zo simpel was het dus niet. Ondanks dat Dell ProSupport, de Raidcontroller manual en mijn eigen ervaring zeiden dat het inderdaad slechts een kwestie van omwisselen zou moeten zijn, klapte de server eruit bij het plaatsen van de nieuwe disk. Erger nog: bij het opnieuw opstarten bleef hij hangen op de melding dat er een Foreign Disk was gevonden en kon ik kiezen uit Import of Clear. ProSupport kon mij het verschil tussen beide opties niet vertellen. Toen de Dell-engineer de onsterfelijke woorden uitsprak "dat ik dan maar zelf even moest Googlen" zakte mijn broek af en heb ik het telefoongesprek maar beleefd beëindigd.

Beide opties deden uiteindelijk echter niets, behalve mijn Raid definitief naar de ballen helpen! OS weg en data weg! En dan komt de ellende opborrelen: droge mond, dat gevoel dat de grond onder je voeten wegzakt, plannen voor het weekend (kerstdiner) die in rook opgaan!

Terwijl ik al begonnen was een kale virtuele server op te tuigen, werd ik gebeld door onze support partner. Hij stelde voor alle disks uit de server te halen, de Raid configuratie uit de controller te verwijderen en opnieuw aan te maken met alleen de gezonde Raid-1 disk erin. En warempel, dat werkte! Zelfde geintje uitgehaald met de vier data disks (stonden in Raid-10 en waren ook weg) en ook dat ging goed. Daarna de nieuwe disk van Dell geplaatst en nu ging de mirror zichzelf keurig rebuilden...Stipt 17:00 vrijdagmiddag kon ik aan m'n VrijMiBo beginnen!

Onnodig te zeggen dat ik maandag persoonlijk een fles champagne bij hem afgegeven heb...

Er mooi dat het op deze manier opgelost is, maar wat ik eigenlijk mis hier is een correcte (baremetal) backup van zowel OS als data (al kan het zijn dat je natuurlijk van de data wel een correcte backup had). Dit goed voorelkaar hebben kan je in dit soort situaties bergen werk schelen

Wel echt een slechte reactie van de Dell support trouwens, snap niet dat ze je bij problemen als deze niet direct doorvermelden naar een 2de of 3de lijns medewerkers in plaats van een blijkbaar eerste lijns die van dit soort zaken helaas niet al te veel kennis had.

[Powermage]

Dit soort problemen zie ik voornamelijk voorkomen bij de onboard intel/adaptec controllers met consumenten sata disken (of soms met brakke areca krengen)... ik dacht dat een perc 6/i toch wel een serieuzere controller was eigenlijk?

Zeker met dat soort brakke controllers kan je vaak nog wel iets doen door bijvoorbeeld de config te importeren (nooit clear/cleanen oid) of gewoon de raid functie te disablen en vanaf 1 van de 2 disks te booten.
Wat je vaak ziet is in geval van sata disken dat hij lees problemen heeft en de raid controller de disk eruit kiept, wanneer je de raid functie uitschakeld is het in geval van raid-1 een normale disk en kan je booten (aangezien ze vaak na een x aantal seconden wel de lees actie kunnen voltooien)

Oke, je hebt dan geen raid meer, maar je server draait weer even, daarna kan je dan dmv een macrium of acronis image een backup en restore maken naar een nieuw opgebouwde raid-1.

[Tijntje]

Enki schreef op dinsdag 23 december 2014 @ 11:28:
[...]


Hmm, zo simpel was het dus niet. Ondanks dat Dell ProSupport, de Raidcontroller manual en mijn eigen ervaring zeiden dat het inderdaad slechts een kwestie van omwisselen zou moeten zijn, klapte de server eruit bij het plaatsen van de nieuwe disk. Erger nog: bij het opnieuw opstarten bleef hij hangen op de melding dat er een Foreign Disk was gevonden en kon ik kiezen uit Import of Clear. ProSupport kon mij het verschil tussen beide opties niet vertellen. Toen de Dell-engineer de onsterfelijke woorden uitsprak "dat ik dan maar zelf even moest Googlen" zakte mijn broek af en heb ik het telefoongesprek maar beleefd beëindigd.

Beide opties deden uiteindelijk echter niets, behalve mijn Raid definitief naar de ballen helpen! OS weg en data weg! En dan komt de ellende opborrelen: droge mond, dat gevoel dat de grond onder je voeten wegzakt, plannen voor het weekend (kerstdiner) die in rook opgaan!

Terwijl ik al begonnen was een kale virtuele server op te tuigen, werd ik gebeld door onze support partner. Hij stelde voor alle disks uit de server te halen, de Raid configuratie uit de controller te verwijderen en opnieuw aan te maken met alleen de gezonde Raid-1 disk erin. En warempel, dat werkte! Zelfde geintje uitgehaald met de vier data disks (stonden in Raid-10 en waren ook weg) en ook dat ging goed. Daarna de nieuwe disk van Dell geplaatst en nu ging de mirror zichzelf keurig rebuilden...Stipt 17:00 vrijdagmiddag kon ik aan m'n VrijMiBo beginnen!

Onnodig te zeggen dat ik maandag persoonlijk een fles champagne bij hem afgegeven heb...

Je had na die opmerking van Dell Support direct naar je Dell Account Manager moeten escaleren, zodat je bij de juiste mensen uit komt. Je bent waarschijnlijk op de eerste lijnsupport blijven hangen.

[Bigs]

'Foreign configuratie' is de configuratie die op je schijven staat opgeslagen maar die verschilt van die in de RAID controller. Hiermee kun je bijvoorbeeld ook een RAID array van een andere controller in je server overnemen (naast je bestaande RAID arrays). Had je bij die vraag voor clear gekozen dan was je waarschijnlijk alles kwijt geweest (aangezien je controller er ook al niets meer van snapte). Wat je nu dus uiteindelijk hebt gedaan is de foreign config van je goede schijf ingeladen om de RAID controller te herstellen. Handige truuk die ik met name met goedkopere RAID controllers (beruchte Dell SAS6/iR) meer dan eens nodig heb gehad. Wel jammer zo'n standaard handeling als dit zelfs met een PERC controller nog mis gaat.

[Bigs]

Tijntje schreef op woensdag 24 december 2014 @ 09:43:
[...]


Je had na die opmerking van Dell Support direct naar je Dell Account Manager moeten escaleren, zodat je bij de juiste mensen uit komt. Je bent waarschijnlijk op de eerste lijnsupport blijven hangen.

Dit. Je hebt altijd recht op escalatie bij Dell, soms kan het geen kwaad om daar al vroeg mee te beginnen.

[Enki]

Bigs schreef op woensdag 24 december 2014 @ 20:43:
[...]


Dit. Je hebt altijd recht op escalatie bij Dell, soms kan het geen kwaad om daar al vroeg mee te beginnen.

Tsja, dat is dan zo'n "ervarings-weetje" voor de volgende keer...

[Enki]

Dennism schreef op dinsdag 23 december 2014 @ 18:18:
[...]


Er mooi dat het op deze manier opgelost is, maar wat ik eigenlijk mis hier is een correcte (baremetal) backup van zowel OS als data (al kan het zijn dat je natuurlijk van de data wel een correcte backup had). Dit goed voorelkaar hebben kan je in dit soort situaties bergen werk schelen

Er was een goede backup van de data beschikbaar, maar inderdaad: een baremetal had een stuk gemakkelijker geweest. Ik ben bezig de gehele backup te herzien en die richting gaan we ook op.

[Bigs]

Enki schreef op maandag 29 december 2014 @ 16:29:
[...]


Tsja, dat is dan zo'n "ervarings-weetje" voor de volgende keer...

Ohja je komt daar ook pas na je eerste ProSupport crisis achter