raid-5 recoveren na stroomstoring

[Tantalus22]

Beste Tweakers,

Ik heb hier een thuiscomputer staan die tot zondag vlekkeloos werkte. De thuiscomputer heeft zes harde schijven, status van de RAID opstelling is momenteel in orde. Maar deze is niet benaderbaar.

De reden van dit topic is tweeledig: Natuurlijk hoop ik ergens op een 'gouden tip' waardoor ik alsnog bij mijn data kan. Daarnaast zou ik graag mijn opgedane kennis weer terug willen geven aan de community.

Hieronder een overzicht van mijn HD configuratie:

• 1x SSD. Hier staat het OS (Windows 7) en de meest gebruikte programma's op.
• 5x Samsung EcoGreen F4EG HD204UI, 2TB. Deze is geconfigureerd in RAID 5.

Probleem
Door een stroomstoring zijn in eerste instantie twee schijven uit het RAID-array 'geklapt'. Dit artikel uit 2005 omschrijft, hoewel het wellicht enigszins gedateerd is de blackhole van RAID5 en zet deze af tegen ZFS.

Wat is er gedaan?
Hieronder een korte beschrijving van de events die tot deze storing hebben geleid. En wat er geprobeerd is om de data weer terug te krijgen.

• Omstreeks 16 uur. Computer blijft hangen bij afsluiten, gevolgd door een stroomstoring. (Vermoedelijk overspanning).
• Computer wordt na 5 min. weer aangezet. ASUS EFI (BIOS) geeft een overclock failure aan. Voor alle duidelijkheid, PC is nooit overclocked geweest. Er wordt besloten om de EFI te laden naar 'optimized defaults'.
• Intel RST geeft post EFI aan, dat er een storing in de RAID wordt waargenomen met in eerste instantie 1 schijf
• Na inloggen op OS geeft Intel RST aan dat er een storing in de RAID is ontstaan en dat de schijf met storing op 'normaal' moet worden gezet. Deze schijf is op normaal gezet.
• Vervolgens wordt de RAID opstelling opnieuw geïnitialiseerd, dit gebeurt automatisch.
• Op 0,03% geeft de RAID opstelling aan dat een tweede schijf ook op 'normaal' moet worden gezet. Deze schijf is ook op normaal gezet.
• Na opnieuw opstarten geeft Intel RST (post EFI) aan dat drie schijven 'member' zijn, en twee schijven non-member. De RAID opstelling mist twee schijven, en geeft buiten de RAID twee losse schijven weer.
• Na het volgen van dit artikel heb ik alle schijven gelabeld, ontkoppeld en in dezelfde volgorde weer aangesloten. Dit gaf geen resultaat.
• Hierna heb ik alle schijven op non-RAID gezet, en de RAID opstelling met dezelfde settings (naam, aantal schijven in exact dezelfde volgorde en stripe size) geprobeerd opnieuw aan te maken. Dit is niet gelukt. Dit resulteerde erin dat 1 schijf het weer deed, de status veranderde naar 'Degraded'
• Vervolgens heb ik een nieuwe harde schijf aan het systeem gehangen waardoor deze opnieuw kon rebuilden. De eindstatus is dat alle schijven weer op groen staan, maar de RAID array niet benaderbaar is.
• In schijfbeheer wordt aangegeven dat ik een keuze moet maken tussen MBR of GPT. Nu weet ik dat als ik hier mee verder ga, ik alle data kwijt ben. Testdisk laat de schijven niet zien.

Aansprakelijkheid
De netbeheerder laat weten dat er naast mij nog een andere melding van een stroomstoring bij hun bekend is. De verzekeringsmaatschappij gaf echter weinig hoop. Ik zou de netbeheerder aansprakelijk kunnen stellen voor dataverlies, maar de kans dat ik een professionele data recovery dienst hiermee kan betalen achtte zij klein. Ik heb besloten om deze weg niet in te slaan. Als particulier een recovery dienst inhuren is prijzig. Van de drie offertes die ik heb ontvangen zou ik gemiddeld 3900,- euro kwijt zijn voor het dataherstel.

Voor alle duidelijkheid: In dit hele proces is bij mijn weten geen data verwijderd. Er stond 5,71 TB op de RAID. Ik beschouw de data sinds gisteren als verloren. (Lees: Ik ga ervan uit dat ik drie maanden werk kwijt ben, en zie het nu als een interessant hobby-project)

Wat heb ik geleerd?

• Pas op voor open deuren :-)
• Data kwijtraken is een nachtmerrie en komt altijd ongelegen. Ik was net mijn Dropbox aan het opschonen en ben bezig met afstuderen.
• RAID 5 kent een blackhole. Bij stroomuitval ben je daar dus niet volledig tegen beschermd. Mocht je RAID 5 draaien zorg dan voor een recovery / master CD (Ik had dat achteraf kunnen doen in Intel RST). Deze maakt een backup van de paritytabel. Dat scheelt indien herstel nodig is.
• Zorg voor een hot spare. Twee dagen rebuilden is vervelend.
• Zorg voor een goede UPS
• RAID is geen backup

[Voor 0% gewijzigd door Tantalus22 op 23-06-2011 10:23. Reden: Aanvullen leerpunten n.a.v. reply's]

[Oid]

punt 5: zorg voor een goede UPS

[Priet]

Ik heb ooit met de software van Runtime de data van mijn gecrashte RAID array weer weten terug te halen.

Het is een hele klus en je moet laaaaaang geduld hebben, maar ik heb alles weer terug weten te krijgen. Mede omdat er ook bij mij niks fysiek verwijderd was

Succes!

[aZuL2001]

En je backup ?
Want daar zou van je werk toch een recentere versie in moeten zitten.

[Freezerator]

Waren die disken al van de laatste firmware voorzien? Want schijven van voor een bepaalde datum (eind 2010) hebben een bug wat dataverlies/corruptie tot gevolg kan hebben. Misschien is het met de samenloop van omstandigheden?

Onder leerpunten:
Raid = geen backup.

[Tantalus22]

Dank voor alle goede input, ik heb de leerpunten aangevuld. Dat maakt het geheel misschien wat overzichtelijker indien een gestresste tweaker met hetzelfde probleem snel een oplossing zoekt.

Heeft iemand nog een idee hoe ik de array weer kan benaderen? Hij staat zoals ik in de openingspost vermeldde als onbekende schijf in schijfbeheer en vraagt of ik hem als MBR of GPT wil gaan zien.

@Freezerator. De disks waren voorzien van de laatste firmware, de bak is 5 maanden oud.

@aZul2001. Mijn backup bestaat uit een interne HD, die ik uit voorzorg bij mijn ouders leg, en af en toe synchroniseer. Voor mijn belangrijkste bestanden (foto's, studie) gebruik ik Dropbox i.c.m. Truecrypt. Ik weet dat ik daarin tekort schoot. Zoals je kunt begrijpen wil ik dit niet nog een keer meemaken. [off-topic] Ik zit nu te denken aan een NAS / Server / ZFS oplossing. [/off-topic]

@Priet. Was dat toevallig ook RAID5? Bijna 6 TB terughalen doe ik het liefst via een image, maar waar laat je die? Ik ken in ieder geval niemand met 6TB vrije ruimte. Ik kan me zo voorstellen dat deze oplossing lang gaat duren, en je allemaal bestandsnamen terughaalt waar je zelf weer chocolade van mag gaan maken. Klopt dit beeld?

[Voor 8% gewijzigd door Tantalus22 op 23-06-2011 10:36]

[Gé Brander]

Tantalus22 schreef op donderdag 23 juni 2011 @ 10:33:
@aZul2001. Mijn backup bestaat uit een interne HD, die ik uit voorzorg bij mijn ouders leg, en af en toe synchroniseer. Voor mijn belangrijkste bestanden (foto's, studie) gebruik ik Dropbox i.c.m. Truecrypt. Ik weet dat ik daarin tekort schoot. Zoals je kunt begrijpen wil ik dit niet nog een keer meemaken. [off-topic] Ik zit nu te denken aan een NAS / Server / ZFS oplossing. [/off-topic]

Ook een NAS/Server/ZFS oplossing is niet hetzelfde als een backup hebben. Blikseminslag/overspanning gebeurt over het algemeen in dezelfde locatie, en trekt zich niets aan van aparte harddisks op die locatie. Dat gaat overal doorheen.

Optimaal heb je offsite een backup liggen. Ik heb het met behulp van twee NAS machines. De een is de backup van de ander die bij mijn vader (6km verderop) staat te draaien. Elke nacht wordt er gesynchroniseerd, zodat ik niet meer dan 1 dag werk kwijt ben.

Als je data zo belangrijk is dat je het niet kan/wil missen, dan moet je investeren in een echte backupoplossing.

[Voor 8% gewijzigd door Gé Brander op 23-06-2011 10:46]

[TERW_DAN]

Je kunt eens met RAIDreconstructor aan de slag gaan. Die kan met wat geluk je RAID array weer herstellen en daar een image van maken die je kunt recoveren.

[Tantalus22]

c70070540 schreef op donderdag 23 juni 2011 @ 10:44:
[...]
Optimaal heb je offsite een backup liggen. Ik heb het met behulp van twee NAS machines. De een is de backup van de ander die bij mijn vader (6km verderop) staat te draaien. Elke nacht wordt er gesynchroniseerd, zodat ik niet meer dan 1 dag werk kwijt ben.

Eens. Bedankt!

@Terw_Dan. Bedankt. Helaas moet ik dan een image maken van 6TB. Deze kan ik op het moment van schijven niet kwijt.

[Voor 10% gewijzigd door Tantalus22 op 23-06-2011 11:03]

[TERW_DAN]

Dan koop je toch even 3 2TB diskjes waar je die image op kwijt kan. Die dingen kosten nu amper meer iets (en het lijkt me dat als data belangrijk is, je het die paar euro nog wel waard is).

[JanHenk]

c70070540 schreef op donderdag 23 juni 2011 @ 10:44:
[...]
Optimaal heb je offsite een backup liggen. Ik heb het met behulp van twee NAS machines. De een is de backup van de ander die bij mijn vader (6km verderop) staat te draaien. Elke nacht wordt er gesynchroniseerd, zodat ik niet meer dan 1 dag werk kwijt ben.

Als je data zo belangrijk is dat je het niet kan/wil missen, dan moet je investeren in een echte backupoplossing.

Inderdaad, ik heb eigenlijk dezelfde opstelling bedacht. Ik vind RAID echt een draak van een systeem eigenlijk. Er hoeft weinig te gebeuren aleer je de hele array kwijt bent, dat zie je nu wel weer.

Ik heb twee keer een Synology aangeschaft. Eentje voor mijzelf, eentje voor mijn ouders 60km verderop. Onze beide Mac's schrijven hun time machine backups naar de Synology's. Elke nacht loopt er een rsync-script dat beide Synology's met elkaar synchroniseert. Dan heb ik over belangrijke dingen als foto's, documenten en time machine backups. (Films en series neem ik niet mee, die doe ik één keer in de zoveel tijd gewoon over LAN).

Overigens staat beide Synology's gewoon in RAID0, voor de performance en opslagcapaciteit.

Ik zit er wel aan te denken voor beide nog een UPS aan te schaffen. Het stroomnet in Nederland wordt eigenlijk steeds slechter, een stroomstoring komt steeds vaker voor. Nu al vier keer in een jaar hier. Er wordt te weinig onderhoud gepleegd, terwijl er steeds meer capaciteit wordt gevraagd. Maar dit is een hele andere discussie.


Nog even een aanvulling op Terw_Dan;
Ik zou sowieso die schijven kopen en de array proberen te herstellen. Niet geschoten is altijd mis. Mocht het niet lukken, kun je ze altijd gebruiken voor een oplossing zoals ik hierboven heb aangedragen!

[Voor 7% gewijzigd door JanHenk op 23-06-2011 11:56. Reden: Aanvulling]

[KeDeShCh]

Ik heb, mits je geinteresseerd bent, volgende week zo'n 14TB aan vrije schijfruimte voor je.

[Tantalus22]

Ik heb voor a.s. dinsdag een afspraak staan om een image te draaien. Zo kunnen we via Linux kijken of er nog iets te redden valt. Mocht dit niet lukken dan gaan we dinsdag ook nog even aan de slag met wat andere tools, waaronder RAID Reconstructor. Ik zal onze bevindingen weer hier terugplaatsen.

@Terw_Dan: Ik heb je advies opgevolgd. Die 170 euro is mij dit wel waard.
@KeDeShCh: Bedankt voor het aanbod. Inmiddels heb ik de ruimte tot mijn beschikking.

[KeDeShCh]

Ok, Tantalus22,

Mocht je het ooit nog in de toekomst nodig hebben, dan kan je me altijd via DM benaderen.

[Gé Brander]

JanHenk schreef op donderdag 23 juni 2011 @ 11:50:
Ik zit er wel aan te denken voor beide nog een UPS aan te schaffen. Het stroomnet in Nederland wordt eigenlijk steeds slechter, een stroomstoring komt steeds vaker voor. Nu al vier keer in een jaar hier. Er wordt te weinig onderhoud gepleegd, terwijl er steeds meer capaciteit wordt gevraagd. Maar dit is een hele andere discussie.

Hier idem. Heb via Vraag en Aanbod een tweedehandsje op de kop getikt voor bij mijn vader. Alleen even de accu vervangen en hij is als nieuw.

[Tantalus22]

Afgelopen dinsdag geprobeerd onder Linux e.e.a. te herstellen. Helaas zonder succes. Hieronder een overzicht van wat we geprobeerd hebben.

• 13:15 - Via dmesg gekeken welke hardware werd gevonden. Nagezocht of daar iets raars mee aan de hand was.
• 13:30 - Geprobeerd via dmmount de RAID te mounten..
• 13:31 - In gparted wordt de unallocated space weergegeven. Gparted geeft netjes een foutmelding over de corrupte GPT table.
• 13:40 - GPT table is niet opnieuw op te bouwen in gparted. Oude (kapotte) harde schijf weer teruggezet. Intel RST geeft off-line member weer.
• 13:42 - Foutmelding blijft hetzelfde in gparted.
• 13:50 - Begonnen met RAID Reconstructor. Ziet er niet best uit.
• 15:30 - Na bijna 2 uur spelen met de instellingen van RAID Reconstructor krijgen we geen resultaat. Geen significante opties waarneembaar.
• 15:40 - Via Linux een nieuwe GPT table opgebouwd. Alle data wordt nu als verloren beschouwd.

Ons viel op dat de overige hardware vermoedelijk ook een opdonder heeft gehad. Van een stabiel systeem was geen sprake, zo viel bijvoorbeeld de video driver met enige regelmaat uit. Bij de terugreis was Dr. Murphy nog niet bepaald klaar met mij. Bij het opstarten van de computer kreeg ik een blinkende cursor te zien. En dat is meestal slecht nieuws...

De USB connector was losgeschoten. Na het opnieuw vastmaken was de tweede harde schijf (die in eerste instantie weer gefixed was) de veroorzaker dat ik het BIOS niet meer in kwam. Na dagen van losse componenten testen is dit het eindresultaat:

• Twee HDD's zijn kapot
• Het nvram van de videokaart is corrupt

Inmiddels zijn deze vervangen en is er een verse installatie voor nodig geweest om alles weer naar behoren te laten lopen. Ik heb mijn lesje geleerd en ga mij nu eens buigen (aan de hand van de feedback die hierboven is geplaatst) over hoe ik dit in het vervolg kan voorkomen.

Tot slot wil ik iedereen nog even bedanken voor hun betrokkenheid en inlevingsvermogen. Dit wens ik geen enkele tweaker toe.

[Q]

De data is dus weg, dat het maken van een backup belangrijk is, is nu ook wel duidelijk.

De vraag is, los van de backup, hoe dit issue te voorkomen was geweest.

Het antwoord is zeer waarschijnlijk: met een UPS, kosten 100 euro. Is je data 100 euro waard?

[Tantalus22]

Volgens de netbeheerder en twee mensen die ik gesproken heb kan een UPS niet in alle gevallen voorkomen dat een piekbelasting je electronica beschadigd. Inmiddels heb ik wel een UPS besteld i.c.m. een NAS omdat de combinatorieke kans op die manier voor mij aanvaardbaar is.

De anti-surge bescherming van het mobo en de glaszekering op het stekkerblok waren in ieder geval niet afdoende. Het ging hier om een indirecte inslag. Dat houdt in dat er een spanningsverschil ontstaat. Deze schade wordt door verzekeraars meestal niet vergoed.

Via Google vond ik dat een gemiddelde blikseminslag rond de 40.000 A zit. Mag ik daaruit concluderen dat als je een UPS kiest die daar voldoende bovenzit, je dit risico voldoende afvangt?

[Voor 47% gewijzigd door Tantalus22 op 03-07-2011 22:42]

[Wildfire]

Nou ja, je hebt ook aktieve UPS'en die pieken opvangen en daardoor een erg stabiele voeding voor de PC vormen. Lijkt me dan een betere keus.

[_Dune_]

JanHenk schreef op donderdag 23 juni 2011 @ 11:50:
[...]
Inderdaad, ik heb eigenlijk dezelfde opstelling bedacht. Ik vind RAID echt een draak van een systeem eigenlijk. Er hoeft weinig te gebeuren aleer je de hele array kwijt bent, dat zie je nu wel weer.

Toch wil ik over de opmerking even iets kwijt. Ik vermoed dat jij, zoals zoveel anderen die ik hier op het forum tegen kom, RAID wilt gebruiken voor iets waar het geheel niet voor bedoeld is, namelijk een backup.

RAID is er alleen voor bedoeld om het defect raken van een of meerdere hardeschijfen (afhankelijk van het RAID level) op te vangen. Als het om belangrijke data gaat is een backup te nalle tijden nodig naast een RAID systeem. RAID zorgt alleen maar voor continuiteit voor de beschikbaarheid van de data bij hardware valen, maar bied geen veligheid tegen virussen, schade van buitenaf of menselijkhandelen (trigger happy met de Delete button).

Zoals hier reeds besproken zul je naats RAID ook een UPS en een goed doordacht backup schema nodig zijn, om databeschikbaarheid en veiligheid te garanderen.

[freaky]

FYI ik heb ooit RAID data gerecovered met mdadm op linux.

Je hebt hiervoor aardig wat kennis nodig van computers/linux in het algemeen en met name zul je ook moeten weten wat de stripe size is en de volgorde van de schijven. Met mdadm kun je de set dan in read-only zetten zodat er met testen/recoveren iig niks verder kapot gaat (op data niveau door het recovery process dan, zolang schijven draaien en koppen bewegen is er altijd kans dat data beschadigd raakt op hardware niveau).

Tevens zul je moeten weten hoe de RAID controller met z'n disks om gaat. Als hij bijv. de eerst 512k van iedere schijf gebruikt t.b.v. identificatie oid zul je dat stuk dus moeten skippen. De meeste goedkope RAID zooi begint aan het begin van de schijven gewoon met de data en heeft tags aan het einde van de schijf staan en dat is meestal geen probleem.

Veel succes.