Data redden van Freenas 0.7.2 Software Raid 5 (GEOM)

[Goku33]

Na een poging in het DIY NAS topic, is het wellicht beter een apart topic voor dit probleem aan te houden.
Het doel van dit topic is om een manier te vinden om de data op mijn software raid 5 uit mijn Freenas 0.7.2 installatie te redden. Ik zal hieronder beschrijven wat ik inmiddels al geprobeerd heb.

Situatie:
Freenas 0.7.2 installatie op USB stick
4x2TB in software raid 5 (GEOM)

Na wat gepruts met plugins en ssh commando's als umount, mount_unionfs had ik zeer tijdelijk sickbeard en sabnzbd op de NAS draaien. Een dag later stopten die plugins ineens weer en na een harde reboot begon freenas nu na het opstarten meteen mijn software raid te rebuilden. (Status: rebuilding: hot). Alleen kwam hij binnen een uur nog niet eens tot 1% en dan stopte het hele systeem met reageren. Tijdens het rebuilden was mijn data toen wel gewoon toegankelijk maar enorm traag.

------------

Mijn volgende optie was om een versie freenas 9.1 installatie te proberen. Op een nieuwe usb stick geïnstalleerd, en als ik mijn scherm aan de NAS zelf hing, zag ik dat hij na het booten mijn GEOM_RAID5 aan het rebuilden was. Dit heeft zo'n 10 uur geduurd zonder crashes. (status: verify completed).
Freenas weet dus op de één of andere manier dat er een raid 5 array aanwezig is en hij lijkt intact te zijn. Maar het lukt mij niet om deze array uit freenas 0.7.2 nu weer toegankelijk te krijgen in freenas 9.1.

Auto-import volume laat geen opties zien:


Onder 'import volume' vind ik enkel de 4 losse disks:

Maar ik ben bang dat als ik hier iets kies dat hij data gaat wissen? Of moet ik hier eerst de 4 disks importeren, waarna hij de array weer zal vinden?

Omdat het een oudere software nas is, dacht ik misschien het legacy import window, maar:

Die rode letters "Existing data will be cleared" zorgen ervoor dat ik hier sowieso nergens op klik.

Dus... nu heb ik 4 losse disks, maar nog geen raid volume. Hoe krijg ik dit terug?

Hier vind ik de volgende zin:
Supported volumes are UFS stripes (RAID0), UFS mirrors (RAID1), UFS RAID3, as well as existing ZFS pools. UFS RAID5 is not supported as it is an unmaintained summer of code project which was never integrated into FreeBSD. Hierdoor ben ik dus weer afgestapt van de freenas 9.1 optie.

------------

De USB stick met die freenas 0.7.2 installatie had ik ondertussen ook nog steeds liggen. Dus ik heb daar weer eens van geboot, gaat nog prima. Nu werkt de raid echter ook ineens niet meer in die installatie...

Raid gestopt? Geen idee waarom, er heeft in de tussentijd alleen een succesvolle rebuild plaatsgevonden.

------------

Mijn laatste poging is om gebruik te maken van de UFS Explorer Recovery CD. Na hiervan geboot te hebben vind ik in de software pakketten zoals UFS Explorer Raid Recovery wel mijn 4 schijven, maar vervolgens moet ik zaken als de Disk Volgorde, Stripe Size, Parity Distribution en Parity Delay van de te bouwen raid 5 invoeren. Ik kan nergens specificaties vinden van de standaard GEOM Raid 5 instellingen, dus ik ben voor alle disk volgordes maar allerlei stripe sizes gaan proberen. Uiteindelijk vond ik bij 64kB stipe size en een bepaalde disk volgorde wel 2 directories die op mijn NAS stonden, maar hier stond verder geen data in. Maar het feit dat er iets gevonden wordt geeft mij wel het idee dat de data er nog is, ik moet alleen de juiste instellingen vinden...

------------

Wat nu? Kan iemand mij in de juiste richting wijzen om weer bij mijn data te kunnen? Dan kan ik daarna eindelijk op een veiliger ZFS systeem overstappen...

[Verwijderd]

Boot eerst eens FreeBSD en zorg dat je toegang hebt tot de console, zoals via SSH toegang. Relatief gemakkelijk is als je de ZFSguru livecd gebruikt en daar geom_raid5 op installeert.

Kennelijk heeft de nieuwe versie van FreeNAS geen ondersteuning meer voor geom_raid5. Maar je kunt handmatig nog wel kijken of het werkend te krijgen is. Zeg maar hoe je verder wilt gaan; met een LiveCD een beetje prutsen is denk ik de veiligste optie.

[Goku33]

Verwijderd schreef op dinsdag 08 oktober 2013 @ 14:29:
Boot eerst eens FreeBSD en zorg dat je toegang hebt tot de console, zoals via SSH toegang.

Ik kan Freenas 0.7.2 nog gewoon booten en via SSH in de console kijken. Ik zou alleen niet weten wat voor commando's er voor gaan zorgen dat de raid weer gaat starten.

Verwijderd schreef op dinsdag 08 oktober 2013 @ 14:29:
Relatief gemakkelijk is als je de ZFSguru livecd gebruikt en daar geom_raid5 op installeert.

Kennelijk heeft de nieuwe versie van FreeNAS geen ondersteuning meer voor geom_raid5. Maar je kunt handmatig nog wel kijken of het werkend te krijgen is. Zeg maar hoe je verder wilt gaan; met een LiveCD een beetje prutsen is denk ik de veiligste optie.

Dat wil ik wel proberen uiteraard. Kun je me in de richting van een stappenplan o.i.d. wijzen?
Hoe krijg ik bijvoorbeeld geom_raid5 op die livecd geïnstalleerd?

[Verwijderd]

Het liefst zou ik willen dat je een BSD versie pakt die ik goed ken, zoals mfsBSD of beter nog: ZFSguru. Met die laatste kun je de kernel configuratie ook makkelijk binnenhalen wat nodig is voor het installeren van geom_raid5.

We gaan dan eerst naar je SMART kijken en daarna kijken of de geom_raid5 volume nog goed functioneert. Daarna kun je met Samba of iets anders de data overhevelen. Dat brengt mij tot de volgende vraag: heb je opslagruimte om alles naartoe te kopiëren? Zo nee kun je overwegen extra opslag te kopen (een paar WD 4TB schijfjes bijv) en hier een ZFS pool van te maken. Dan kun je je gegevens hier veilig op kwijt. Op dit moment is onduidelijk of je nog bij je gegevens kunt. Hoe minder je doet, des te beter.

[Goku33]

Ik zal ZFS Guru erbij pakken. Is het voldoende om dit als LiveCD te runnen, of moet ik hem daadwerkelijk gaan installeren op een USB stick?

Ik zal smart uitkomsten hier plaatsen, hoe check ik de werking van het geom_raid5 volume?

Ik heb voldoende opslagruimte op mijn werkstation beschikbaar om de bestanden die ik wil redden op te slaan. Films en series download ik wel weer opnieuw. Vooralsnog hoop ik het dus te redden zonder nieuwe harde schijven te kopen.

[Verwijderd]

Als je ZFSguru LiveCD hebt geboot:
- check welk IP hij heeft en surf met je laptop/desktop naar dat IP adres in je browser
- skip de welcome wizard (bij stap1 kan dat)
- ga naar services -> install -> misc. -> FreeBSD Sourcecode
- installeer deze service (eerst downloaden dan installeren)
- ga naar services -> internal -> openSSH
- maak een wachtwoord aan voor SSH toegang. Download PuTTY of een andere SSH client.
- Log in als gebruiker ssh met het wachtwoord dat je hebt gekozen
- word superuser (root) met 'su' zonder de ' ' natuurlijk.
- download de portstree:
portsnap fetch && portsnap extract
- ga naar de geom_raid5 directory
cd /usr/ports/sysutils/graid5
make install clean

Maar voordat je met geom_raid5 gaat spelen zou ik graag eerst de SMART van je schijven willen zien. Dat kun je doen met een screenshot van de Disks->SMART pagina. Zou je me die kunnen geven?

[Goku33]

Alvast super bedankt voor al je hulp! Ik waardeer dit enorm.

Hierbij de smart pagina:


Die overige stappen laat ik dus nog even voor wat het is?

[Verwijderd]

Oke prima, de overige stappen kun je nu uitvoeren.

[Goku33]

OK, het resultaat van 'make install clean':

[Verwijderd]

Kun je ook opgeven:

code:

ls /dev/ad*
gpart show /dev/ada0
glabel status

[Goku33]

[Verwijderd]

Oke dan dit:

graid5 dump /dev/ada0

[Goku33]

Dit ziet er volgens mij iets beter uit

[Verwijderd]

128KiB stripesize. ziet er verder prima uit.

probeer de kernel module maar te laden:
kldload geom_raid5

en kijk wat voor berichten je op het scherm ziet, of met:

dmesg | tail -n 20

[Goku33]

uh oh, 2 beschadigde schijven?

[Verwijderd]

graid5 status
graid5 list

find /dev/raid5/

[Goku33]

[Verwijderd]

Ja oke prima je hebt op de RAID5 engine een partitietabel. Niet erg netjes maar zo doet FreeNAS dat kennelijk.

Goed. Je kunt eens kijken of je UFS filesystem goed is:

fsck -t ufs -n /dev/raid5/Datap1
(let op: hoofdletter D)

Als er fouten zijn kun je die fixen zonder het -n commando. Als het er heel veel zijn moet je soms -y gebruiken.

Zie je geen fouten, ga dan door:

mount -t ufs -o ro /dev/raid5/Datap1 /mnt

Let op dat "Datap1" met een hoofdletter D is.

[Goku33]

Dit gaat even duren... allerlei meldingen na fsck -t ufs -n /dev/raid5/Datap1
UNEXPECTED SOFT UPDATE INCONSISTENCY
EXCESSIVE BAD BLKS
INCORRECT BLOCK COUNT
etc...
Hij is nog bezig. Daarna repareren denk ik dan maar... ik laat het horen als ik de status weet.

[Verwijderd]

Gelukt?

[Goku33]

Geen idee wat er allemaal gebeurt na dat eerste commando, maar die HDD's bljven maar ratelen!



Heel veel van dit soort meldingen...

[Verwijderd]

Lekker gefragmenteerd zeker. Nou ehm.. je kunt ook met control-C aborten en zonder -n doen, anders moet je dit twee keer doen. ;-)

Nadat de fsck (filesystem check) is afgelopen, kun je hem mounten. Zie het commando in mijn voorlaatste reply.

Na het mounten kun je kijken of je bestanden goed staan:

ls -l /mnt
(LS -L kleine letters)

[Goku33]

OK thanks, dan mag hij nu een nachtje nadenken over die filesystem check

[Verwijderd]

Het kan zijn dat je dat fsck commando meerdere keren moet draaien. Na de eerste keer zal het wel wat sneller gaan, maar het blijft langzaam omdat je schijven veel moeten seeken. Vooral als je veel files hebt en dat is waarschijnlijk ook zo.

[Goku33]

Na de 2e keer stond er iets van 'filesystem fixed'! Vanochtend heb ik hem nog voor de 3e keer aangezet voor de zekerheid, nu zit ik op mijn werk, en hopelijk kan ik vanavond dan de laatste stappen ondernemen! Ik heb weer hoop op een goede afloop!

[Verwijderd]

Oke ben benieuwd!

Eigenlijk zou je met fsck door moeten gaan totdat je geen meldingen meer ziet. Nu heb ik wel gehad dat sommige meldingen niet meer weggingen. Dat moet je maar gewoon skippen dan.

Uiteraard raad ik je wel aan serieus na te denken over betrouwbare opslag. ZFS is daarbij gewoon dé opslagtechnologie bij uitstek op dit moment. Ik snap dat je nu niet makkelijk van geom_raid5 weg kunt, omdat je geen reserve ruimte hebt. Er is overigens wel een manier. Als je alle data van de RAID5 op één disk kwijt kunt, is er wel een manier om van je 4-disk RAID5 naar 4-disk ZFS RAID-Z te gaan.

Maar ga eerst maar kijken of je data er is, en hoe je dan uiteindelijk verder wilt. Als je er met Windows/Mac desktop bij wilt komen, moet je even /mnt sharen met Samba. Daar kan ik je nog instructies voor geven als je wilt. Ik hoor het wel!

Succes!

[Goku33]

De 1e en 2e keer fsck leverde enorme lijsten reparaties op. De 3e keer gaf dit als resultaat:

Die 3x yes die ik zie staan waren dan de laatste foutjes? Nog 1 keer draaien dan maar...?

[Verwijderd]

Mwah probeer hem maar eens te mounten.

Dat commando is toch read-only mount.

[Verwijderd]

mount -t ufs -o ro /dev/raid5/Datap1 /mnt
ls -l /mnt

[Goku33]

Ja! Ik zie mijn data weer!
Geweldig!
Alleen hoe share ik dit nu via samba? Ik zie in de webinterface nergens mijn raid ofzo terug, de filesystems pagina is daar nu leeg. Op de samba pagina zie ik ook alleen de /tmpfs share, geen andere om aan te zetten.

[Verwijderd]

ee /usr/local/etc/smb.conf

Scroll naar het einde, op een nieuwe regel voeg je toe:

[raid5]
path = /mnt
browsable = yes
public = yes
writable = no

Dan kijken of je hem kunt vinden. Eventueel Samba restarten al is dat denk ik niet nodig:
service samba restart

[ Voor 3% gewijzigd door Verwijderd op 09-10-2013 19:53 ]

[Goku33]

Helemaal fantastisch! Na een redelijk stressvolle week kan ik weer bij de data! Ik ben druk bezig backups te maken!
Echt, ik ben je enorm dankbaar CiPHER, zonder dit topic was ik hoogstwaarschijnlijk overgegaan tot een volledige format om maar gewoon opnieuw te beginnen...

Deze week maar een extra schijf en wat meer ddr3 kopen en overstappen op raid-z!

[ Voor 5% gewijzigd door Goku33 op 09-10-2013 21:38 ]

[Verwijderd]

Gefeliciteerd!

Met een extra schijf kun je makkelijker migreren naar ZFS. Bovendien is 5 disks in RAID-Z een optimale configuratie (of 6 disks in RAID-Z2 voor extra bescherming). Beide zijn optimaal voor 4K sector schijven, iets wat met ZFS meer invloed heeft dan andere filesystems en RAID engines.

Zodra je toe bent aan ZFS hoor ik het wel. DM bericht of op het forum (ZFS topic of DIY RAID NAS topic).

Groetjes,
CiPHER

[sphere]

Dit topic bewijst: GoT is wel een helpdesk. Chapeau Cipher!

[Whatson]

CiPHER +1 Voor dit happily ever after topic

[Verwijderd]

Ach ik ben niet te beroerd om hem te helpen met iets wat ik redelijk gemakkelijk kan en waar hij anders al zijn data voor moet opgeven. Als de rollen waren omgedraaid zou ik tenminste willen zien wát ik dan precies mis qua bestanden, ook al is het minder belangrijke data. Misschien heb je wel even de laatste foto's van je digicam daarop geparkeerd. Dan liever zonder ongewenst dataverlies verder naar een écht veilige oplossing!

[CurlyMo]

Verwijderd schreef op woensdag 09 oktober 2013 @ 19:50:
ee /usr/local/etc/smb.conf

Scroll naar het einde, op een nieuwe regel voeg je toe:

[raid5]
path = /mnt
browsable = yes
public = yes
writable = no

Dan kijken of je hem kunt vinden. Eventueel Samba restarten al is dat denk ik niet nodig:
service samba restart

Top werk CiPHER! Toch een kleine verbetering. Je dient samba altijd te herstarten als je de config aanpast