recoveren mdadm raid lukt niet

[wvdburgt]

eergister hoorde ik snachts allerlei herrie komen uit mijn eigen server. De volgende dag werden mijn vermoedens bevestigd: de server was gecrashed.

Via cat /proc/mdstat kon ik zien dat 3/5 schijven in sync waren van mijn mdadm raid 5 met 5 harde schijven van 1 tb. Het OS wat ik draai is CentOS 5.7 met de nieuwste updates tot vorige week.

Ik heb geprobeerd om te achterhalen of de schijf kapot zijn via smartctrl maar dit commando werkte niet meer door het ontbreken van de 2 harde schijven. Ik heb de server uitgezet en de 2 ontbrekende harde schijven los gekoppeld en in mijn andere pc gestopt om te controleren met de Seagate tool. Beide schijven leken goed te functioneren. Ook de lange tests bleken goed te verlopen. Ik heb ze terug geplaatst in de server en ze werden weer herkent. Helaas is daarmee nog niet de RAID herstelt. Wanneer ik heb op start zie ik alleen links boven GRUB.

Ik heb daarna de server opgestart vanaf een USB stick met Ubuntu en daarom mdadm geinstalleerd. Hierdoor kon ik de schijven onderzoeken:

code:

root@ubuntu:~# mdadm --examine /dev/sd*2
/dev/sda2:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 84285f08:01c3ee5d:3e3d8a57:e43635d5
  Creation Time : Mon Dec  5 10:58:48 2011
     Raid Level : raid5
  Used Dev Size : 975707648 (930.51 GiB 999.12 GB)
     Array Size : 3902830592 (3722.03 GiB 3996.50 GB)
   Raid Devices : 5
  Total Devices : 5
Preferred Minor : 2

    Update Time : Tue Mar 27 06:29:13 2012
          State : active
 Active Devices : 4
Working Devices : 4
 Failed Devices : 1
  Spare Devices : 0
       Checksum : 2a10dd2e - correct
         Events : 745189

         Layout : left-symmetric
     Chunk Size : 256K

      Number   Major   Minor   RaidDevice State
this     0       8        2        0      active sync   /dev/sda2

   0     0       8        2        0      active sync   /dev/sda2
   1     1       0        0        1      faulty removed
   2     2       8       34        2      active sync   /dev/sdc2
   3     3       8       66        3      active sync   /dev/sde2
   4     4       8       50        4      active sync   /dev/sdd2
/dev/sdb2:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 84285f08:01c3ee5d:3e3d8a57:e43635d5
  Creation Time : Mon Dec  5 10:58:48 2011
     Raid Level : raid5
  Used Dev Size : 975707648 (930.51 GiB 999.12 GB)
     Array Size : 3902830592 (3722.03 GiB 3996.50 GB)
   Raid Devices : 5
  Total Devices : 5
Preferred Minor : 2

    Update Time : Mon Mar 26 22:49:55 2012
          State : active
 Active Devices : 5
Working Devices : 5
 Failed Devices : 0
  Spare Devices : 0
       Checksum : 2a0ff2d3 - correct
         Events : 712747

         Layout : left-symmetric
     Chunk Size : 256K

      Number   Major   Minor   RaidDevice State
this     1       8       18        1      active sync   /dev/sdb2

   0     0       8        2        0      active sync   /dev/sda2
   1     1       8       18        1      active sync   /dev/sdb2
   2     2       8       34        2      active sync   /dev/sdc2
   3     3       8       66        3      active sync   /dev/sde2
   4     4       8       50        4      active sync   /dev/sdd2
/dev/sdc2:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 84285f08:01c3ee5d:3e3d8a57:e43635d5
  Creation Time : Mon Dec  5 10:58:48 2011
     Raid Level : raid5
  Used Dev Size : 975707648 (930.51 GiB 999.12 GB)
     Array Size : 3902830592 (3722.03 GiB 3996.50 GB)
   Raid Devices : 5
  Total Devices : 5
Preferred Minor : 2

    Update Time : Wed Mar 28 21:28:17 2012
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 1
  Spare Devices : 0
       Checksum : 2a1ee107 - correct
         Events : 761642

         Layout : left-symmetric
     Chunk Size : 256K

      Number   Major   Minor   RaidDevice State
this     2       8       34        2      active sync   /dev/sdc2

   0     0       0        0        0      removed
   1     1       0        0        1      faulty removed
   2     2       8       34        2      active sync   /dev/sdc2
   3     3       8       66        3      active sync   /dev/sde2
   4     4       8       50        4      active sync   /dev/sdd2
/dev/sdd2:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 84285f08:01c3ee5d:3e3d8a57:e43635d5
  Creation Time : Mon Dec  5 10:58:48 2011
     Raid Level : raid5
  Used Dev Size : 975707648 (930.51 GiB 999.12 GB)
     Array Size : 3902830592 (3722.03 GiB 3996.50 GB)
   Raid Devices : 5
  Total Devices : 5
Preferred Minor : 2

    Update Time : Wed Mar 28 21:28:17 2012
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 1
  Spare Devices : 0
       Checksum : 2a1ee11b - correct
         Events : 761642

         Layout : left-symmetric
     Chunk Size : 256K

      Number   Major   Minor   RaidDevice State
this     4       8       50        4      active sync   /dev/sdd2

   0     0       0        0        0      removed
   1     1       0        0        1      faulty removed
   2     2       8       34        2      active sync   /dev/sdc2
   3     3       8       66        3      active sync   /dev/sde2
   4     4       8       50        4      active sync   /dev/sdd2
/dev/sde2:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 84285f08:01c3ee5d:3e3d8a57:e43635d5
  Creation Time : Mon Dec  5 10:58:48 2011
     Raid Level : raid5
  Used Dev Size : 975707648 (930.51 GiB 999.12 GB)
     Array Size : 3902830592 (3722.03 GiB 3996.50 GB)
   Raid Devices : 5
  Total Devices : 5
Preferred Minor : 2

    Update Time : Wed Mar 28 21:28:17 2012
          State : clean
 Active Devices : 3
Working Devices : 3
 Failed Devices : 1
  Spare Devices : 0
       Checksum : 2a1ee129 - correct
         Events : 761642

         Layout : left-symmetric
     Chunk Size : 256K

      Number   Major   Minor   RaidDevice State
this     3       8       66        3      active sync   /dev/sde2

   0     0       0        0        0      removed
   1     1       0        0        1      faulty removed
   2     2       8       34        2      active sync   /dev/sdc2
   3     3       8       66        3      active sync   /dev/sde2
   4     4       8       50        4      active sync   /dev/sdd2
root@ubuntu:~#

Helaas durf ik met mijn geringe ervaring van mdadm niet goed iets te doen. Ik vond dit artikel:
http://blog.al4.co.nz/201...-with-two-failed-devices/ maar het opnieuw maken leek me riskant.

Kan iemand me vertellen wat ik het beste kan doen?

Nog even in het kort wat gegevens:
Centos 5.7
5x 1tb harde schijf
partitionering: elke schijf heb ik gesplitst in 1gb en de rest. de 1gb gebruik ik voor verschillende kleine partities zoals swap. de grote gedeeltes gebruik ik voor de storage. Deze zijn opgesplist dmv LVM.
Hopelijk ben ik zo duidelijk. Alle tips zijn welkom:)

[LauPro]

Met RAID5 heb ik dit verschillende keren gehad, en destijds tot een 8 keer toe kunnen repareren en de laatste keer lukte het niet meer.

Daarom gebruik ik nu alleen nog maar RAID1.

In ieder geval moet je even uitsluiten dat het defect niet in je moederbord/raidcontroller zit. Als dat het geval is ben je verder van huis.

Als je zeker weet dat je de defectie schijf hebt, dan moet je die eruit laten en er een nieuwe voor in de plaats zetten en die toevoegen als hotspare. De array zal zich dan herstellen. Volgens mij moet je RAID5 met 2 schijven gewoon kunnen booten. Als dat niet kan is er waarschijnlijk wat mis met je bootloader (of hij start juist op van de defectie schijf). Met software raid moet je eigenlijk een apart bootvolume hebben, misschien dat je je boot partitie even op een USB-disk kan zetten ofzo.

Het beste is om je mdadm config te gebruiken voor reconstructie. Dan weet je zeker dat je goed zit (mits schijfnummering sda, sdb etc nog hetzelfde is!)

Elke software raid schijf heeft info over de array staan. Dus je kan elke willekeurige set met schijven samenvoegen en recoveren (mits ze tot dezelfde raidset behoorde).

edit: Overigens raad ik aan voor iedereen die zo'n array gaat bouwen om recovery scenario's te testen. Elke keer als je een array maakt, trek er dan een keer een schijf uit en kijk hoe deze reageert en schrijf de stappen op die je moet verrichten om de array te herstellen. Nieuwe schijf kan je simuleren door een array disk te zerofillen en dan terug te plaatsen.

[ Voor 13% gewijzigd door LauPro op 30-03-2012 16:32 ]

[CAPSLOCK2000]

LauPro schreef op vrijdag 30 maart 2012 @ 16:28:
Als je zeker weet dat je de defectie schijf hebt, dan moet je die eruit laten en er een nieuwe voor in de plaats zetten en die toevoegen als hotspare. De array zal zich dan herstellen. Volgens mij moet je RAID5 met 2 schijven gewoon kunnen booten.

Dat klopt niet. Met raid5 kun je 1 schijf verliezen. Als je vijf schijven had, zoals de TS, dan heb je er dus vier nodig om van te booten.

Als laatste redmiddel kun je de mdadm '--assume-clean' proberen, maar dat is echte een laatste redmiddel. Lees je eerst in voordat je dat gaat gebruiken.

[LauPro]

CAPSLOCK2000 schreef op zaterdag 31 maart 2012 @ 13:40:
Dat klopt niet. Met raid5 kun je 1 schijf verliezen. Als je vijf schijven had, zoals de TS, dan heb je er dus vier nodig om van te booten.

Dat klopt wel, RAID5 start bij 3 schijven, dan kan je er 1 verliezen.

Dit gaat echter niet op voor de TS, die heeft een array met 2 defecte schijven van de 5. Hij zal toch moeten proberen dat minimaal 1 van die defecte schijven zich weer aan sluit bij de array. En dan is --assume-clean idd een uiterste optie. Maar als de data echt belangrijk is dan is er wel een backup toch .