mdadm Raid-5 crashed

[--help]

Hi,

Ik heb een probleem met een raid-5 array. Helaas heb ik een storing gehad waarbij de VM gecrashed is waar deze array op draaide. Bij het opstarten kon de array echter niet gestart worden.

Situatie;
- 3x 1,4TB in raid-5
- Debian i386 - Jessie - latest stable

Wat ik heb geprobeerd;

root@nas:/# mdadm --assemble --force --run  --verbose /dev/md5 /dev/sd[cde]
mdadm: looking for devices for /dev/md5
mdadm: /dev/sdc is identified as a member of /dev/md5, slot 0.
mdadm: /dev/sdd is identified as a member of /dev/md5, slot 1.
mdadm: /dev/sde is identified as a member of /dev/md5, slot 2.
mdadm: added /dev/sdd to /dev/md5 as 1
mdadm: added /dev/sde to /dev/md5 as 2
mdadm: added /dev/sdc to /dev/md5 as 0
mdadm: failed to RUN_ARRAY /dev/md5: Invalid argument

Als ik opstart krijg ik dit te zien;

root@nas:/# mdadm --detail /dev/md5
/dev/md5:
        Version : 1.2
  Creation Time : Thu Aug 28 12:03:25 2014
     Raid Level : raid5
  Used Dev Size : 1395732992 (1331.07 GiB 1429.23 GB)
   Raid Devices : 3
  Total Devices : 3
    Persistence : Superblock is persistent

    Update Time : Thu Aug 28 12:03:25 2014
          State : active, Not Started 
 Active Devices : 3
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : nas:5  (local to host nas)
           UUID : 8d9a0bf1:5588f803:796406ab:4c8625e1
         Events : 0

    Number   Major   Minor   RaidDevice State
       0       8       32        0      active sync   /dev/sdc
       1       8       48        1      active sync   /dev/sdd
       2       8       64        2      active sync   /dev/sde

Dat ziet er prima uit, maar hij wordt niet gestart!

Daarna heb ik de array nog gestopt en opnieuw proberen te assembleren, maar ook dat werkt niet!

root@nas:/# mdadm --assemble --force --run  --verbose /dev/md5 /dev/sd[cde]
mdadm: looking for devices for /dev/md5
mdadm: /dev/sdc is identified as a member of /dev/md5, slot 0.
mdadm: /dev/sdd is identified as a member of /dev/md5, slot 1.
mdadm: /dev/sde is identified as a member of /dev/md5, slot 2.
mdadm: added /dev/sdd to /dev/md5 as 1
mdadm: added /dev/sde to /dev/md5 as 2
mdadm: added /dev/sdc to /dev/md5 as 0
mdadm: failed to RUN_ARRAY /dev/md5: Invalid argument

Wie heeft een idee wat ik kan proberen om de array te laten werken?

[ Voor 86% gewijzigd door --help op 28-08-2014 12:49 . Reden: Meer informatie ]

[deadinspace]

--help schreef op donderdag 28 augustus 2014 @ 12:45:
Ik heb een probleem met een raid-5 array. Helaas heb ik een storing gehad waarbij de VM gecrashed is waar deze array op draaide. Bij het opstarten kon de array echter niet gestart worden.

Staat je OS op dat raid array, of ergens anders? Of, wat ik eigenlijk wil weten: heb je een volledig OS tot je beschikking nu, of ben je vanuit de initrd (de "boot shell") aan het werken?

- Debian i386 - Jessie - latest stable

Jessie is testing, wheezy is stable. Dus welke draai je precies?

Kun je de output van de volgende commando's geven?

uname -a
mdadm --version
lsmod | grep raid
mdadm -E /dev/sd[cde]

mdadm: failed to RUN_ARRAY /dev/md5: Invalid argument

"invalid argument" is een beetje een jammere foutmelding; de kernel vond iets niet tof bij het starten van het array, maar wat?

Één suggestie die ik gevonden heb is dat de raid metadata op de schijven inconsistent is, wat dan te fixen zou zijn met

mdadm -A <array> -f --update=summaries <disks>

maar zonder zeker te zijn dat dat de oorzaak is vind ik dat maar een schot in het duister en daar hou ik niet van. Zeker niet als er een raid array op het spel staat.

[--help]

deadinspace schreef op donderdag 28 augustus 2014 @ 15:59:
[...]
Hi,

Bedankt voor je reactie!

Staat je OS op dat raid array, of ergens anders? Of, wat ik eigenlijk wil weten: heb je een volledig OS tot je beschikking nu, of ben je vanuit de initrd (de "boot shell") aan het werken?

Ik heb 3 raid arrays, hiervan werkt enkel mijn data array niet. Mijn andere 2 arrays zijn raid-1 arrays, deze werken. Deze array is een raid-5 array, ik kwam met zoeken een aantal posts tegen dat dit problemen kan geven .. ?

[...]

Jessie is testing, wheezy is stable. Dus welke draai je precies?

Ik draai jessie inderdaad, unstable! Ik heb laatst een reboot gedaan, mogelijk dat iemand op mijn server een dist-upgrade heeft gedaan! Ik ga het even uitzoeken, dank voor de tip!

Kun je de output van de volgende commando's geven?

uname -a
mdadm --version
lsmod | grep raid
mdadm -E /dev/sd[cde]

[...]

"invalid argument" is een beetje een jammere foutmelding; de kernel vond iets niet tof bij het starten van het array, maar wat?

Één suggestie die ik gevonden heb is dat de raid metadata op de schijven inconsistent is, wat dan te fixen zou zijn met

mdadm -A <array> -f --update=summaries <disks>

maar zonder zeker te zijn dat dat de oorzaak is vind ik dat maar een schot in het duister en daar hou ik niet van. Zeker niet als er een raid array op het spel staat.

[--help]

Even een nieuwe (geen edit) reactie, bedankt deadinspace voor de tip. Het bleek dus inderdaad te zijn dat er een dist-upgrade gedaan was. Totaal niet aan gedacht. Het blijkt dus dat de mdadm uit testing/sid geen raid-5/6 ondersteund en het hierdoor niet werkte! Zucht ... Maar goed, eind goed al goed. We zitten weer op stable en alles werkt weer

[ Voor 3% gewijzigd door --help op 29-08-2014 10:58 ]