[RAID5] Probleem op array.

[Verwijderd]

Nachtmerrie van elke RAID5-config: 2 dode disks.
hoewel.. dood...?

Ik heb 4 disks van 120 GB in software raid 5 draaien onder Fedora Core 4.
bij het rebooten van men server kreeg ik dat er te weinig running disks waren om de raid te starten (2/4)
kijk ik in var/log/messages zie ik:

code:

Oct 15 14:23:00 Server kernel: raid5: using function: pIII_sse (3928.000 MB/sec)
Oct 15 14:23:00 Server kernel: input: AT Translated Set 2 keyboard on isa0060/serio0
Oct 15 14:23:00 Server kernel: md: raid5 personality registered as nr 4
Oct 15 14:23:00 Server kernel: md: Autodetecting RAID arrays.
Oct 15 14:23:00 Server kernel: md: autorun ...
Oct 15 14:23:00 Server kernel: md: considering hdd1 ...
Oct 15 14:23:00 Server kernel: md:  adding hdd1 ...
Oct 15 14:23:00 Server kernel: md:  adding hdc1 ...
Oct 15 14:23:00 Server kernel: md:  adding hdb1 ...
Oct 15 14:23:00 Server kernel: md:  adding hda1 ...
Oct 15 14:23:00 Server kernel: md: created md0
Oct 15 14:23:00 Server kernel: md: bind<hda1>
Oct 15 14:23:00 Server kernel: md: bind<hdb1>
Oct 15 14:23:00 Server kernel: md: bind<hdc1>
Oct 15 14:23:00 Server kernel: md: bind<hdd1>
Oct 15 14:23:00 Server kernel: md: running: <hdd1><hdc1><hdb1><hda1>
Oct 15 14:23:00 Server kernel: md: kicking non-fresh hdc1 from array!
Oct 15 14:23:00 Server kernel: md: unbind<hdc1>
Oct 15 14:23:00 Server kernel: md: export_rdev(hdc1)
Oct 15 14:23:00 Server kernel: md: kicking non-fresh hdb1 from array!
Oct 15 14:23:00 Server kernel: md: unbind<hdb1>
Oct 15 14:23:00 Server kernel: md: export_rdev(hdb1)
Oct 15 14:23:00 Server kernel: raid5: device hdd1 operational as raid disk 3
Oct 15 14:23:00 Server kernel: raid5: device hda1 operational as raid disk 0
Oct 15 14:23:00 Server kernel: raid5: not enough operational devices for md0 (2/4 failed)
Oct 15 14:23:00 Server kernel: RAID5 conf printout:
Oct 15 14:23:00 Server kernel:  --- rd:4 wd:2 fd:2
Oct 15 14:23:00 Server kernel:  disk 0, o:1, dev:hda1
Oct 15 14:23:00 Server kernel:  disk 3, o:1, dev:hdd1
Oct 15 14:23:00 Server kernel: raid5: failed to run raid set md0
Oct 15 14:23:00 Server kernel: md: pers->run() failed ...
Oct 15 14:23:00 Server kernel: md: do_md_run() returned -22
Oct 15 14:23:00 Server kernel: md: md0 stopped.
Oct 15 14:23:00 Server kernel: md: unbind<hdd1>
Oct 15 14:23:00 Server kernel: md: export_rdev(hdd1)
Oct 15 14:23:00 Server kernel: md: unbind<hda1>
Oct 15 14:23:00 Server kernel: md: export_rdev(hda1)
Oct 15 14:23:00 Server kernel: md: ... autorun DONE.

kicking non-fresh disk. Wat wil dat zeggen? google maakte me niet veel wijzer.
Maar meer nog, hoe los ik dit probleem op?

In mijn 'hardware browser' kan ik alle disks netjes zien, en met fdisk zien ze er ook normaal uit (partities zijn nog in gode staat volgens fdisk...)
er staat 300 GB aan data die ik absoluut niet kwijt wil...
wie helpt mij? (nen bak bier voor de juiste oplossing!!)

[ Voor 5% gewijzigd door Verwijderd op 15-10-2005 17:32 ]

[igmar]

Normaliter zou

hotraidadd /dev/md0 /dev/hdc1
hotraidadd /dev/md0 /dev/hdb1

moeten werken. Vanzelfsprekend zonder garantie

[Verwijderd]

dat zou bijzonder fijn zijn...!!
iemand die dit kan bevestigen?
maar wat kan er in de eerste plaats fout gegaan zijn?
wat is het verschil met het raid-hotadd-commando? of zijn dat dezelfde cmd's?

[zomertje]

Je weet zeker dat t niet aan je controller/kabels enz ligt? Twee schijven dood is niet fijn inderdaad. (vraag maar na op mn werk )

[Verwijderd]

controller heb ik vervangen (door eentje met hetzelfde chipje)
dat maakt geen verschil...
kabels eveneens vervangen, ook dat geeft exact dezelfde foutmelding...

[Verwijderd]

voor alle duidelijkheid:
ik heb een PCI-kaartje met 2 IDE-poorten erop. Aan elke poort hangt telkens een IDE-abel met 2 schijven.
ook voeding is vervangen geweest (moest er iets nbiet voldoende power krijgen) maar dat bracht geen oplossing

[ Voor 30% gewijzigd door Verwijderd op 15-10-2005 17:56 ]

[Verwijderd]

code:

[root@Server ~]# raidhotadd /dev/md0 /dev/hdc1
/dev/md0: can not hot-add disk: array not running!
[root@Server ~]#

werkt dus niet...?
hoe kan ik m'n raid dan starten? de raid is niet compleet, dus, wil hij niet starten...

code:

[root@Server ~]# raidstart /dev/md0
[root@Server ~]# cat /proc/mdstat
Personalities : [raid5]
unused devices: <none>
[root@Server ~]# raidhotadd /dev/md0 /dev/hdc1
/dev/md0: can not hot-add disk: array not running!
[root@Server ~]#

starten wil hij dus niet...

[ Voor 38% gewijzigd door Verwijderd op 15-10-2005 18:27 ]

[Verwijderd]

ik ben erachter gekomen dat de 'non-fresh-disk' de oorzaak van het probleem moet zijn, en dat dat te maken heeft met een synchronisatiefout.
Is er een manier om die disks weer te synchroniseren?

[Verwijderd]

code:

[root@Server ~]# mdadm -A /dev/md0 /dev/hda /dev/hdb /dev/hdc /dev/hdd
mdadm: /dev/md0 has been started with 4 drives.
[root@Server ~]# mount -t ext3 /dev/md0 /store
mount: wrong fs type, bad option, bad superblock on /dev/md0,
       missing codepage or other error
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

[root@Server ~]# mdadm --detail --scan
ARRAY /dev/md0 level=raid5 num-devices=4 UUID=e757c5e4:1d51aff2:71988f50:9666852
c
   devices=/dev/hda,/dev/hdc,/dev/hdb,/dev/hdd
[root@Server ~]# mdadm --detail --scan
ARRAY /dev/md0 level=raid5 num-devices=4 UUID=e757c5e4:1d51aff2:71988f50:9666852c
   devices=/dev/hda,/dev/hdc,/dev/hdb,/dev/hdd
[root@Server ~]# mdadm -s /dev/md0
mdadm: -s does not set the mode, and so cannot be the first option.
[root@Server ~]# mdadm -D /dev/md0
/dev/md0:
        Version : 00.90.01
  Creation Time : Tue Jan 11 03:24:40 2005
     Raid Level : raid5
     Array Size : 360182400 (343.50 GiB 368.83 GB)
    Device Size : 120060800 (114.50 GiB 122.94 GB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sun Oct 16 14:48:04 2005
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 128K

           UUID : e757c5e4:1d51aff2:71988f50:9666852c
         Events : 0.316484

    Number   Major   Minor   RaidDevice State
       0       3        0        0      active sync   /dev/hda
       1      22        0        1      active sync   /dev/hdc
       2       3       64        2      active sync   /dev/hdb
       3      22       64        3      active sync   /dev/hdd
[root@Server ~]# mdadm -E /dev/md0
mdadm: No super block found on /dev/md0 (Expected magic a92b4efc, got 21675755)
[root@Server ~]# mdadm -t /dev/md0
mdadm: -t does not set the mode, and so cannot be the first option.
[root@Server ~]# mdadm --misc -t /dev/md0
[root@Server ~]# mdadm --misc -t --detail /dev/md0
/dev/md0:
        Version : 00.90.01
  Creation Time : Tue Jan 11 03:24:40 2005
     Raid Level : raid5
     Array Size : 360182400 (343.50 GiB 368.83 GB)
    Device Size : 120060800 (114.50 GiB 122.94 GB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sun Oct 16 14:48:04 2005
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 128K

           UUID : e757c5e4:1d51aff2:71988f50:9666852c
         Events : 0.316484

    Number   Major   Minor   RaidDevice State
       0       3        0        0      active sync   /dev/hda
       1      22        0        1      active sync   /dev/hdc
       2       3       64        2      active sync   /dev/hdb
       3      22       64        3      active sync   /dev/hdd
[root@Server ~]#

is mijn suberblock nu in orde of niet???
en zo niet, wat kan ik hier aan doen?

[Verwijderd]

dmesg laat dit zien:

code:

[root@Server ~]# dmesg | tail
 --- rd:4 wd:4 fd:0
 disk 0, o:1, dev:hda
 disk 1, o:1, dev:hdc
 disk 2, o:1, dev:hdb
 disk 3, o:1, dev:hdd
application mixer_applet2 uses obsolete OSS audio interface
EXT3-fs error (device md0): ext3_check_descriptors: Block bitmap for group 880 not in group (block 0)!
EXT3-fs: group descriptors corrupted !
EXT3-fs error (device md0): ext3_check_descriptors: Block bitmap for group 880 not in group (block 0)!
EXT3-fs: group descriptors corrupted !
[root@Server ~]#

[Verwijderd]

ik heb iso-images gemaakt van de 4 raid-disks afzonderlijk, mbhv van dd.
is er een manier om deze te mouten, en zo de bestanden er recupureren?
1 iso mounten lukt nog wel, maar hoe mount ik 4 iso's die dan tesamen een raid 5 voorstellen?

[Verwijderd]

niemand???

[RagaBaSH]

Ik heb wel verhalen gehoord dat je raid aarrays kan maken van psuedo devices (alsin cryptoloop partities). deze werken in principe hetzelfde als een gemounte iso..

ik zou eens door de crypo raid howtos speuren om te kijken of je daar iets mee kan. (ik heb er helaas zelf geen ervaring mee, moest weer echte levens dingen doen op het moment dat ik alles klaar had staan om een raid van 2 crypto devices te fixen).

[nzyme]

goed, wat me meteen opvalt is dat je 1 pci kaart hebt met daarop 2 ide channels. Op iedere channel zitten 2 disks............ Verander dat eens HEEEEEL rap Het is het beste in alle opzichten om 1disk per channel te gebruiken, en ik begrijp dat je nog een kaartje had liggen dus dat moet lukken dan

[klokop]

Hellraizer schreef op zaterdag 05 november 2005 @ 08:27:goed, wat me meteen opvalt is dat je 1 pci kaart hebt met daarop 2 ide channels. Op iedere channel zitten 2 disks............ Verander dat eens HEEEEEL rap

Voor degenen die er nog wat van willen leren: waarom is het een slecht idee om twee disks aan een kabel te hangen?

[nzyme]

ja dat is waar, sry voor het korte antwoord

Er gaan in het geval van de TS dus 2 datastromen door 1 kabel, en aangzien in het geval van raid ook nog eens veel tegelijk moet gebeuren kan je je voorstellen dat het niet aan te raden is om alles dan op 1 kabel te zetten........ (nog steeds kort maar meer kan ik dr atm niet uit krijgen )

[Joghert]

in geval van pata gaan over 1 kabel(controller) data en instructies naar 2 schijven. Als 1 van de 2 in de war is wil ie nog wel eens de hele kabel(controller) mee nemen, waardoor je dus 2 schijven kwijt bent en het hele doel van RAID5 wegvalt.

[Verwijderd]

mooi...
dat weet ik dan ook weer dat dat niet aan te raden is...
maar iemand een oplossing voor mijn probleem...?

[Verwijderd]

niemand een idee...?
ik begin nu echt wel te vrezen dat ik mijn data onherropelijk kwijt ben...

[ Voor 6% gewijzigd door Verwijderd op 06-11-2005 14:42 ]

[nzyme]

uhm, mn voorstel al geprobeerd dan ? fscheck dan erover en hopen......

[RagaBaSH]

ik verwacht niet dat het ligt aan de controller (gezien niet hda+hdb of hdc+hdd kapot zijn, maar hdb + hdc).
ik weet ook niet of de disks kapot zijn, want echt kapotte disks kan je meestal niet dd´en zonder dat ze ATA errors gaan spammen. de kans is dus het grootst dat je een kapotten ext3 index oid hebt... die zijn naar mijn ervaring lastig op te lossen...

zoals ik al eerder heb gesuggereerd kan je misschien kijken naar pseudodevices waarin je een file als filesystem kan mounten... (hoop dat het werkt).