[opensuse] softraid error.

[[Roland]]

Ik heb een nas gebouwd, een oude Athlon64 3700 op een gigabyte 754 moederbord (nforce4).
Bedoeld als opslag van mijn mediacenter, schijven verhuisd van media center naar de nas, iscsi van gemaakt en Windows 7 heeft gewoon lokale schijven. Werkt perfect.

Echter heb ik zoals altijd ruimte te kort en ik wil nog geen nieuwe grote harde schijf kopen. Ik heb dus 4 oudere schijven in het systeem zitten.
Een raptor 74 GB voor het linux OS
Een 500 GB WD schijf voor data
Twee maxtor 200 GB schijven voor data

Die laatste twee wilde ik in raid 0 zetten, zat te twijfelen tussen software raid en hardware raid, heb nooit eerder gekozen voor software raid, dus een goede reden omdat nu wel te doen.

Raid 0 was met YAST zo gemaakt, van de md0 (geloof ik) een iscsi target gemaakt en vanuit windows 7 geformateerd. Werkte perfect, kon er bij, voelde vlot aan. Tijd om data terug te zetten.

Vanaf een externe usb schijf die op mijn Mediacenter is aangesloten de data gekopieerd, dit duurde lang, erg lang. Ging met ongeveer 10 MB per seconde en zou nog 4 uur duren (iscsi gaat over 1Gb netwerk). Afgebroken, met de externe usb naar mijn nas gelopen en aangesloten. Iscsi verbroken en handmatig rd0 en de usb schijf gemount met ntfs-3g. Dat werkte en vanuit linux gaan verplaatsen (dit heb ik al fout bedacht, had kopieren moeten zijn), dat ging men 35MB per seconde dus ik was blij en heb de actie verder lekker laten lopen.

kwartier later kijk ik even in mijn vnc sessie en zie een foutmelding. Ntfs is niet goed en ik moet checkdisk -f vanuit windows draaien. Daarom eerst een herstart zodat ik zeker weet dat de partities niet meer in Linux gemount zijn. Windows verbinding laten maken met de iscsi target en schijf wordt niet herkend.

Op linux gekeken en mijn raid 0 is weg, beide schijven zijn zichtbaar, smart geeft geen foutmeldingen. Het opnieuw maken van een raid is niet mogelijk want er zijn geen beschikbare devices aanwezig.

Maar een monitor aangesloten op de NAS en gekeken wat er gebeurd als er herstart word.
Een foutmelding md0 is het enige wat voorbij schiet. Wel raid gerelateerd.

Wat onderzoek op internet laat zien dat opensuse 11.1 vaker raid problemen heeft en de tip gevonden met een linux cd op te starten. De opensuse live cd in de drive gestopt en hertstart, zelfde foutmelding, geen raid.

Nu had ik nog niet veel naar de raid gekopieerd en gezien raid 0 al helemaal geen data waar ik erg zenuwachtig van word. Echter krijg ik de data liever terug door de raid te herstellen i.p.v. alles op nieuw te downloaden.

Is er een mogelijkheid te achterhalen wat er aan de hand is? en is dit te repareren?

Volgens mij bestaat de raid nog en moet die eerst verwijder worden en kan ik daarna de raid met dezelfde schijven opnieuw maken.

Mijn Linux kennis niet zodanig dat ik zelf weet waar ik dit moet zoeken.

[Borromini]

Als je effectief je RAID in Windows formatteerde terwijl die in OpenSuSE aangemaakt was dan gaat het niet over software RAID maar over firmware RAID . Dat is een belangrijk verschil.

De meest veilige manier om met dit soort inter-OS geprul om te gaan is de tools te gebruiken van het OS waarvoor de implementatie oorspronkelijk werd geschreven - en dat is Windows bij firmware RAID - ook wel FakeRAID genoemd, een goedkope manier om RAID aan te bieden dat niet volledig software RAID is (er is immers een chip die voor de RAID-functionaliteit zorgt) maar ook weer geen volledige hardware RAID (want de chip speelt vrolijk het vuile werk aan je CPU door). Resultaat: fabrikanten die je om de oren slaan met RAID 0/1/5/10/blabla-ondersteuning op hun moederbord (wat de meeste Windows niet out of the box ondersteunen).

Om een lang verhaal kort te maken: maak het volume aan onder Windows, formatteer het onder Windows, vul het als het moet onder Linux.

[ Voor 67% gewijzigd door Borromini op 26-09-2009 12:02 ]

[[Roland]]

Hoe bedoel je?

De raid is gemaakt in linux, md0 is niet geformateerd of gemounted.
Windows ziet alleen maar een iscsi device, heeft geen idee of dit raid is of niet, weet alleen dat hij deze als disk kan gebruiken. Vanuit windows op dit device een partitie gemaakt en ntfs geformateerd.
Voor linux blijft het een softraid.

Overigens was md0 opgebouwd uit sdb1 en sdd1, deze beide partities zijn verdwenen waardoor de raid niet bestaat. Als ik deze terug kan zetten zal waarschijnlijk de raid ook wel starten.

mdadm -D /dev/md0 geeft nu aan:
mdadm: md device /dev/md0 does not appear to be active.

edit:

Om een lang verhaal kort te maken: maak het volume aan onder Windows, formatteer het onder Windows, vul het als het moet onder Linux.

Dit is precies zoals ik het gedaan heb
Klopt niet, heb het volume idd ook onder linux gemaakt, heb de partitie onder windows gemaakt.

[ Voor 21% gewijzigd door [Roland] op 26-09-2009 12:17 ]

[Borromini]

Windows kan niet om met reguliere RAID devices die onder Linux door mdadm worden aangemaakt (en naar /dev/mdX worden gemapt) voor zover ik weet.

Ik heb geen ervaring met de installer van OpenSuSE al lijkt het er wel op dat ze (in beperkte mate?) FakeRAID ondersteunen. Ik begrijp niet wat het iSCSI-device toevoegt - geeft je dat extra functionialiteit?

[[Roland]]

Windows weet niet dat het een raid device is..
Iscsi is het scsi protocol over tcp en heeft zeker voordelen, Windows ziet het als een eigen harde schijf en gebruikt deze ook zodanig (indexering staat standaard aan, prullebak is aanwezig, schijfrechten e.d. kunnen allemaal) voor nu heb ik het gemaakt omdat het leuk is (een samba share had ook volstaan).

Overigens ben ik eruit. De system log gaf een heleboel foutmeldingen en schijftest heeft laten zien dat één van beide schijven kapot is. Dat zal de reden zijn van het crashen van de raid.

Ik ga gewoon de serie opnieuw downloaden..

[Borromini]

Best intrigerend . En dat werkt dan gewoon met Linux RAID devices?

Anyway - goed dat je de fout gevonden hebt (en dat het niet aan het bestandssysteem lag).

[[Roland]]

Borromini schreef op zaterdag 26 september 2009 @ 12:32:
Best intrigerend . En dat werkt dan gewoon met Linux RAID devices?

Ja :-)

De meeste grote storage systemen bij bedrijven werken op dezelfde manier. Grote raid oplossingen die ontsloten worden via Iscsi (in je server zit enkel een schijf voor het os en de data staat op het SAN/NAS). Welk besturingssysteem daarachter ligt maakt niet uit, zolang deze maar iscs target kan spelen.

[Verwijderd]

iScsi is idd erg cool je kan daarmee op een leuke manier thuis een mini SAN bouwen

[gertvdijk]

@Borromini: iSCSI is het over het netwerk sturen van blockdevices. Je hebt dus op de server geen filesystem of mount ervan, maar natuurlijk wel een blockdevice die je aanwijst als iSCSI target. Je kan dan op de client een filesystem maken net zoals dat op een lokaal device gebeurt. In combinatie met een clustering/global filesystem kan je met relatief weinig overhead maar redelijk gecompliceerd een share maken op block niveau.

@Altijd_lastig: Volgende keer bij het onderzoeken van dit soort problemen altijd eerst kijken wat de status is van je RAID array (cat /proc/mdstat), de SMART status van je harddisks controleren (smartctl -a /dev/sdX) en relevante foutmeldingen in logs copy-pasten. Dat scheelt een hoop glazen bol werk voor mensen die je mogelijk verder kunnen helpen.
Goed dat je software RAID hebt gekozen, dat scheelt je onnodig veel geld uitgeven aan hardware RAID of ergernis aan fakeraid.

[ Voor 7% gewijzigd door gertvdijk op 28-09-2009 13:37 ]

[lamko]

Altijd_Lastig schreef op zaterdag 26 september 2009 @ 12:28:
Windows weet niet dat het een raid device is..
Iscsi is het scsi protocol over tcp en heeft zeker voordelen, Windows ziet het als een eigen harde schijf en gebruikt deze ook zodanig (indexering staat standaard aan, prullebak is aanwezig, schijfrechten e.d. kunnen allemaal) voor nu heb ik het gemaakt omdat het leuk is (een samba share had ook volstaan).

Overigens ben ik eruit. De system log gaf een heleboel foutmeldingen en schijftest heeft laten zien dat één van beide schijven kapot is. Dat zal de reden zijn van het crashen van de raid.

Ik ga gewoon de serie opnieuw downloaden..

Ik zou een clone maken van de kapotte schijf en dan met mdadm een nieuwe raid array over de oude array zetten. En je zal je data weer terug hebben, dit heb ik zelf namelijk ook al meerdere keren gehad.
Naast dat ik lvm wat misbruikte door van twee schijven een grote jbod te maken en dan een raid1 array te maken met de 2e schijf als missing op te geven. Zodat ik makkelijk van een kapotte raid1 naar raid1 kan overstappen en evt later naar raid5.

[[Roland]]

lamko schreef op maandag 28 september 2009 @ 17:54:
[...]

Ik zou een clone maken van de kapotte schijf en dan met mdadm een nieuwe raid array over de oude array zetten. En je zal je data weer terug hebben, dit heb ik zelf namelijk ook al meerdere keren gehad.
Naast dat ik lvm wat misbruikte door van twee schijven een grote jbod te maken en dan een raid1 array te maken met de 2e schijf als missing op te geven. Zodat ik makkelijk van raid0 naar raid1 naar raid5 kan overstappen

Niet meer nodig, achteraf was de verplaats actie nog veel eerder gestopt dan ik dacht, mis maar anderhalf seizoen :-)
Maar ik begrijp dat dat werkt, want daar zat ik aan te twijfelen, gewoon de raid opnieuw maken, dacht dat ik dan zeker de data kwijt zou zijn.
Maar dat is achteraf, ga er niet vanuit dat dit nog eens gaat gebeuren (kies de volgende keer ondanks het "fake"zijn wel voor de raid mogelijkheden van het moederbord)

[gertvdijk]

Altijd_Lastig schreef op maandag 28 september 2009 @ 17:59:
Maar dat is achteraf, ga er niet vanuit dat dit nog eens gaat gebeuren (kies de volgende keer ondanks het "fake"zijn wel voor de raid mogelijkheden van het moederbord)

Ahum!
Dat zou ik je ten sterkste afraden, vanwege:

• Moederbord of controller dood? Moet je eerst een nieuwe zien te regelen om bij je data te kunnen.
• Drivers niet meer beschikbaar of buggy voor de controller? Dan moet je op oudere/te nieuwe kernels o.i.d. blijven werken.
• Vaak is je controller niet meer in AHCI modus wanneer je hem in RAID zet. Hierdoor laden dan niet de (superieure) AHCI kernel modules indien je controller daaronder valt (voor hotplug support e.d.).
• Je kan vaak niet meer direct bij de losse schijven voor bijvoorbeeld SMART uitlezen.
• Je kan niet meer over delen van schijven (partities) RAID doen, maar alleen over hele schijven. Moet je niet altijd willen in elke situatie, maar het beperkt je desondanks wel in de mogelijkheden.
• Fakeraid kaartjes zijn vaak geoptimaliseerd voor sequentiele reads, terwijl software raid vaak voor random reads is en daarin flexibel is. Voor RAID1 is dit verschil sterk zichtbaar. Software raid is meestal even snel of zelfs sneller t.o.v. fakeraid.

[ Voor 11% gewijzigd door gertvdijk op 28-09-2009 18:32 ]