Ubuntu server Raid6 weg na nieuwe SATA kaart

[darkdesire19]

Mijn vraag
Beste mede Tweakers,

Ubuntu server novice hier
Ik zit met een groot probleem waar ik hoop dat jullie kunnen helpen, het verhaal is als volgt:

Sinds een aantal jaar heb ik een Ubuntu Server file server.
Deze bestaat simpelweg uit een oude dell prebuilt met NAS schijven erin.

Tot nu toe heeft deze altijd gedraaid met 5 (4TB) schijven in Raid6 (12TB bruikbaar).
Zoals altijd liep uiteindelijk de opslag vol dus heb ik deze gisteren geprobeerd op te hogen door een nieuwe SATA kaart te halen (Lenovo 430-16I) en 3 nieuwe schijven toe te voegen.

Eerst wilde ik echter checken of de nieuwe SATA kaart uberhaupt goed werkte dus heb ik al mijn bestaande schijven in de nieuwe kaart geplugged en opgestart.

De Raid werd niet opgepakt en 'sudo cat /proc/mdstat' gaf de volgende output:
"
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
unused devices: <none>
"

Aangezien ik gisteren geen tijd had het verder te debuggen heb ik de oude kaart terug gezet, maar tot mijn horror kreeg ik nog steeds dezelfde melding:
"
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
unused devices: <none>
"

Mijn /etc/mdadm/mdadm.conf ziet er als volgt uit:
"
# This configuration was auto-generated on Mon, 01 Feb 2021 17:27:06 +0000 by mkconf
ARRAY /dev/md0 metadata=1.2 name=*Redacted*:0 UUID=ef50ed19:4a61412f:fffc13fd:c6f53dc3
"

Mijn fstab als volgt:
"
/dev/md0 /hdd ext4 defaults,nofail,discard 0 0
"

Wat ik al gecheckt heb:
1. sudo mdadm --assemble /dev/md0
Geen resultaat

2. sudo mdadm --detail /dev/md0
mdadm: cannot open /dev/md0: No such file or directory

Ik hoop dat jullie enige wijsheid hebben.

[lordgandalf]

ik vermoed dat je nieuwe raid kaart of niet overweg kan met de gegevens die op de schijven staan of dat de machine settings ontbreken of hoe hij de kaarten moet lezen.
En je kunt een /dev/md0 aanmaken maar dat maakt niet dat de raid er weer is.

[nelizmastr]

Heb je de schijven ook weer op exact dezelfde poorten weer aangesloten zoals ze zaten?

Je array proberen op te starten met je "productie" schijven op een niet als known-good geteste kaart was eigenlijk de fout hier, want nu is hij de array even kwijt. Je had beter een random schijf aan die controller naast de bestaande kunnen hangen en daarmee testen, maar dat is mosterd na de maaltijd

Check ook of je alle schijven überhaupt nog ziet buiten mdadm om. Je kunt de array niet opnieuw opbouwen als je niet alle schijven hebt.

Kijk ook hier even doorheen (negeer het recovery stuk onderaan, die is enigszins destructief):
https://www.woktron.com/s...AID-array-with-MDADM.html

Is het een optie de array opnieuw op te zetten en je data uit back-up terug te zetten in het ergste geval?

[ Voor 11% gewijzigd door nelizmastr op 13-11-2024 16:21 ]

[Mijzelf]

darkdesire19 schreef op woensdag 13 november 2024 @ 08:00:
2. sudo mdadm --detail /dev/md0
mdadm: cannot open /dev/md0: No such file or directory

Je kunt mdadm alleen op /dev/md0 loslaten als hij bestaat. En als hij bestond was je probleem er niet.

Het lijkt erop dat de raid members niet gevonden worden. Worden de disks wel gevonden?

cat /proc/partitions

[darkdesire19]

lordgandalf schreef op woensdag 13 november 2024 @ 15:34:
ik vermoed dat je nieuwe raid kaart of niet overweg kan met de gegevens die op de schijven staan of dat de machine settings ontbreken of hoe hij de kaarten moet lezen.
En je kunt een /dev/md0 aanmaken maar dat maakt niet dat de raid er weer is.

Ik heb echter de kaart weer terug omgewisseld met de originele, maar hij doet het nog niet?

nelizmastr schreef op woensdag 13 november 2024 @ 16:20:
Heb je de schijven ook weer op exact dezelfde poorten weer aangesloten zoals ze zaten?

Je array proberen op te starten met je "productie" schijven op een niet als known-good geteste kaart was eigenlijk de fout hier, want nu is hij de array even kwijt. Je had beter een random schijf aan die controller naast de bestaande kunnen hangen en daarmee testen, maar dat is mosterd na de maaltijd

Check ook of je alle schijven überhaupt nog ziet buiten mdadm om. Je kunt de array niet opnieuw opbouwen als je niet alle schijven hebt.

Kijk ook hier even doorheen (negeer het recovery stuk onderaan, die is enigszins destructief):
https://www.woktron.com/s...AID-array-with-MDADM.html

Is het een optie de array opnieuw op te zetten en je data uit back-up terug te zetten in het ergste geval?

Klopt, mijn volgorde was niet helemaal handig...
Heb helaas ook niet bijgehouden welke schijf in welke poort zat...

De schijven zijn er nog wel, zie foto hieronder.
Zal de link zeker even bekijken!

Array uit backup is helaas niet mogelijk. Is niet super belangrijke data indien kwijt, gewoon irritant weer opnieuw op te moeten zetten.

Mijzelf schreef op woensdag 13 november 2024 @ 19:08:
[...]

Je kunt mdadm alleen op /dev/md0 loslaten als hij bestaat. En als hij bestond was je probleem er niet.

Het lijkt erop dat de raid members niet gevonden worden. Worden de disks wel gevonden?

cat /proc/partitions

Het lijkt erop dat de drives er nog prima zijn:
Ik had 5 schijven in raid 6 met 1 spare:

[Mijzelf]

Nou, daar lijkt toch wel wat mis te zijn. Ik neem aan dat sdb t/m sdg je raid schijven zijn. Dan zou ik verwachten dat ze allemaal gelijk gepartitioneerd zijn. (Behalve de spare), maar wat ik zie is:
sdb: 1 partitie van 16MB
sdc: geen partities
sdd: 1 partitie van ~4TB
sde: geen partities
sdf: 1 partitie van ~4TB
sdg: 1 partitie van 16MB.

Het lijkt me dat sdd en sdf 'kloppen' (kun je zien met

mdadm --examine /dev/sd[df]1

)

Mogelijk kun je de partitie tabel van een van deze transplanteren naar de andere schijven. Afhankelijk van wat het probleem heeft veroorzaakt.

[darkdesire19]

Mijzelf schreef op donderdag 14 november 2024 @ 10:45:
Nou, daar lijkt toch wel wat mis te zijn. Ik neem aan dat sdb t/m sdg je raid schijven zijn. Dan zou ik verwachten dat ze allemaal gelijk gepartitioneerd zijn. (Behalve de spare), maar wat ik zie is:
sdb: 1 partitie van 16MB
sdc: geen partities
sdd: 1 partitie van ~4TB
sde: geen partities
sdf: 1 partitie van ~4TB
sdg: 1 partitie van 16MB.

Het lijkt me dat sdd en sdf 'kloppen' (kun je zien met

mdadm --examine /dev/sd[df]1

)

Mogelijk kun je de partitie tabel van een van deze transplanteren naar de andere schijven. Afhankelijk van wat het probleem heeft veroorzaakt.

Dit is de output van 'sudo mdadm --examine /dev/sd[df]1':

[Mijzelf]

Hm. Dat is slecht. Dan is òf de superblok overschreven, òf de partitietabel klopt niet. Je zou kunnen kijken hoe het met de 16MB partities staat. Misschien klopt hun startpunt wel:

mdadm --examine /dev/sd[bg]1

en als je toch bezig bent, kijk gelijk even naar de partitie-loze disks

mdadm --examine /dev/sd[ce]

[darkdesire19]

Mijzelf schreef op donderdag 14 november 2024 @ 11:48:
Hm. Dat is slecht. Dan is òf de superblok overschreven, òf de partitietabel klopt niet. Je zou kunnen kijken hoe het met de 16MB partities staat. Misschien klopt hun startpunt wel:

mdadm --examine /dev/sd[bg]1

en als je toch bezig bent, kijk gelijk even naar de partitie-loze disks

mdadm --examine /dev/sd[ce]

Hardstikke bedankt met de hulp tot nu toe man!

Bij deze de output van de set commando's:


Even een extra vraag:
Het liefste zou ik nog wel gebruik willen maken van de nieuwe SATA kaart.
Toen ik deze had ingeplugd zag ik alle schijven zoals hierboven wel.

Is het misschien verstandig eerst de SATA kaart om te wisselen naar de nieuwe voordat we een fix uitvoeren?
Zodat we niet opnieuw dit probleem krijgen als ik de nieuwe SATA kaart installeer?

[Mijzelf]

Oh? Mdadm heeft nieuwe features. Zomaar vertellen dat er een partition table staat ipv een superblock. Leuk. Maar er is daar dus ook geen superblock.

De meest voor de hand liggende actie lijkt mij het gebruik van TestDisk, om te zien of die kan achterhalen hoe de partititie indeling zou moeten zijn. Dat gezegd hebbend, ik weet niet of TestDisk instaat is om superblocks te detecteren, maar dat zal hij je zelf wel vertellen, neem ik aan, bij zijn voorgestelde partitie indeling(en).

Is het misschien verstandig eerst de SATA kaart om te wisselen naar de nieuwe voordat we een fix uitvoeren?
Zodat we niet opnieuw dit probleem krijgen als ik de nieuwe SATA kaart installeer?

Op het moment heb ik geen idee hoe die nieuwe SATA kaart op deze manier de boel heeft kunnen verstieren. Er is wat op die disks veranderd, en dat had nooit mogen gebeuren. Dat hij de schijven niet detecteert, of dat hij verkeerde groottes aan het OS doorgeeft (wat voldoende is om de raid assemblage te laten mislukken) kan gebeuren, maar hij mag nooit zomaar write operaties uitvoeren. En Ubuntu is ook geen OS wat 'behulpzaam' schijven gaat 'initialiseren'. Dus vooralsnog zou ik blij zijn als je de array weer in de lucht krijgt.

[Blasterxp]

zou je niet tijdens de boot van de machine de status van je raid moeten kunnen zien?
Dit is op os laag, en lijkt mij mosterd na de maaltijd.

[Mijzelf]

@Blasterxp

Mijn /etc/mdadm/mdadm.conf ziet er als volgt uit:
"
# This configuration was auto-generated on Mon, 01 Feb 2021 17:27:06 +0000 by mkconf
ARRAY /dev/md0 metadata=1.2 name=jmgeverserver:0 UUID=ef50ed19:4a61412f:fffc13fd:c6f53dc3
"

Dus dat lijkt me software raid.

[darkdesire19]

Mijzelf schreef op donderdag 14 november 2024 @ 12:16:
Oh? Mdadm heeft nieuwe features. Zomaar vertellen dat er een partition table staat ipv een superblock. Leuk. Maar er is daar dus ook geen superblock.

De meest voor de hand liggende actie lijkt mij het gebruik van TestDisk, om te zien of die kan achterhalen hoe de partititie indeling zou moeten zijn. Dat gezegd hebbend, ik weet niet of TestDisk instaat is om superblocks te detecteren, maar dat zal hij je zelf wel vertellen, neem ik aan, bij zijn voorgestelde partitie indeling(en).


[...]

Op het moment heb ik geen idee hoe die nieuwe SATA kaart op deze manier de boel heeft kunnen verstieren. Er is wat op die disks veranderd, en dat had nooit mogen gebeuren. Dat hij de schijven niet detecteert, of dat hij verkeerde groottes aan het OS doorgeeft (wat voldoende is om de raid assemblage te laten mislukken) kan gebeuren, maar hij mag nooit zomaar write operaties uitvoeren. En Ubuntu is ook geen OS wat 'behulpzaam' schijven gaat 'initialiseren'. Dus vooralsnog zou ik blij zijn als je de array weer in de lucht krijgt.

Dus je denkt dat we sowieso de hardeschijf 'partitions' moeten oplossen?
Ook als ik de oude kaart met de oude volgorde van SATA poorten terug zou zetten zou het nog fout gaan?


En heb jij mogelijk ervaring met: 'TestDisk'?
Is dit iets wat ik op Ubuntu kan installeren om de disks uit te lezen of hoe pak ik dit het beste aan?

[lordgandalf]

van 5 schijven hebben er nog 2 iets van de raid over dan vrees ik haas dat je dat terug moet halen maar zou goed kunnen zijn dat je alles kwijt bent.

[Mijzelf]

Als dit normale Linux software raid is, dan doet de volgorde er niet toe. De informatie die aangeeft welke rol een member heeft in de array staat in de superblock, die wordt uitgelezen door mdadm om de array te assembleren.

De superblock staat op een vaste positie tov het blockdevice (partitie of rauwe schijf). Dus ja, als je geen rauwe schijven in je array had, moeten de partitietabellen in orde zijn. Het is mogelijk dat de partitie tabel van sdd en sdf in orde is, in dat geval is de superblok gewist. Laten we maar hopen dat het de partitie tabel is.

Ja, ik heb ervaring met TestDisk. Die kun je installeren met 'apt install testdisk'.

[darkdesire19]

Mijzelf schreef op donderdag 14 november 2024 @ 16:20:
Als dit normale Linux software raid is, dan doet de volgorde er niet toe. De informatie die aangeeft welke rol een member heeft in de array staat in de superblock, die wordt uitgelezen door mdadm om de array te assembleren.

De superblock staat op een vaste positie tov het blockdevice (partitie of rauwe schijf). Dus ja, als je geen rauwe schijven in je array had, moeten de partitietabellen in orde zijn. Het is mogelijk dat de partitie tabel van sdd en sdf in orde is, in dat geval is de superblok gewist. Laten we maar hopen dat het de partitie tabel is.

Ja, ik heb ervaring met TestDisk. Die kun je installeren met 'apt install testdisk'.

Zojuist Testdisk geïnstalleerd en gestart op disk 'sdd'.
Tot nu toe het volgende resultaat:

[Mijzelf]

Dat ziet er niet verkeerd uit. Ik neem aan dat TestDisk met een voorstel komt om een partitietabel te maken met partitie 1 beginnend op sector 64. Dat lijkt me dan de juiste keuze, en daarna moet mdadm die superblock kunnen lezen.

[lordgandalf]

Ik zou eerst een bitwise kopie maken van de schijven voordat je iets probeert want als het misgaat ben je echt alles kwijt zonder een optie om iet te proberen. Momenteel voelt het voor mij al alsof alles all kapot is en dat je daarom geen raid meer hebt. daarnaast lijkt het alsof je verschillende grootte schijven hebt dat zou niet moeten kunnen na mijn gevoel.

[ Voor 18% gewijzigd door lordgandalf op 15-11-2024 13:13 ]

[darkdesire19]

Mijzelf schreef op vrijdag 15 november 2024 @ 12:42:
Dat ziet er niet verkeerd uit. Ik neem aan dat TestDisk met een voorstel komt om een partitietabel te maken met partitie 1 beginnend op sector 64. Dat lijkt me dan de juiste keuze, en daarna moet mdadm die superblock kunnen lezen.

Oké dat is geweldig om te horen!
Ik laat TestDisk mooi zn analyse afronden en als hij een voorstel geeft gaan we het zien.

lordgandalf schreef op vrijdag 15 november 2024 @ 13:11:
Ik zou eerst een bitwise kopie maken van de schijven voordat je iets probeert want als het misgaat ben je echt alles kwijt zonder een optie om iet te proberen. Momenteel voelt het voor mij al alsof alles all kapot is en dat je daarom geen raid meer hebt. daarnaast lijkt het alsof je verschillende grootte schijven hebt dat zou niet moeten kunnen na mijn gevoel.

Snap volledig wat je bedoelt.
Data die erop staat is echter niet onmisbaar, alleen maar irritant om weer teug te moeten zetten ;P

Wat betreft de schijven: ik gebruik enkel en alleen 4TB schijven. Had een RAID6 met 5*4TB + 1 spare

[darkdesire19]

Dacht ik geef even een snelle update:

Ik heb de afgelopen dagen een voor een geprobeerd de partition table van de verschillende schijven terug te halen.
Voor sommige van de schijven kwam hij inderdaad terug met de eerder aangegeven 'Linux raid' partition.

Ik heb sinds vorige keer ook de nieuwe SATA kaart terug in de server gestopt, zodat ik de komende dagen op afstand, indien nodig, een nieuwe raid 6 kan opzetten met alle schijven.

De 'sudo mdadm --detail' commando's zien er nu als volgt uit:




Ik vrees echter dat de raid partities die wel gevonden zijn, van de nieuwe schijven / de 1e ongebruikte schijf is van de originele.

Geen komt namelijk terug met 'Raid 6, 5 disks'.....

Hebben jullie mogelijk nog een idee?
Of is dit het moment waarop ik mijn verlies moet pakken en de schijven het beste kan wipen?

[Big Mama]

Wat was het merk+type van die oude RAID kaart?
En was het wel een RAID-kaart, of een ordinaire SATA kaart met een handvol poorten?

Als het een RAID-kaart was, en de RAID-setup is in een setuputility tijdens het booten gemaakt (ziet eruit als een soort BIOS setup) dan heb je zomaar kans dat die raid-configuratie niet compatible is met de nieuwe kaart. En dan snap ik ook dat mdadm (=Linux software RAID) niet met die diskindeling overweg kan.

Je hebt toch niet toen je de nieuwe kaart hebt geplaatst, een nieuwe RAID setup gemaakt?

[Mijzelf]

Dit is raar. De header op sdj1 liegt niet, Dus op 20 juli 2023 is een 4GB partitie van deze schijf opgenomen in een 6 disk raid1 array, en die array is op 4 oktober 2023 voor het laatst gebruikt, en toen waren alle 6 members nog aanwezig.
Jouw raid6 array is blijkens je mdadm.conf op 1 februari 2021 gemaakt. Dat is moeilijk te rijmen.

Kan het zijn dat sdj je spare is, en dat die later (na 4 oktober 2023) is ingeprikt, en dat die toen niet nieuw was?

[darkdesire19]

Mijzelf schreef op maandag 18 november 2024 @ 12:41:
Dit is raar. De header op sdj1 liegt niet, Dus op 20 juli 2023 is een 4GB partitie van deze schijf opgenomen in een 6 disk raid1 array, en die array is op 4 oktober 2023 voor het laatst gebruikt, en toen waren alle 6 members nog aanwezig.
Jouw raid6 array is blijkens je mdadm.conf op 1 februari 2021 gemaakt. Dat is moeilijk te rijmen.

Kan het zijn dat sdj je spare is, en dat die later (na 4 oktober 2023) is ingeprikt, en dat die toen niet nieuw was?

Het is 100% mogelijk dat deze schijf de spare is, of een van de nieuwe schijven.

[darkdesire19]

Heeft iemand mogelijk nog wijzheid wat te proberen valt?

Heb momenteel testdisk gedraaid op alle schijven en de partition tabel teruggezet op elke schijf.
Dit heeft helaas niet mijn oude raid configuratie (superblock) terug gehaald.

[Mijzelf]

Niet één van de gevonden partities heeft het juiste superblock? In dat geval zijn de 'makkelijke' mogelijkheden op.