Mdadm & Raid 5

[Ijstheefles]

Hoi tweakers,

Ik sta op het punt om een raid5 array aan te maken met 4x2tb.

Er is alleen nog wat onduidelijkheid.

Volgens dit is het simpelweg mdadm --assemble met parameters.

Alleen toen kwam ik het volgende tegen: klik

Waarin dus staat dat ik de betreffende HD's dus eerst uit mijn fstab moet halen.

Wat is wijsheid?

Alvast bedankt

[XTerm]

Je mag inderdaad niet de partities waar de RAID uit bestaat nog los mounten.
Eerst uit fstab halen dus.

Daarna moet je voor je /dev/md0 een nieuwe fstab entry maken

[Ijstheefles]

XTerm schreef op zaterdag 14 juli 2012 @ 10:19:
Je mag inderdaad niet de partities waar de RAID uit bestaat nog los mounten.
Eerst uit fstab halen dus.

Daarna moet je voor je /dev/md0 een nieuwe fstab entry maken

Goed, ik keek met df -h welke hds er gemount waren en dit waren mijn 1tb's die gewoon los mogen. + gechecked in fstab wat daarin stond. In de comments stond dat /sda1 'twas, maar de / mountpoint heb ik op sde staan.

Vervolgens:

code:

mdadm --create /dev/md0 -l 5 -n 4 /dev/sda1 /dev/sdb1 /dev/sdd1 /dev/sdf1
mdadm: /dev/sda1 appears to contain an ext2fs file system
    size=1953513472K  mtime=Fri Jul 13 16:36:45 2012
mdadm: /dev/sdb1 appears to contain an ext2fs file system
    size=1953513472K  mtime=Thu Jan  1 01:00:00 1970
mdadm: /dev/sdd1 appears to contain an ext2fs file system
    size=1953513472K  mtime=Fri Jul 13 22:16:26 2012
mdadm: /dev/sdf1 appears to contain an ext2fs file system
    size=1953513472K  mtime=Thu Jul 12 22:07:42 2012
Continue creating array?

Dit terwijl ik alles ext4 heb gemaakt. Ter verificatie:

code:

mkfs.ext4 /dev/sdb1

Dit deed vrolijk zijn ding, vervolgens weer het mdadm commando alleen dit gaf weer ext2 terug.

Wat mis ik?

[Nielson]

Je moet juist geen filesystem op je losse schijven zetten, deze gaan onderdeel worden van je mdadm array. Je kunt ervoor kiezen om er zelfs geen partities op aan te maken, maar aangezien je dat toch al hebt kun je met fdisk het partitie type veranderen naar 'fd' (Linux Raid Auto). Vervolgens maak je dus je array (md0) aan met deze partities en dáárop zet je vervolgens je EXT4 (of ander) filesystem.

[Ijstheefles]

Nielson schreef op zaterdag 14 juli 2012 @ 10:52:
Je moet juist geen filesystem op je losse schijven zetten, deze gaan onderdeel worden van je mdadm array. Je kunt ervoor kiezen om er zelfs geen partities op aan te maken, maar aangezien je dat toch al hebt kun je met fdisk het partitie type veranderen naar 'fd' (Linux Raid Auto). Vervolgens maak je dus je array (md0) aan met deze partities en dáárop zet je vervolgens je EXT4 (of ander) filesystem.

Oke, we zijn weer een stap verder:

code:

fdisk /dev/sdf

The device presents a logical sector size that is smaller than
the physical sector size. Aligning to a physical sector (or optimal
I/O) size boundary is recommended, or performance may be impacted.

Command (m for help): t
Selected partition 1
Hex code (type L to list codes): fd
Changed system type of partition 1 to fd (Linux raid autodetect)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

Dit voor alle 4 gedaan.

Nu doe ik weer het vorige mdadm commando, en krijg ik alsnog ext2fs ? ;x

[Nielson]

Mja, blijkbaar blijft het filesystem gewoon erop staan ook al verander je het partitie type. 'k Zou even alles wissen op de betreffende schijven:

dd if=/dev/zero of=/dev/sdX  bs=512  count=1

Vervolgens kun je de schijven zelf direct in mdadm opgeven of er weer fd partities op aanmaken.

[Ijstheefles]

Nielson schreef op zaterdag 14 juli 2012 @ 11:28:
Mja, blijkbaar blijft het filesystem gewoon erop staan ook al verander je het partitie type. 'k Zou even alles wissen op de betreffende schijven:

dd if=/dev/zero of=/dev/sdX  bs=512  count=1

Vervolgens kun je de schijven zelf direct in mdadm opgeven of er weer fd partities op aanmaken.

We blijven leuk bezig ;x

code:

dd if=/dev/zero of=/dev/sdb bs=512 count=1
1+0 records in
1+0 records out
512 bytes (512 B) copied, 0.0003482 s, 1.5 MB/s

voor alle 4 schijven;

Mdadm geeft dan gewoon nog steeds ext2fs aan.

Als ik vervolgens i.p.v. sdb, sdb1 pak schrijft t ook iets weg. Als ik fdisk /dev/sdb doe en vervolgens probeer de partitie te verwijderen krijg ik

code:

No partition is defined yet!

dus de dd heeft wel gewerkt gok ik =p

Dusseh, ik gok mdadm dan nu maar? ;x

[0xDEADBEEF]

"cat /proc/mdstat" heeft nuttige informatie

ArchLinux heeft een fantastische wiki en daar vond ik, via https://wiki.archlinux.org/index.php/RAID#Build_the_array, deze blogpost: http://fomori.org/blog/bl...0%94-the-nas-alternative/

[ Voor 9% gewijzigd door 0xDEADBEEF op 14-07-2012 11:42 ]

[Ijstheefles]

0xDEADBEEF schreef op zaterdag 14 juli 2012 @ 11:40:
"cat /proc/mdstat" heeft nuttige informatie

ArchLinux heeft een fantastische wiki en daar vond ik, via https://wiki.archlinux.org/index.php/RAID#Build_the_array, deze blogpost: http://fomori.org/blog/bl...0%94-the-nas-alternative/

https://wiki.archlinux.org/index.php/RAID#Build_the_array. Even naar bovenscrollend kom ik daar hetzelfde commando tegen als hierboven.

Het huidige "probleem" is dus dat mdadm --create nog zegt dat er een ext2fs op de schijven staat, zelfs na dd /dev/zero.

[DutchKel]

Stappenplan (dit werkt zeker op ubuntu):
Alle schijven die je in de raid gebruikt uit fstab halen en rebooten (of zelf unmounten).
Voor alle schijven alle partities verwijderen:
fdisk /dev/sdX (X=schijfletter)
d
w

Vervolgens de raid creeren:
sudo mdadm --create --verbose /dev/md0 --level=5 --raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde (aantal devices en de /dev/sdX weer naar eigen wens aanpassen)

Daarna de raid configuratie opslaan door de volgende commando's te gebruiken:
sudo echo "DEVICE partitions" > /etc/mdadm/mdadm.conf
sudo mdadm --detail --scan >> /etc/mdadm/mdadm.conf

Daarna kun je de raid een bestandssysteem geven en formatteren dmv:
sudo mkfs.ext4 /dev/md0

Daarna kun je de raid in fstab zetten dmv de UUID welke je vind met:
ls -al /dev/disk/by-uuid/

Je kunt nu het volume mounten dmv fstab (dan weet je ook direct of je fstab goed is ingevuld) door:
mount <mountmap>


Ook nog wat info voor het verwijderen van de raid:
Alles unmounten en uit fstab halen van de raid en dan het volgende uitvoeren:
sudo mdadm --manage /dev/mdX --fail /dev/sdX - Fail each device in the raid (dit dien je voor elke schijf te doen)
sudo mdadm --manage /dev/mdX --remove /dev/sdX - Remove each device in the raid (dit dien je voor elke schijf te doen)
sudo mdadm --manage --stop /dev/mdX - Remove raid

Ik wens je veel succes.

[Ijstheefles]

kfaessen schreef op zaterdag 14 juli 2012 @ 11:59:
....
Vervolgens de raid creeren:
sudo mdadm --create --verbose /dev/md0 --level=5 --raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde (aantal devices en de /dev/sdX weer naar eigen wens aanpassen)

.....

Probleem is dat zodra ik dat doe, die nog zeurt over ext2fs. Kan ik hier gewoon op enter duwen, is eigenlijk mijn vraag.

Voor de rest een geweldig stappenplan trouwens :-)

[DutchKel]

Ijstheefles schreef op zaterdag 14 juli 2012 @ 12:04:
[...]


Probleem is dat zodra ik dat doe, die nog zeurt over ext2fs. Kan ik hier gewoon op enter duwen, is eigenlijk mijn vraag.

Voor de rest een geweldig stappenplan trouwens :-)

Heb je ook alle partities van de schijven verwijderd? de stap ervoor? En anders gewoon op enter duwen.

Edit: Ik was vergeten dat er natuurlijk ook meerdere partities op 1 schijf kunnen staan dus misschien moet je nog vaker op d drukken, daar moet je dus even zelf wat creatief bij zijn bij het verwijderen van de partities.

[ Voor 21% gewijzigd door DutchKel op 14-07-2012 12:10 ]

[Ijstheefles]

kfaessen schreef op zaterdag 14 juli 2012 @ 12:09:
[...]

Heb je ook alle partities van de schijven verwijderd? de stap ervoor? En anders gewoon op enter duwen.

Edit: Ik was vergeten dat er natuurlijk ook meerdere partities op 1 schijf kunnen staan dus misschien moet je nog vaker op d drukken, daar moet je dus even zelf wat creatief bij zijn bij het verwijderen van de partities.

Als ik probeer de partities te verwijderen (zowel met fdisk /dev/sda als /dev/sda1) krijg ik dat er geen partitie gevonden kan worden. + met /dev/zero dd eroverheen gegaan op beide /dev/sda als //dev/sda1

Inmiddels op enter geduwd:

code:

cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid5 sdf1[4] sdd1[2] sdb1[1] sda1[0]
      5860535808 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [UUU_]
      [=>...................]  recovery =  8.8% (172950384/1953511936) finish=522.7min speed=56771K/sec
      
unused devices: <none>

Ziet er naar uit dattie voorlopg nog niet klaar is. Dan nog mkfs maar das allicht een half uurtje ofzo gok ik.

Bedankt voor de hulp tot zo ver. Als er nog problemen zijn waar ik niet uit kom bump ik deze thread

[ Voor 1% gewijzigd door Ijstheefles op 14-07-2012 13:45 . Reden: finish min niet gezien ;x ]

[Verwijderd]

Dat er nog oude filesystems staan op je oude disks is niet erg; dat wordt gewoon overschreven. Die melding is waarschijnlijk gewoon om je tegen user-fouten te beschermen.

Besef ook dat je een RAID-array maakt van partities op je disks; niet van de disks zelf! Hiervoor is het belangrijk dat de partities goed aligned zijn, zeker als de hardeschijven 4K sector zijn.

Na het aanmaken van de RAID-array krijg je een /dev/md0 device. Hierop kun je weer partities plaatsen maar doe dat alleen als dit strict nodig is. Het beste is helemaal geen partities nergens op, dan kan er ook niets fout gaan. In jouw geval ligt het eraan wat je wilt doen, als je alle ruimte als één filesystem beschikbaar wilt krijgen, heb je geen partities nodig. Je kunt dan gewoon met mkfs /dev/md0 je filesystem maken en vervolgens (laten) mounten.

[Ijstheefles]

Gister nacht een fout gemaakt; in het verkeerde terminal window shutdown gedaan. Nu is /dev/md0 niet bestaand.

Nu lijkt het erop dat ik mdadm --assemble moet doen, maar dan krijg ik

code:

mdadm --assemble /dev/md0 /dev/sda /dev/sdb /dev/sdd /dev/sdf
mdadm: no recogniseable superblock on /dev/sda
mdadm: /dev/sda has no superblock - assembly aborted

Vervolgens dit gevonden:
http://ubuntuforums.org/showthread.php?t=1947275
Maar gezien ik origineel van alle 2 tb schijven in mijn computer een array heb gemaakt, vind ik het raar dat ik met mdadm -E /dev/sd[c|e] wel superblocks zie. Dit zijn 1tb schijven. Niet de 2 tb die ik origineel gebruikte.

Kom er nu ook achter dat ik de array eerst had moeten stoppen. Oeps =P

Vraag me nu alleen wel af of mijn data nog te redden valt?

/etc/fstab:

code:

# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    nodev,noexec,nosuid 0       0
# / was on /dev/sda1 during installation
UUID=998a46ba-eeae-4d95-9fd5-ad79784edfe0 /               ext4    errors=remount-ro 0       1
# swap was on /dev/sda5 during installation
UUID=d1965069-6a98-437c-a3dc-12452920a3ee none            swap    sw              0       0
UUID=afdd6dcc-d389-49fc-bf97-b74db152ff9d /home/ts/raidarray ext4 auto 0 0

Overigens boot 'ie met een foutmelding. (Als die nodig is reboot ik het geheel zo wel even. Op hoop van zegen >.<)

/etc/mdadm/mdadm.conf:

code:

DEVICE partitions

CREATE owner=root group=disk mode=0660 auto=yes

HOMEHOST thuisservert

MAILADDR mijnmail

ARRAY /dev/md0 metadata=1.2 name=thuisservert:0 UUID=c6620c75:453903fc:70a7cdb2:efa0e27c

verder in het onderzoek

Ga alleen de superblocks niet zero / nullen voordat ik zeker weet dat dat niet destructief is voor mijn data.

Anyone?

[ Voor 6% gewijzigd door Ijstheefles op 07-09-2012 14:58 ]

[Nielson]

Ijstheefles schreef op vrijdag 07 september 2012 @ 14:36:
Nu lijkt het erop dat ik mdadm --assemble moet doen, maar dan krijg ik

code:

mdadm --assemble /dev/md0 /dev/sda /dev/sdb /dev/sdd /dev/sdf
mdadm: no recogniseable superblock on /dev/sda
mdadm: /dev/sda has no superblock - assembly aborted

Je gebruikt hier de volledige schijven, terwijl je volgens je eerdere post je array hebt aangemaakt met partities, dus /dev/sda1 etc.

Ga alleen de superblocks niet zero / nullen voordat ik zeker weet dat dat niet destructief is voor mijn data.

Als je niet het array helemaal opnieuw wil opbouwen zou ik daar nog even mee wachten. Wat krijg je bij de verschillende schijven met:

mdadm -examine /dev/sdx1

[Ijstheefles]

Nielson schreef op vrijdag 07 september 2012 @ 18:02:
[...]
Je gebruikt hier de volledige schijven, terwijl je volgens je eerdere post je array hebt aangemaakt met partities, dus /dev/sda1 etc.
[...]
Als je niet het array helemaal opnieuw wil opbouwen zou ik daar nog even mee wachten. Wat krijg je bij de verschillende schijven met:

mdadm -examine /dev/sdx1

code:

mdadm: cannot open /dev/sda1: No such file or directory

Voor alle 4. Moet ik ze eerst mounten ofzo? ;x lijkt me niet de bedoeling.

[Nielson]

Nee, mounten zou niet nodig moeten zijn. Zie je de schijven en partities met fdisk nog wel? Via 'fdisk -l' bv.

[Ijstheefles]

Nielson schreef op vrijdag 07 september 2012 @ 18:16:
Nee, mounten zou niet nodig moeten zijn. Zie je de schijven en partities met fdisk nog wel? Via 'fdisk -l' bv.

O gut, dit ziet er niet best uit;

code:

Disk /dev/sda: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

Disk /dev/sda doesn't contain a valid partition table

Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn't contain a valid partition table

Disk /dev/sdc: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders, total 1953525168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00034a82

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1            2048  1953523711   976760832   83  Linux

Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

Disk /dev/sdd doesn't contain a valid partition table

Disk /dev/sde: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders, total 1953525168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00063266

   Device Boot      Start         End      Blocks   Id  System
/dev/sde1   *        2048  1945743359   972870656   83  Linux
/dev/sde2      1945745406  1953523711     3889153    5  Extended
/dev/sde5      1945745408  1953523711     3889152   82  Linux swap / Solaris

Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

Disk /dev/sdf doesn't contain a valid partition table

[Ijstheefles]

Meh, misschien maar freebsd (zfs dus ) gaan draaien. Schiet niet erg op zo... nothing of value was lost.

Tenzij er iemand nog geniale ideeen heeft?

[Ultraman]

Geen geniale ideeën van mijn kant helaas. Wel bewondering hoe je dat voor elkaar gekregen hebt met

in het verkeerde terminal window shutdown gedaan

[Ijstheefles]

Ultraman schreef op vrijdag 07 september 2012 @ 23:12:
Geen geniale ideeën van mijn kant helaas. Wel bewondering hoe je dat voor elkaar gekregen hebt met
[...]

Ik heb zo mijn momenten ='P

Maar mijn data is dus... weg?

[HarmoniousVibe]

Je moet ook eerst even nadenken voordat je zomaar commado's inklopt. Als ik het zo zie maak je eerst een array van 4 partities en ga je vervolgens één partities formatteren als ext4, terwijl deze onderdeel is (was), van je array. Daarna verwijder je de eerste x kilobytes van elke disk. Niet vreemd dat je data weg is.

Mensen hier gaan er volgens mij ook vanuit dat je een geheel nieuwe, verse array wilde aanmaken. Het is niet zo dat als je 4 partities met data hebt en je maakt er een array van, deze data ineens op de array staat.

Begin overnieuw en maak gewoon een array aan met dat mdadm --create. En gebruik niet /dev/sdx1, maar pleur gewoon alles op /dev/sdx.

mdadm --create /dev/md0 -l 5 -n 4 /dev/sda /dev/sdb /dev/sdd /dev/sdf

Alle waarschuwingen negeren en mkfs.ext4 /dev/md0 doen. Vervolgens zet je /dev/md0 in je fstab (evt met het UUID) op /mnt/iets/ en klaar is Kees.

Je moet geen assemble meer doen of naar fdisk kijken. fdisk is namelijk voor partities en als je bovenstaande commando's gebruikt heb je géén partities! En dus ook geen filesystems gaan aanmaken op /dev/sdX.

Voordeel is nu wel dat je in ieder geval vers kunt beginnen en lekker kunt experimenteren.

[ Voor 39% gewijzigd door HarmoniousVibe op 08-09-2012 01:23 ]

[Saturnus]

Wat hield die "shutdown" in?

Ik zou --assemble proberen met force flag (--force / -f).

[FabiandJ]

Stel je wilt het opnieuw proberen volg dan deze guide.
Ik heb precies hetzelfde gedaan en de raid draait probleemloos

[Mijzelf]

Het is toch een raid5 array? Dan kun je hem assemblen met 3 schijven (met ---run), en vervolgens de sda1 weer toevoegen aan de array. Waar heb je anders redundantie voor?

[HarmoniousVibe]

Mijzelf schreef op zaterdag 08 september 2012 @ 09:34:
Het is toch een raid5 array? Dan kun je hem assemblen met 3 schijven (met ---run), en vervolgens de sda1 weer toevoegen aan de array. Waar heb je anders redundantie voor?

Ijstheefles in "Mdadm & Raid 5"

Dit lijkt me niet handig op componenten van een array.. Alle 4. Nu zou het in theorie kunnen dat je kunt herparitioneren. Proberen kan altijd.

[ Voor 10% gewijzigd door HarmoniousVibe op 08-09-2012 09:37 ]

[Ijstheefles]

Je moet ook eerst even nadenken voordat je zomaar commado's inklopt. Als ik het zo zie maak je eerst een array van 4 partities en ga je vervolgens één partities formatteren als ext4, terwijl deze onderdeel is (was), van je array. Daarna verwijder je de eerste x kilobytes van elke disk. Niet vreemd dat je data weg is.

Mensen hier gaan er volgens mij ook vanuit dat je een geheel nieuwe, verse array wilde aanmaken. Het is niet zo dat als je 4 partities met data hebt en je maakt er een array van, deze data ineens op de array staat.

Array van 4 partities? Klopt.
Ik heb nog niets geformateert, ik heb de 1e x kilobytes van elke disk ook nog niet aangeraakt.

Ik vraag simpelweg wat de beste optie is. Toen ik mijn servertje opjnieuw opstartte was de situatie zoals ik deze omschrijf het resultaat.

Wat hield die "shutdown" in?

Ik zou --assemble proberen met force flag (--force / -f).

code:

 sudo shutdown -P now

assemble al geprobeerd, dan krijg ik niets terug (ook incombinatie met --examine).

Voer commando in, duw op enter, en ik krijg gewoon niets terug. nog geen 0.01 seconden laten krijg ik weer een nieuwe regel om commandos op in te voeren.

Als mijn data nog te redden valt hoor ik 't graag

[HarmoniousVibe]

Volgens jouw eigen reactie (waar ik in mijn vorige post naar linkte) heb je wel degelijk de eerste 512 bytes (ok, geen kbytes) van alle 4 de schijven gewiped. dd is een commando waarmee je gewoon rauw bitjes wegschrijft naar een schijf. En dat heb je nu uitgevoerd op de eerste 512b. Daar stond de MBR/GPT (partitietabel). Die is nu weg en dat heb je toch echt zelf gedaan. Dit is wat ik bedoelde met dat je wel een beetje moet proberen te snappen wat je doet. Blijkbaar snap je niet wat dd doet (zelfs niet ongeveer), maar toch pleur je het commando gewoon in de terminal.

Ook ben je erg onduidelijk in wat je wilt en vooral wat je hebt (had). Je wilt een mdadm raid5-array, zoveel is duidelijk, maar je vertelt niet waar je je huidige data hebt (had) staan en hoe je die wilde gaan migreren naar je array. Of dat je uberhaupt data had. Want daar gaat het al mis volgens mij. Ik, en met mij nog een aantal, waren in de veronderstelling dat de data die op de schijven stond gewoon weg kon. Anders hadden mensen jou echt niet aangeraden om op zo'n lompe manier je partitietabel te wipen. Je zegt ook zelf:

Ik sta op het punt om een raid5 array aan te maken met 4x2tb.

En je rept met geen woord over existing data. Sterker nog, één post verder voer je

mkfs.ext4 /dev/sdb1

uit. Hiermee heb je de inhoud van die partitie simpelweg geformatteerd. Niet vreemd dus dat die daarna weg is.

Als je zo casual een mkfs en een dd doet dan ligt het echt voor de hand om aan te nemen dat er geen data op die schijven staat die je nog wilde bewaren.

Als je niet meer hebt gedaan dan hier in dit topic is gedaan zou je een gedeelte van je data nog kunnen redden. Start fdisk en maak op elke schijf opnieuw een partitietabel aan die PRECIES gelijk is aan hoe deze eerst was voordat je rücksichtlos de partitietabel weggooide. Voeg vervolgens deze schijven weer toe aan je fstab en probeer deze te mounten. /dev/sdb1 is verloren, want daar je heb je een mkfs op uitgevoerd. Als je dat op meer partities hebt gedaan geldt dat ook daarvoor.

[Ijstheefles]

Bijna.

Dit topic heb ik een tijdje geleden gestart, en toen begon ik inderdaad 'from scratch'. Geen data nog, en ik begon me in mdadm te verdiepen.

Nu maak ik in diezelfde thread een paar maanden later een post met 'ik heb een fout gemaakt'.

Dan heb ik dus al een paar maanden een raidarray draaien met data erop, en door in de verkeerde terminal een shutdown -P now te doen dus het geheel afgesloten. Toen ik de server de dag erna weer opstarten om te kijken wat de schade was, is het resultaat te zien in diezelfde post. (en de posts erna).

Ik heb zoals ik al eerder zei, sinds het her-opstarten van mijn servertje nog geen bits gewist. Niet met het verwijderen van superblocks en ook niet op andere wijzes.

We hebben het hier dus over 1 en dezelfde array die dus niet meer te vinden is onder /dev/md0 na het heropstarten. Geen data migratie dus

Al een stukje duidelijker?

[edit]
Omdat ik met niets begon kon ik die dd en mkfs prima uitvoeren, er was immers geen data op de schijven! Ik heb dan ook niets in die categorie nog gedaan. Alleen gepoogd assemble en dat soort suggesties gepoogd te volgen.

[ Voor 11% gewijzigd door Ijstheefles op 08-09-2012 13:32 ]

[HarmoniousVibe]

Ah zo. Nu snap ik het. Ik had het verschil in tijd niet gezien. Excuses.

Heb je al geprobeerd te doen wat Nielson je aanraadde?

mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdd1 /dev/sdf1

Dat waren immers de componenten van je array. Niet /dev/sda zelf, maar /dev/sda1.

[Ijstheefles]

HarmoniousVibe schreef op zaterdag 08 september 2012 @ 13:36:
Ah zo. Nu snap ik het. Ik had het verschil in tijd niet gezien. Excuses.

Heb je al geprobeerd te doen wat Nielson je aanraadde?

mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdd1 /dev/sdf1

Dat waren immers de componenten van je array. Niet /dev/sda zelf, maar /dev/sda1.

code:

mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdd1 /dev/sdf1
mdadm: cannot open device /dev/sda1: No such file or directory
mdadm: /dev/sda1 has no superblock - assembly aborted

Wat kan kloppen, als je namelijk kijkt naar mijn fdisk (geloof dat dat em was) dan zie je dat die partities om een of andere reden niet meer in /dev voorkomen.

Wat daar gebeurt is is me een groot raadsel ;x

[Verwijderd]

Ja, omdat je ouderwetse partities gebruikte mag je nu op zoek naar de offset. Als je die uit je hoofd weet (63 sectors, 2048 sectors zijn standaard) kun je nog een gok wagen door deze partitietabellen aan te maken. Aangezien je toch al goede data aan het overschrijven bent, volg je absoluut niet de adviezen over veilige data recovery. Dat begint met een ruwe kopie maken van alle schijven zodat je het origineel niet kunt vern**ken. Maar daarvoor is het te laat.

Zou je de partitietruc proberen, dd dan even de huidige content naar een file? Dat kost je maar een aantal kilobyte ruimte maar dan kun je de schade weer terugdraaien mocht het niet helpen. Met de juiste partities op je schijven betekent dat /dev/sda1 naar de juiste disk offset wijst en dan maak je nog een kans om je data terug te vinden.

[Ijstheefles]

Verwijderd schreef op zaterdag 08 september 2012 @ 13:51:
Ja, omdat je ouderwetse partities gebruikte mag je nu op zoek naar de offset. Als je die uit je hoofd weet (63 sectors, 2048 sectors zijn standaard) kun je nog een gok wagen door deze partitietabellen aan te maken. Aangezien je toch al goede data aan het overschrijven bent, volg je absoluut niet de adviezen over veilige data recovery. Dat begint met een ruwe kopie maken van alle schijven zodat je het origineel niet kunt vern**ken. Maar daarvoor is het te laat.

Zou je de partitietruc proberen, dd dan even de huidige content naar een file? Dat kost je maar een aantal kilobyte ruimte maar dan kun je de schade weer terugdraaien mocht het niet helpen. Met de juiste partities op je schijven betekent dat /dev/sda1 naar de juiste disk offset wijst en dan maak je nog een kans om je data terug te vinden.

Al zou dit wel een goede oefening zijn; Er staat het volgende in je sig:

Je wil in 2012 gewoon een filesystem als ZFS als je data je lief is -sloth

Ik wilde toch al freebsd gaan leren.

Maar bedankt voor de hulp wederom

[Verwijderd]

Is zeker een goede aanrader, maar daarmee krijg je niet je huidige data terug. Als je zegt zo belangrijk was die data niet, oke prima. Maar normaliter is je data toch iets belangrijker en is het verlies ervan gewoon enorm k#t. Dan zou ik het ook nog niet zo snel opgeven want zodra je je schijven gaat herformatteren en gebruiken is het natuurlijk definitief voorbij met recovery enzo.

[Ijstheefles]

Verwijderd schreef op zaterdag 08 september 2012 @ 14:08:
Is zeker een goede aanrader, maar daarmee krijg je niet je huidige data terug. Als je zegt zo belangrijk was die data niet, oke prima. Maar normaliter is je data toch iets belangrijker en is het verlies ervan gewoon enorm k#t. Dan zou ik het ook nog niet zo snel opgeven want zodra je je schijven gaat herformatteren en gebruiken is het natuurlijk definitief voorbij met recovery enzo.

Meh, dat wordt een herformat =P. Het was maar 2-2,5 maand download werk. Daar gaan we niet dood van.

[Nielson]

Dat valt gelukkig weer mee dan. Toch blijf ik het apart vinden dat door een keer onveilig afsluiten al je partities van de schijven zijn verdwenen. Misschien zou je eens met TestDisk kunnen kijken of die ze nog kan weervinden.

[HarmoniousVibe]

Het is inderdaad wel heel vreemd dat ineens zomaar alle partitietabellen weg zijn. Dat is geen toeval.

Probeer inderdaad zoals Cipher zegt de partititabel exact te recreëren. Dat zou nog kunnen helpen.

Verder is ZFS zeker het beste FS wat er op dit moment beschikbaar is, maar je moet ook dat niet overschatten. Ook met ZFS ben je gewoon je array en daarmee in feite je data kwijt als op 4 van de 4 schijven je partitietabel naar de gort is.

[ Voor 62% gewijzigd door HarmoniousVibe op 08-09-2012 15:12 ]

[Ijstheefles]

HarmoniousVibe schreef op zaterdag 08 september 2012 @ 15:03:
Het is inderdaad wel heel vreemd dat ineens zomaar alle partitietabellen weg zijn. Dat is geen toeval.

Probeer inderdaad zoals Cipher zegt de partititabel exact te recreëren. Dat zou nog kunnen helpen.

Verder is ZFS zeker het beste FS wat er op dit moment beschikbaar is, maar je moet ook dat niet overschatten. Ook met ZFS ben je gewoon je array en daarmee in feite je data kwijt als op 4 van de 4 schijven je partitietabel naar de gort is.

Jop, en precies daarom denk ik erover om freenas te gaan draaien. Dan worden dat soort dingen voor je geregeld. Kloten in linux is geweldig, maar partitietabellen etc. gaan er wat te diep op in. Met als resultaat een leuk aantal TB data kwijt xP

[Saturnus]

Je moet iets gedaan hebben vooraf aan de shutdown wat de boel stuk heeft gemaakt.


Ik vermoed dat de partitietabel er zo uit komt te zien:

code:

# partition table of /dev/sda
unit: sectors

/dev/sda1 : start=  2048, size=3907027120, Id=fd

Als je het gecontroleerd hebt sla je dit op (sda.sfdisk) en schrijf je het naar de schijf:

code:

sfdisk --force /dev/sdc < sda.sfdisk

Steeds even het bestand aanpassen (2 maal sd*) en naar de juiste schijf sturen.

Daarna de boel even refreshen:

code:

partprobe /dev/sd*

En dan met fdisk -l kijken of er weer een partitietabel is.

Als dat zo is, kan je met mdadm verder.

[ Voor 13% gewijzigd door Saturnus op 08-09-2012 16:51 ]

[Nielson]

In plaats van te gokken hoe het er uit gezien heeft kun je m.i. beter eerst een poging met TestDisk doen.

[Ijstheefles]

Ben nu een raid6 array aan het maken (hou ik wel minder ruimte over, maar met mdadm kun je je array nog growen met een extra schijf. met zfs is dit moeilijker.

Weet wel dat ik morgen avond (duurt nl nog 18 uur) eerst een testje doe (na alle configs nog) even rebooten. Kijken of het dan nog werkt =P

" To be continued ... "

[Saturnus]

RAID6 met 4 schijven? Jammer van je ruimte. Het lijkt mij niet zinvol (met dit aantal schijven) omdat jij veel gevaarlijker bent voor je data dan hardwarecorruptie. Niet als sneer bedoelt, want zo was het hier ook een paar jaar terug.

[Ijstheefles]

Saturnus schreef op zaterdag 08 september 2012 @ 20:00:
RAID6 met 4 schijven? Jammer van je ruimte. Het lijkt mij niet zinvol (met dit aantal schijven) omdat jij veel gevaarlijker bent voor je data dan hardwarecorruptie. Niet als sneer bedoelt, want zo was het hier ook een paar jaar terug.

Prfft.. ik haat mijn eigen wispelturigheid zo enorm eh.. af en toe >.<, raid5 is in the making (scheelt trouwens wel 500 minuten Oo)

[Ijstheefles]

Ijstheefles schreef op zaterdag 08 september 2012 @ 20:06:
[...]


Prfft.. ik haat mijn eigen wispelturigheid zo enorm eh.. af en toe >.<, raid5 is in the making (scheelt trouwens wel 500 minuten Oo)

Oke, om het dit keer goed te doen:

Ik heb nu in /dev/md0 een raid5 array gemaakt. Deze is klaar voor gebruik.
mkfs.ext4 /dev/md0 al gedaan

mdadm --detail /dev/md0:

code:

Name : thuisservert:0  (local to host thuisservert)
           UUID : ca0e1f82:cb840485:d246502d:ae713012
         Events : 19

    Number   Major   Minor   RaidDevice State
       0       8        0        0      active sync   /dev/sda
       1       8       16        1      active sync   /dev/sdb
       2       8       48        2      active sync   /dev/sdd
       4       8       80        3      active sync   /dev/sdf

Zorgt ervoor dat ik het UUID weet.

Mdadm.conf:

code:

DEVICE /dev/sda /dev/sdb /dev/sdd /dev/sdf

CREATE owner=root group=disk mode=0660 auto=yes

HOMEHOST thuisservert

MAILADDR [e-mail]

ARRAY /dev/md0 metadata=1.2 name=thuisservert:0 UUID=ca0e1f82:cb840485:d246502d:ae713012

Hoort metadata daar wel?

Als ik mdadm --detail --scan uitvoer komt ook die metadata naar voren nl.

Vervolgens:

code:

blkid /dev/md0
/dev/md0: UUID="ea94f8e6-7b9e-4011-b9fb-a72d471cb054" TYPE="ext4"

Huidige fstab:

code:

# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    nodev,noexec,nosuid 0       0
# / was on /dev/sda1 during installation
UUID=998a46ba-eeae-4d95-9fd5-ad79784edfe0 /               ext4    errors=remount-ro 0       1
# swap was on /dev/sda5 during installation
UUID=d1965069-6a98-437c-a3dc-12452920a3ee none            swap    sw              0       0
UUID=ea94f8e6-7b9e-4011-b9fb-a72d471cb054 /home/ts/raidarray ext4 auto 0 0

Gezien het de vorige keer fout ging. Kan iemand bevestigen dat er nergens meer een fout zit? ;o

[jan99999]

Raid 6 is beter, zeker als je in de toekomst meer schijven gaat toevoegen.
Hoe meer schijven, hoe groter de kans dat er iets fout gaat, dus bijv 2 schijven uitvallen.

En zoek hier eens op,
linux+raid+scrubbing
Dit is nodig bij software raid bij linux.

[HarmoniousVibe]

jan99999 schreef op zondag 09 september 2012 @ 11:33:
Raid 6 is beter, zeker als je in de toekomst meer schijven gaat toevoegen.
Hoe meer schijven, hoe groter de kans dat er iets fout gaat, dus bijv 2 schijven uitvallen.

En zoek hier eens op,
linux+raid+scrubbing
Dit is nodig bij software raid bij linux.

Je kunt altijd nog live 'upgraden' naar raid6. Ik zou met twee schijven echt geen raid6 doen.

'Scrubben' gebeurt automatisch. Staat in de cron:

57 0 * * 0 root if [ -x /usr/share/mdadm/checkarray ] && [ $(date +\%d) -le 7 ]; then /usr/share/mdadm/checkarray --cron --all --idle --quiet; fi

[DJ-Promo]

0 8 0 0 active sync /dev/sda
1 8 16 1 active sync /dev/sdb
2 8 48 2 active sync /dev/sdd
4 8 80 3 active sync /dev/sdf

Is de sdc je os schijf ? Vind het een beetje raar zo.

[Ijstheefles]

DJ-Promo schreef op zondag 09 september 2012 @ 11:42:
0 8 0 0 active sync /dev/sda
1 8 16 1 active sync /dev/sdb
2 8 48 2 active sync /dev/sdd
4 8 80 3 active sync /dev/sdf

Is de sdc je os schijf ? Vind het een beetje raar zo.

sdc en sde zijn 1tb schijven waarbij geloof ik sdc de OS schijf is.

Had het georganizeerder kunnen doen maargoed.

-----------------------

Ik ga gewoon rebooten. Kijken wat de schade dan is. Anders moet ik maar weer 500 minuten wachten tot die weer opnieuw ge-create is >.>

[edit]. Gereboot: werkt. Ik heb nu nog dezelfde array die automatisch wordt gemount.

Dank allen!

[ Voor 6% gewijzigd door Ijstheefles op 09-09-2012 15:03 ]

[FireDrunk]

mdadm --scan --examine al eens geprobeerd?
Grmbl, stomme auto pagina systeem...

Mooi dat het werkt

[ Voor 45% gewijzigd door FireDrunk op 10-09-2012 09:37 ]