Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie
Toon posts:

Mdadm & Raid 5

Pagina: 1
Acties:

Onderwerpen


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
Hoi tweakers,

Ik sta op het punt om een raid5 array aan te maken met 4x2tb.

Er is alleen nog wat onduidelijkheid.

Volgens dit is het simpelweg mdadm --assemble met parameters.

Alleen toen kwam ik het volgende tegen: klik

Waarin dus staat dat ik de betreffende HD's dus eerst uit mijn fstab moet halen.

Wat is wijsheid?

Alvast bedankt :)

  • XTerm
  • Registratie: juli 2001
  • Laatst online: 28-03-2018
Je mag inderdaad niet de partities waar de RAID uit bestaat nog los mounten.
Eerst uit fstab halen dus.

Daarna moet je voor je /dev/md0 een nieuwe fstab entry maken

  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
XTerm schreef op zaterdag 14 juli 2012 @ 10:19:
Je mag inderdaad niet de partities waar de RAID uit bestaat nog los mounten.
Eerst uit fstab halen dus.

Daarna moet je voor je /dev/md0 een nieuwe fstab entry maken
Goed, ik keek met df -h welke hds er gemount waren en dit waren mijn 1tb's die gewoon los mogen. + gechecked in fstab wat daarin stond. In de comments stond dat /sda1 'twas, maar de / mountpoint heb ik op sde staan.

Vervolgens:
code:
1
2
3
4
5
6
7
8
9
10
mdadm --create /dev/md0 -l 5 -n 4 /dev/sda1 /dev/sdb1 /dev/sdd1 /dev/sdf1
mdadm: /dev/sda1 appears to contain an ext2fs file system
    size=1953513472K  mtime=Fri Jul 13 16:36:45 2012
mdadm: /dev/sdb1 appears to contain an ext2fs file system
    size=1953513472K  mtime=Thu Jan  1 01:00:00 1970
mdadm: /dev/sdd1 appears to contain an ext2fs file system
    size=1953513472K  mtime=Fri Jul 13 22:16:26 2012
mdadm: /dev/sdf1 appears to contain an ext2fs file system
    size=1953513472K  mtime=Thu Jul 12 22:07:42 2012
Continue creating array?

Dit terwijl ik alles ext4 heb gemaakt. Ter verificatie:
code:
1
mkfs.ext4 /dev/sdb1

Dit deed vrolijk zijn ding, vervolgens weer het mdadm commando alleen dit gaf weer ext2 terug.

Wat mis ik?

  • Nielson
  • Registratie: juni 2001
  • Laatst online: 23:37
Je moet juist geen filesystem op je losse schijven zetten, deze gaan onderdeel worden van je mdadm array. Je kunt ervoor kiezen om er zelfs geen partities op aan te maken, maar aangezien je dat toch al hebt kun je met fdisk het partitie type veranderen naar 'fd' (Linux Raid Auto). Vervolgens maak je dus je array (md0) aan met deze partities en dáárop zet je vervolgens je EXT4 (of ander) filesystem.

  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
Nielson schreef op zaterdag 14 juli 2012 @ 10:52:
Je moet juist geen filesystem op je losse schijven zetten, deze gaan onderdeel worden van je mdadm array. Je kunt ervoor kiezen om er zelfs geen partities op aan te maken, maar aangezien je dat toch al hebt kun je met fdisk het partitie type veranderen naar 'fd' (Linux Raid Auto). Vervolgens maak je dus je array (md0) aan met deze partities en dáárop zet je vervolgens je EXT4 (of ander) filesystem.
Oke, we zijn weer een stap verder:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
fdisk /dev/sdf

The device presents a logical sector size that is smaller than
the physical sector size. Aligning to a physical sector (or optimal
I/O) size boundary is recommended, or performance may be impacted.

Command (m for help): t
Selected partition 1
Hex code (type L to list codes): fd
Changed system type of partition 1 to fd (Linux raid autodetect)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

Dit voor alle 4 gedaan.

Nu doe ik weer het vorige mdadm commando, en krijg ik alsnog ext2fs ? ;x

  • Nielson
  • Registratie: juni 2001
  • Laatst online: 23:37
Mja, blijkbaar blijft het filesystem gewoon erop staan ook al verander je het partitie type. 'k Zou even alles wissen op de betreffende schijven:

dd if=/dev/zero of=/dev/sdX  bs=512  count=1

Vervolgens kun je de schijven zelf direct in mdadm opgeven of er weer fd partities op aanmaken.

  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
Nielson schreef op zaterdag 14 juli 2012 @ 11:28:
Mja, blijkbaar blijft het filesystem gewoon erop staan ook al verander je het partitie type. 'k Zou even alles wissen op de betreffende schijven:

dd if=/dev/zero of=/dev/sdX  bs=512  count=1

Vervolgens kun je de schijven zelf direct in mdadm opgeven of er weer fd partities op aanmaken.
We blijven leuk bezig ;x
code:
1
2
3
4
dd if=/dev/zero of=/dev/sdb bs=512 count=1
1+0 records in
1+0 records out
512 bytes (512 B) copied, 0.0003482 s, 1.5 MB/s

voor alle 4 schijven;

Mdadm geeft dan gewoon nog steeds ext2fs aan.

Als ik vervolgens i.p.v. sdb, sdb1 pak schrijft t ook iets weg. Als ik fdisk /dev/sdb doe en vervolgens probeer de partitie te verwijderen krijg ik
code:
1
No partition is defined yet!

dus de dd heeft wel gewerkt gok ik =p

Dusseh, ik gok mdadm dan nu maar? ;x

  • 0xDEADBEEF
  • Registratie: december 2003
  • Niet online
"cat /proc/mdstat" heeft nuttige informatie :)

ArchLinux heeft een fantastische wiki en daar vond ik, via https://wiki.archlinux.org/index.php/RAID#Build_the_array, deze blogpost: http://fomori.org/blog/bl...0%94-the-nas-alternative/

0xDEADBEEF wijzigde deze reactie 14-07-2012 11:42 (9%)

"Religion is an insult to human dignity. With or without it you would have good people doing good things and evil people doing evil things. But for good people to do evil things, that takes religion." - Steven Weinberg


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
0xDEADBEEF schreef op zaterdag 14 juli 2012 @ 11:40:
"cat /proc/mdstat" heeft nuttige informatie :)

ArchLinux heeft een fantastische wiki en daar vond ik, via https://wiki.archlinux.org/index.php/RAID#Build_the_array, deze blogpost: http://fomori.org/blog/bl...0%94-the-nas-alternative/
https://wiki.archlinux.org/index.php/RAID#Build_the_array. Even naar bovenscrollend kom ik daar hetzelfde commando tegen als hierboven.

Het huidige "probleem" is dus dat mdadm --create nog zegt dat er een ext2fs op de schijven staat, zelfs na dd /dev/zero.

  • DutchKel
  • Registratie: mei 2002
  • Laatst online: 20-04 17:49
Stappenplan (dit werkt zeker op ubuntu):
Alle schijven die je in de raid gebruikt uit fstab halen en rebooten (of zelf unmounten).
Voor alle schijven alle partities verwijderen:
fdisk /dev/sdX (X=schijfletter)
d
w

Vervolgens de raid creeren:
sudo mdadm --create --verbose /dev/md0 --level=5 --raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde (aantal devices en de /dev/sdX weer naar eigen wens aanpassen)

Daarna de raid configuratie opslaan door de volgende commando's te gebruiken:
sudo echo "DEVICE partitions" > /etc/mdadm/mdadm.conf
sudo mdadm --detail --scan >> /etc/mdadm/mdadm.conf

Daarna kun je de raid een bestandssysteem geven en formatteren dmv:
sudo mkfs.ext4 /dev/md0

Daarna kun je de raid in fstab zetten dmv de UUID welke je vind met:
ls -al /dev/disk/by-uuid/

Je kunt nu het volume mounten dmv fstab (dan weet je ook direct of je fstab goed is ingevuld) door:
mount <mountmap>


Ook nog wat info voor het verwijderen van de raid:
Alles unmounten en uit fstab halen van de raid en dan het volgende uitvoeren:
sudo mdadm --manage /dev/mdX --fail /dev/sdX - Fail each device in the raid (dit dien je voor elke schijf te doen)
sudo mdadm --manage /dev/mdX --remove /dev/sdX - Remove each device in the raid (dit dien je voor elke schijf te doen)
sudo mdadm --manage --stop /dev/mdX - Remove raid

Ik wens je veel succes.

Don't drive faster than your guardian angel can fly.


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
kfaessen schreef op zaterdag 14 juli 2012 @ 11:59:
....
Vervolgens de raid creeren:
sudo mdadm --create --verbose /dev/md0 --level=5 --raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde (aantal devices en de /dev/sdX weer naar eigen wens aanpassen)

.....
Probleem is dat zodra ik dat doe, die nog zeurt over ext2fs. Kan ik hier gewoon op enter duwen, is eigenlijk mijn vraag.

Voor de rest een geweldig stappenplan trouwens :-)

  • DutchKel
  • Registratie: mei 2002
  • Laatst online: 20-04 17:49
quote:
Ijstheefles schreef op zaterdag 14 juli 2012 @ 12:04:
[...]


Probleem is dat zodra ik dat doe, die nog zeurt over ext2fs. Kan ik hier gewoon op enter duwen, is eigenlijk mijn vraag.

Voor de rest een geweldig stappenplan trouwens :-)
Heb je ook alle partities van de schijven verwijderd? de stap ervoor? En anders gewoon op enter duwen.

Edit: Ik was vergeten dat er natuurlijk ook meerdere partities op 1 schijf kunnen staan dus misschien moet je nog vaker op d drukken, daar moet je dus even zelf wat creatief bij zijn bij het verwijderen van de partities.

DutchKel wijzigde deze reactie 14-07-2012 12:10 (21%)

Don't drive faster than your guardian angel can fly.


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
kfaessen schreef op zaterdag 14 juli 2012 @ 12:09:
[...]

Heb je ook alle partities van de schijven verwijderd? de stap ervoor? En anders gewoon op enter duwen.

Edit: Ik was vergeten dat er natuurlijk ook meerdere partities op 1 schijf kunnen staan dus misschien moet je nog vaker op d drukken, daar moet je dus even zelf wat creatief bij zijn bij het verwijderen van de partities.
Als ik probeer de partities te verwijderen (zowel met fdisk /dev/sda als /dev/sda1) krijg ik dat er geen partitie gevonden kan worden. + met /dev/zero dd eroverheen gegaan op beide /dev/sda als //dev/sda1

Inmiddels op enter geduwd:
code:
1
2
3
4
5
6
7
cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid5 sdf1[4] sdd1[2] sdb1[1] sda1[0]
      5860535808 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [UUU_]
      [=>...................]  recovery =  8.8% (172950384/1953511936) finish=522.7min speed=56771K/sec
      
unused devices: <none>

Ziet er naar uit dattie voorlopg nog niet klaar is. Dan nog mkfs maar das allicht een half uurtje ofzo gok ik.

Bedankt voor de hulp tot zo ver. Als er nog problemen zijn waar ik niet uit kom bump ik deze thread :)

Ijstheefles wijzigde deze reactie 14-07-2012 13:45 (1%)
Reden: finish min niet gezien ;x


  • CiPHER
  • Registratie: november 2000
  • Laatst online: 28-04-2017

CiPHER

Brute Force

Dat er nog oude filesystems staan op je oude disks is niet erg; dat wordt gewoon overschreven. Die melding is waarschijnlijk gewoon om je tegen user-fouten te beschermen.

Besef ook dat je een RAID-array maakt van partities op je disks; niet van de disks zelf! Hiervoor is het belangrijk dat de partities goed aligned zijn, zeker als de hardeschijven 4K sector zijn.

Na het aanmaken van de RAID-array krijg je een /dev/md0 device. Hierop kun je weer partities plaatsen maar doe dat alleen als dit strict nodig is. Het beste is helemaal geen partities nergens op, dan kan er ook niets fout gaan. In jouw geval ligt het eraan wat je wilt doen, als je alle ruimte als één filesystem beschikbaar wilt krijgen, heb je geen partities nodig. Je kunt dan gewoon met mkfs /dev/md0 je filesystem maken en vervolgens (laten) mounten.

Wanneer ga jij jouw data beschermen? Kies voor ZFS!


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
Gister nacht een fout gemaakt; in het verkeerde terminal window shutdown gedaan. Nu is /dev/md0 niet bestaand.

Nu lijkt het erop dat ik mdadm --assemble moet doen, maar dan krijg ik
code:
1
2
3
mdadm --assemble /dev/md0 /dev/sda /dev/sdb /dev/sdd /dev/sdf
mdadm: no recogniseable superblock on /dev/sda
mdadm: /dev/sda has no superblock - assembly aborted

Vervolgens dit gevonden:
http://ubuntuforums.org/showthread.php?t=1947275
Maar gezien ik origineel van alle 2 tb schijven in mijn computer een array heb gemaakt, vind ik het raar dat ik met mdadm -E /dev/sd[c|e] wel superblocks zie. Dit zijn 1tb schijven. Niet de 2 tb die ik origineel gebruikte.

Kom er nu ook achter dat ik de array eerst had moeten stoppen. Oeps =P

Vraag me nu alleen wel af of mijn data nog te redden valt?

/etc/fstab:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    nodev,noexec,nosuid 0       0
# / was on /dev/sda1 during installation
UUID=998a46ba-eeae-4d95-9fd5-ad79784edfe0 /               ext4    errors=remount-ro 0       1
# swap was on /dev/sda5 during installation
UUID=d1965069-6a98-437c-a3dc-12452920a3ee none            swap    sw              0       0
UUID=afdd6dcc-d389-49fc-bf97-b74db152ff9d /home/ts/raidarray ext4 auto 0 0

Overigens boot 'ie met een foutmelding. (Als die nodig is reboot ik het geheel zo wel even. Op hoop van zegen >.<)

/etc/mdadm/mdadm.conf:
code:
1
2
3
4
5
6
7
8
9
DEVICE partitions

CREATE owner=root group=disk mode=0660 auto=yes

HOMEHOST thuisservert

MAILADDR mijnmail

ARRAY /dev/md0 metadata=1.2 name=thuisservert:0 UUID=c6620c75:453903fc:70a7cdb2:efa0e27c

verder in het onderzoek

Ga alleen de superblocks niet zero / nullen voordat ik zeker weet dat dat niet destructief is voor mijn data.

Anyone?

Ijstheefles wijzigde deze reactie 07-09-2012 14:58 (6%)


  • Nielson
  • Registratie: juni 2001
  • Laatst online: 23:37
quote:
Ijstheefles schreef op vrijdag 07 september 2012 @ 14:36:
Nu lijkt het erop dat ik mdadm --assemble moet doen, maar dan krijg ik
code:
1
2
3
mdadm --assemble /dev/md0 /dev/sda /dev/sdb /dev/sdd /dev/sdf
mdadm: no recogniseable superblock on /dev/sda
mdadm: /dev/sda has no superblock - assembly aborted

Je gebruikt hier de volledige schijven, terwijl je volgens je eerdere post je array hebt aangemaakt met partities, dus /dev/sda1 etc.
quote:
Ga alleen de superblocks niet zero / nullen voordat ik zeker weet dat dat niet destructief is voor mijn data.
Als je niet het array helemaal opnieuw wil opbouwen zou ik daar nog even mee wachten. Wat krijg je bij de verschillende schijven met:
mdadm -examine /dev/sdx1

  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
Nielson schreef op vrijdag 07 september 2012 @ 18:02:
[...]
Je gebruikt hier de volledige schijven, terwijl je volgens je eerdere post je array hebt aangemaakt met partities, dus /dev/sda1 etc.
[...]
Als je niet het array helemaal opnieuw wil opbouwen zou ik daar nog even mee wachten. Wat krijg je bij de verschillende schijven met:
mdadm -examine /dev/sdx1

code:
1
mdadm: cannot open /dev/sda1: No such file or directory

Voor alle 4. Moet ik ze eerst mounten ofzo? ;x lijkt me niet de bedoeling.

  • Nielson
  • Registratie: juni 2001
  • Laatst online: 23:37
Nee, mounten zou niet nodig moeten zijn. Zie je de schijven en partities met fdisk nog wel? Via 'fdisk -l' bv.

  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
Nielson schreef op vrijdag 07 september 2012 @ 18:16:
Nee, mounten zou niet nodig moeten zijn. Zie je de schijven en partities met fdisk nog wel? Via 'fdisk -l' bv.
O gut, dit ziet er niet best uit;
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
Disk /dev/sda: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

Disk /dev/sda doesn't contain a valid partition table

Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn't contain a valid partition table

Disk /dev/sdc: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders, total 1953525168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00034a82

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1            2048  1953523711   976760832   83  Linux

Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

Disk /dev/sdd doesn't contain a valid partition table

Disk /dev/sde: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders, total 1953525168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00063266

   Device Boot      Start         End      Blocks   Id  System
/dev/sde1   *        2048  1945743359   972870656   83  Linux
/dev/sde2      1945745406  1953523711     3889153    5  Extended
/dev/sde5      1945745408  1953523711     3889152   82  Linux swap / Solaris

Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

Disk /dev/sdf doesn't contain a valid partition table


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
Meh, misschien maar freebsd (zfs dus ) gaan draaien. Schiet niet erg op zo... nothing of value was lost.

Tenzij er iemand nog geniale ideeen heeft?

  • Ultraman
  • Registratie: februari 2002
  • Laatst online: 18-04 17:23

Ultraman

Moderator Harde Waren

Boefje

Geen geniale ideeën van mijn kant helaas. Wel bewondering hoe je dat voor elkaar gekregen hebt met
quote:
in het verkeerde terminal window shutdown gedaan
:o

Als je stil blijft staan, komt de hoek wel naar jou toe.


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
Ultraman schreef op vrijdag 07 september 2012 @ 23:12:
Geen geniale ideeën van mijn kant helaas. Wel bewondering hoe je dat voor elkaar gekregen hebt met
[...]
:o
Ik heb zo mijn momenten ='P

Maar mijn data is dus... weg?

  • HarmoniousVibe
  • Registratie: september 2001
  • Laatst online: 21:11
Je moet ook eerst even nadenken voordat je zomaar commado's inklopt. Als ik het zo zie maak je eerst een array van 4 partities en ga je vervolgens één partities formatteren als ext4, terwijl deze onderdeel is (was), van je array. Daarna verwijder je de eerste x kilobytes van elke disk. Niet vreemd dat je data weg is.

Mensen hier gaan er volgens mij ook vanuit dat je een geheel nieuwe, verse array wilde aanmaken. Het is niet zo dat als je 4 partities met data hebt en je maakt er een array van, deze data ineens op de array staat.

Begin overnieuw en maak gewoon een array aan met dat mdadm --create. En gebruik niet /dev/sdx1, maar pleur gewoon alles op /dev/sdx.

mdadm --create /dev/md0 -l 5 -n 4 /dev/sda /dev/sdb /dev/sdd /dev/sdf


Alle waarschuwingen negeren en mkfs.ext4 /dev/md0 doen. Vervolgens zet je /dev/md0 in je fstab (evt met het UUID) op /mnt/iets/ en klaar is Kees.

Je moet geen assemble meer doen of naar fdisk kijken. fdisk is namelijk voor partities en als je bovenstaande commando's gebruikt heb je géén partities! En dus ook geen filesystems gaan aanmaken op /dev/sdX.

Voordeel is nu wel dat je in ieder geval vers kunt beginnen en lekker kunt experimenteren.

HarmoniousVibe wijzigde deze reactie 08-09-2012 01:23 (39%)


  • Saturnus
  • Registratie: februari 2005
  • Niet online
Wat hield die "shutdown" in?

Ik zou --assemble proberen met force flag (--force / -f).

AMD Ryzen 1700X | G.Skill Trident Z 3000MT/s | Asus Prime B350-Plus | Samsung 960 Evo


  • FabiandJ
  • Registratie: oktober 2001
  • Niet online
Stel je wilt het opnieuw proberen volg dan deze guide.
Ik heb precies hetzelfde gedaan en de raid draait probleemloos :)

  • Mijzelf
  • Registratie: september 2004
  • Niet online
Het is toch een raid5 array? Dan kun je hem assemblen met 3 schijven (met ---run), en vervolgens de sda1 weer toevoegen aan de array. Waar heb je anders redundantie voor?

  • HarmoniousVibe
  • Registratie: september 2001
  • Laatst online: 21:11
quote:
Mijzelf schreef op zaterdag 08 september 2012 @ 09:34:
Het is toch een raid5 array? Dan kun je hem assemblen met 3 schijven (met ---run), en vervolgens de sda1 weer toevoegen aan de array. Waar heb je anders redundantie voor?
Ijstheefles in "Mdadm & Raid 5"

Dit lijkt me niet handig op componenten van een array.. Alle 4. Nu zou het in theorie kunnen dat je kunt herparitioneren. Proberen kan altijd.

HarmoniousVibe wijzigde deze reactie 08-09-2012 09:37 (10%)


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
Je moet ook eerst even nadenken voordat je zomaar commado's inklopt. Als ik het zo zie maak je eerst een array van 4 partities en ga je vervolgens één partities formatteren als ext4, terwijl deze onderdeel is (was), van je array. Daarna verwijder je de eerste x kilobytes van elke disk. Niet vreemd dat je data weg is.

Mensen hier gaan er volgens mij ook vanuit dat je een geheel nieuwe, verse array wilde aanmaken. Het is niet zo dat als je 4 partities met data hebt en je maakt er een array van, deze data ineens op de array staat.
Array van 4 partities? Klopt.
Ik heb nog niets geformateert, ik heb de 1e x kilobytes van elke disk ook nog niet aangeraakt.

Ik vraag simpelweg wat de beste optie is. Toen ik mijn servertje opjnieuw opstartte was de situatie zoals ik deze omschrijf het resultaat.
quote:
Wat hield die "shutdown" in?

Ik zou --assemble proberen met force flag (--force / -f).

code:
1
sudo shutdown -P now

assemble al geprobeerd, dan krijg ik niets terug (ook incombinatie met --examine).

Voer commando in, duw op enter, en ik krijg gewoon niets terug. nog geen 0.01 seconden laten krijg ik weer een nieuwe regel om commandos op in te voeren.

Als mijn data nog te redden valt hoor ik 't graag :)

  • HarmoniousVibe
  • Registratie: september 2001
  • Laatst online: 21:11
Volgens jouw eigen reactie (waar ik in mijn vorige post naar linkte) heb je wel degelijk de eerste 512 bytes (ok, geen kbytes) van alle 4 de schijven gewiped. dd is een commando waarmee je gewoon rauw bitjes wegschrijft naar een schijf. En dat heb je nu uitgevoerd op de eerste 512b. Daar stond de MBR/GPT (partitietabel). Die is nu weg en dat heb je toch echt zelf gedaan. Dit is wat ik bedoelde met dat je wel een beetje moet proberen te snappen wat je doet. Blijkbaar snap je niet wat dd doet (zelfs niet ongeveer), maar toch pleur je het commando gewoon in de terminal.

Ook ben je erg onduidelijk in wat je wilt en vooral wat je hebt (had). Je wilt een mdadm raid5-array, zoveel is duidelijk, maar je vertelt niet waar je je huidige data hebt (had) staan en hoe je die wilde gaan migreren naar je array. Of dat je uberhaupt data had. Want daar gaat het al mis volgens mij. Ik, en met mij nog een aantal, waren in de veronderstelling dat de data die op de schijven stond gewoon weg kon. Anders hadden mensen jou echt niet aangeraden om op zo'n lompe manier je partitietabel te wipen. Je zegt ook zelf:
quote:
Ik sta op het punt om een raid5 array aan te maken met 4x2tb.
En je rept met geen woord over existing data. Sterker nog, één post verder voer je
mkfs.ext4 /dev/sdb1
uit. Hiermee heb je de inhoud van die partitie simpelweg geformatteerd. Niet vreemd dus dat die daarna weg is.

Als je zo casual een mkfs en een dd doet dan ligt het echt voor de hand om aan te nemen dat er geen data op die schijven staat die je nog wilde bewaren.

Als je niet meer hebt gedaan dan hier in dit topic is gedaan zou je een gedeelte van je data nog kunnen redden. Start fdisk en maak op elke schijf opnieuw een partitietabel aan die PRECIES gelijk is aan hoe deze eerst was voordat je rücksichtlos de partitietabel weggooide. Voeg vervolgens deze schijven weer toe aan je fstab en probeer deze te mounten. /dev/sdb1 is verloren, want daar je heb je een mkfs op uitgevoerd. Als je dat op meer partities hebt gedaan geldt dat ook daarvoor.

  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
Bijna.

Dit topic heb ik een tijdje geleden gestart, en toen begon ik inderdaad 'from scratch'. Geen data nog, en ik begon me in mdadm te verdiepen.

Nu maak ik in diezelfde thread een paar maanden later een post met 'ik heb een fout gemaakt'.

Dan heb ik dus al een paar maanden een raidarray draaien met data erop, en door in de verkeerde terminal een shutdown -P now te doen dus het geheel afgesloten. Toen ik de server de dag erna weer opstarten om te kijken wat de schade was, is het resultaat te zien in diezelfde post. (en de posts erna).

Ik heb zoals ik al eerder zei, sinds het her-opstarten van mijn servertje nog geen bits gewist. Niet met het verwijderen van superblocks en ook niet op andere wijzes.

We hebben het hier dus over 1 en dezelfde array die dus niet meer te vinden is onder /dev/md0 na het heropstarten. Geen data migratie dus :)

Al een stukje duidelijker?

[edit]
Omdat ik met niets begon kon ik die dd en mkfs prima uitvoeren, er was immers geen data op de schijven! Ik heb dan ook niets in die categorie nog gedaan. Alleen gepoogd assemble en dat soort suggesties gepoogd te volgen.

Ijstheefles wijzigde deze reactie 08-09-2012 13:32 (11%)


  • HarmoniousVibe
  • Registratie: september 2001
  • Laatst online: 21:11
Ah zo. Nu snap ik het. Ik had het verschil in tijd niet gezien. Excuses.

Heb je al geprobeerd te doen wat Nielson je aanraadde?

mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdd1 /dev/sdf1

Dat waren immers de componenten van je array. Niet /dev/sda zelf, maar /dev/sda1.

  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
HarmoniousVibe schreef op zaterdag 08 september 2012 @ 13:36:
Ah zo. Nu snap ik het. Ik had het verschil in tijd niet gezien. Excuses.

Heb je al geprobeerd te doen wat Nielson je aanraadde?

mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdd1 /dev/sdf1

Dat waren immers de componenten van je array. Niet /dev/sda zelf, maar /dev/sda1.

code:
1
2
3
mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdd1 /dev/sdf1
mdadm: cannot open device /dev/sda1: No such file or directory
mdadm: /dev/sda1 has no superblock - assembly aborted

Wat kan kloppen, als je namelijk kijkt naar mijn fdisk (geloof dat dat em was) dan zie je dat die partities om een of andere reden niet meer in /dev voorkomen.

Wat daar gebeurt is is me een groot raadsel ;x

  • CiPHER
  • Registratie: november 2000
  • Laatst online: 28-04-2017

CiPHER

Brute Force

Ja, omdat je ouderwetse partities gebruikte mag je nu op zoek naar de offset. Als je die uit je hoofd weet (63 sectors, 2048 sectors zijn standaard) kun je nog een gok wagen door deze partitietabellen aan te maken. Aangezien je toch al goede data aan het overschrijven bent, volg je absoluut niet de adviezen over veilige data recovery. Dat begint met een ruwe kopie maken van alle schijven zodat je het origineel niet kunt vern**ken. Maar daarvoor is het te laat.

Zou je de partitietruc proberen, dd dan even de huidige content naar een file? Dat kost je maar een aantal kilobyte ruimte maar dan kun je de schade weer terugdraaien mocht het niet helpen. Met de juiste partities op je schijven betekent dat /dev/sda1 naar de juiste disk offset wijst en dan maak je nog een kans om je data terug te vinden.

Wanneer ga jij jouw data beschermen? Kies voor ZFS!


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
CiPHER schreef op zaterdag 08 september 2012 @ 13:51:
Ja, omdat je ouderwetse partities gebruikte mag je nu op zoek naar de offset. Als je die uit je hoofd weet (63 sectors, 2048 sectors zijn standaard) kun je nog een gok wagen door deze partitietabellen aan te maken. Aangezien je toch al goede data aan het overschrijven bent, volg je absoluut niet de adviezen over veilige data recovery. Dat begint met een ruwe kopie maken van alle schijven zodat je het origineel niet kunt vern**ken. Maar daarvoor is het te laat.

Zou je de partitietruc proberen, dd dan even de huidige content naar een file? Dat kost je maar een aantal kilobyte ruimte maar dan kun je de schade weer terugdraaien mocht het niet helpen. Met de juiste partities op je schijven betekent dat /dev/sda1 naar de juiste disk offset wijst en dan maak je nog een kans om je data terug te vinden.
Al zou dit wel een goede oefening zijn; Er staat het volgende in je sig:

Je wil in 2012 gewoon een filesystem als ZFS als je data je lief is -sloth

Ik wilde toch al freebsd gaan leren.

Maar bedankt voor de hulp wederom :)

  • CiPHER
  • Registratie: november 2000
  • Laatst online: 28-04-2017

CiPHER

Brute Force

Is zeker een goede aanrader, maar daarmee krijg je niet je huidige data terug. Als je zegt zo belangrijk was die data niet, oke prima. Maar normaliter is je data toch iets belangrijker en is het verlies ervan gewoon enorm k#t. Dan zou ik het ook nog niet zo snel opgeven want zodra je je schijven gaat herformatteren en gebruiken is het natuurlijk definitief voorbij met recovery enzo.

Wanneer ga jij jouw data beschermen? Kies voor ZFS!


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
CiPHER schreef op zaterdag 08 september 2012 @ 14:08:
Is zeker een goede aanrader, maar daarmee krijg je niet je huidige data terug. Als je zegt zo belangrijk was die data niet, oke prima. Maar normaliter is je data toch iets belangrijker en is het verlies ervan gewoon enorm k#t. Dan zou ik het ook nog niet zo snel opgeven want zodra je je schijven gaat herformatteren en gebruiken is het natuurlijk definitief voorbij met recovery enzo.
Meh, dat wordt een herformat =P. Het was maar 2-2,5 maand download werk. Daar gaan we niet dood van.

  • Nielson
  • Registratie: juni 2001
  • Laatst online: 23:37
Dat valt gelukkig weer mee dan. Toch blijf ik het apart vinden dat door een keer onveilig afsluiten al je partities van de schijven zijn verdwenen. Misschien zou je eens met TestDisk kunnen kijken of die ze nog kan weervinden.

  • HarmoniousVibe
  • Registratie: september 2001
  • Laatst online: 21:11
Het is inderdaad wel heel vreemd dat ineens zomaar alle partitietabellen weg zijn. Dat is geen toeval.

Probeer inderdaad zoals Cipher zegt de partititabel exact te recreëren. Dat zou nog kunnen helpen.

Verder is ZFS zeker het beste FS wat er op dit moment beschikbaar is, maar je moet ook dat niet overschatten. Ook met ZFS ben je gewoon je array en daarmee in feite je data kwijt als op 4 van de 4 schijven je partitietabel naar de gort is.

HarmoniousVibe wijzigde deze reactie 08-09-2012 15:12 (62%)


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
HarmoniousVibe schreef op zaterdag 08 september 2012 @ 15:03:
Het is inderdaad wel heel vreemd dat ineens zomaar alle partitietabellen weg zijn. Dat is geen toeval.

Probeer inderdaad zoals Cipher zegt de partititabel exact te recreëren. Dat zou nog kunnen helpen.

Verder is ZFS zeker het beste FS wat er op dit moment beschikbaar is, maar je moet ook dat niet overschatten. Ook met ZFS ben je gewoon je array en daarmee in feite je data kwijt als op 4 van de 4 schijven je partitietabel naar de gort is.
Jop, en precies daarom denk ik erover om freenas te gaan draaien. Dan worden dat soort dingen voor je geregeld. Kloten in linux is geweldig, maar partitietabellen etc. gaan er wat te diep op in. Met als resultaat een leuk aantal TB data kwijt xP

  • Saturnus
  • Registratie: februari 2005
  • Niet online
Je moet iets gedaan hebben vooraf aan de shutdown wat de boel stuk heeft gemaakt.


Ik vermoed dat de partitietabel er zo uit komt te zien:
code:
1
2
3
4
# partition table of /dev/sda
unit: sectors

/dev/sda1 : start=  2048, size=3907027120, Id=fd

Als je het gecontroleerd hebt sla je dit op (sda.sfdisk) en schrijf je het naar de schijf:
code:
1
sfdisk --force /dev/sdc < sda.sfdisk

Steeds even het bestand aanpassen (2 maal sd*) en naar de juiste schijf sturen.

Daarna de boel even refreshen:
code:
1
partprobe /dev/sd*

En dan met fdisk -l kijken of er weer een partitietabel is.

Als dat zo is, kan je met mdadm verder.

Saturnus wijzigde deze reactie 08-09-2012 16:51 (13%)

AMD Ryzen 1700X | G.Skill Trident Z 3000MT/s | Asus Prime B350-Plus | Samsung 960 Evo


  • Nielson
  • Registratie: juni 2001
  • Laatst online: 23:37
In plaats van te gokken hoe het er uit gezien heeft kun je m.i. beter eerst een poging met TestDisk doen.

  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
Ben nu een raid6 array aan het maken (hou ik wel minder ruimte over, maar met mdadm kun je je array nog growen met een extra schijf. met zfs is dit moeilijker.

Weet wel dat ik morgen avond (duurt nl nog 18 uur) eerst een testje doe (na alle configs nog) even rebooten. Kijken of het dan nog werkt =P

" To be continued ... "

  • Saturnus
  • Registratie: februari 2005
  • Niet online
RAID6 met 4 schijven? Jammer van je ruimte. Het lijkt mij niet zinvol (met dit aantal schijven) omdat jij veel gevaarlijker bent voor je data dan hardwarecorruptie. Niet als sneer bedoelt, want zo was het hier ook een paar jaar terug.

AMD Ryzen 1700X | G.Skill Trident Z 3000MT/s | Asus Prime B350-Plus | Samsung 960 Evo


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
Saturnus schreef op zaterdag 08 september 2012 @ 20:00:
RAID6 met 4 schijven? Jammer van je ruimte. Het lijkt mij niet zinvol (met dit aantal schijven) omdat jij veel gevaarlijker bent voor je data dan hardwarecorruptie. Niet als sneer bedoelt, want zo was het hier ook een paar jaar terug.
Prfft.. ik haat mijn eigen wispelturigheid zo enorm eh.. af en toe >.<, raid5 is in the making (scheelt trouwens wel 500 minuten Oo)

  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
Ijstheefles schreef op zaterdag 08 september 2012 @ 20:06:
[...]


Prfft.. ik haat mijn eigen wispelturigheid zo enorm eh.. af en toe >.<, raid5 is in the making (scheelt trouwens wel 500 minuten Oo)
Oke, om het dit keer goed te doen:

Ik heb nu in /dev/md0 een raid5 array gemaakt. Deze is klaar voor gebruik.
mkfs.ext4 /dev/md0 al gedaan

mdadm --detail /dev/md0:
code:
1
2
3
4
5
6
7
8
9
Name : thuisservert:0  (local to host thuisservert)
           UUID : ca0e1f82:cb840485:d246502d:ae713012
         Events : 19

    Number   Major   Minor   RaidDevice State
       0       8        0        0      active sync   /dev/sda
       1       8       16        1      active sync   /dev/sdb
       2       8       48        2      active sync   /dev/sdd
       4       8       80        3      active sync   /dev/sdf

Zorgt ervoor dat ik het UUID weet.

Mdadm.conf:
code:
1
2
3
4
5
6
7
8
9
DEVICE /dev/sda /dev/sdb /dev/sdd /dev/sdf

CREATE owner=root group=disk mode=0660 auto=yes

HOMEHOST thuisservert

MAILADDR contact@mattijsroozeboom.nl

ARRAY /dev/md0 metadata=1.2 name=thuisservert:0 UUID=ca0e1f82:cb840485:d246502d:ae713012

Hoort metadata daar wel?

Als ik mdadm --detail --scan uitvoer komt ook die metadata naar voren nl.

Vervolgens:
code:
1
2
blkid /dev/md0
/dev/md0: UUID="ea94f8e6-7b9e-4011-b9fb-a72d471cb054" TYPE="ext4"

Huidige fstab:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    nodev,noexec,nosuid 0       0
# / was on /dev/sda1 during installation
UUID=998a46ba-eeae-4d95-9fd5-ad79784edfe0 /               ext4    errors=remount-ro 0       1
# swap was on /dev/sda5 during installation
UUID=d1965069-6a98-437c-a3dc-12452920a3ee none            swap    sw              0       0
UUID=ea94f8e6-7b9e-4011-b9fb-a72d471cb054 /home/ts/raidarray ext4 auto 0 0

Gezien het de vorige keer fout ging. Kan iemand bevestigen dat er nergens meer een fout zit? ;o

  • jan99999
  • Registratie: augustus 2005
  • Laatst online: 21:21
Raid 6 is beter, zeker als je in de toekomst meer schijven gaat toevoegen.
Hoe meer schijven, hoe groter de kans dat er iets fout gaat, dus bijv 2 schijven uitvallen.

En zoek hier eens op,
linux+raid+scrubbing
Dit is nodig bij software raid bij linux.

  • HarmoniousVibe
  • Registratie: september 2001
  • Laatst online: 21:11
quote:
jan99999 schreef op zondag 09 september 2012 @ 11:33:
Raid 6 is beter, zeker als je in de toekomst meer schijven gaat toevoegen.
Hoe meer schijven, hoe groter de kans dat er iets fout gaat, dus bijv 2 schijven uitvallen.

En zoek hier eens op,
linux+raid+scrubbing
Dit is nodig bij software raid bij linux.
Je kunt altijd nog live 'upgraden' naar raid6. Ik zou met twee schijven echt geen raid6 doen.

'Scrubben' gebeurt automatisch. Staat in de cron:

57 0 * * 0 root if [ -x /usr/share/mdadm/checkarray ] && [ $(date +\%d) -le 7 ]; then /usr/share/mdadm/checkarray --cron --all --idle --quiet; fi

  • DJ-Promo
  • Registratie: juli 2006
  • Laatst online: 20-04 17:52
0 8 0 0 active sync /dev/sda
1 8 16 1 active sync /dev/sdb
2 8 48 2 active sync /dev/sdd
4 8 80 3 active sync /dev/sdf

Is de sdc je os schijf ? Vind het een beetje raar zo.

https://steemit.com/@cryptoraspberry


  • Ijstheefles
  • Registratie: december 2011
  • Laatst online: 14-04 13:15
quote:
DJ-Promo schreef op zondag 09 september 2012 @ 11:42:
0 8 0 0 active sync /dev/sda
1 8 16 1 active sync /dev/sdb
2 8 48 2 active sync /dev/sdd
4 8 80 3 active sync /dev/sdf

Is de sdc je os schijf ? Vind het een beetje raar zo.
sdc en sde zijn 1tb schijven waarbij geloof ik sdc de OS schijf is.

Had het georganizeerder kunnen doen maargoed.

-----------------------

Ik ga gewoon rebooten. Kijken wat de schade dan is. Anders moet ik maar weer 500 minuten wachten tot die weer opnieuw ge-create is >.>

[edit]. Gereboot: werkt. Ik heb nu nog dezelfde array die automatisch wordt gemount.

Dank allen!

Ijstheefles wijzigde deze reactie 09-09-2012 15:03 (6%)


  • FireDrunk
  • Registratie: november 2002
  • Laatst online: 20-04 13:29
mdadm --scan --examine al eens geprobeerd?
Grmbl, stomme auto pagina systeem...

Mooi dat het werkt :)

FireDrunk wijzigde deze reactie 10-09-2012 09:37 (45%)

Even niets...

Pagina: 1


OnePlus 7 Microsoft Xbox One S All-Digital Edition LG W7 Google Pixel 3 XL OnePlus 6T (6GB ram) FIFA 19 Samsung Galaxy S10 Sony PlayStation 5

Tweakers vormt samen met Tweakers Elect, Hardware.Info, Autotrack, Nationale Vacaturebank, Intermediair en Independer de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2019 Hosting door True