beste manier mdadm device partitioneren?

[jayvol09]

Heb gister voor het eerst een raid array gemaakt met mdadm op xubuntu. Nu heb ik een device genaamd md0 dat een raid5 array is bestaande uit 5 schijven (sda, sd[c-f].). Array is enkel voor opslag, het OS zit dus op een andere schijf (sdb). Array grootte is 6TB (5x1,5TB raid5).

Nu lees ik dat md_d0 standaard notatie is voor partioneerbare arrays. Ik heb denk ik dus de mdadm --create command opties niet volledig benut, want mijn device heet md0. Echter ik lees dat men zo een device gewoon als een schijf kan benaderen/mounten/formateren, dus ik denk ook partitioneren.
Nu heb ik deze md0 met cfdisk gepartitioneerd, 4 primary partities (4TB, 1TB, 1/2TB, 1/2TB). Reboot.

Opeens stond md_d0 ook bij /dev/, net als md0 en de partities md0p1,...,md0p4. Config file gecheckt en aangepast zodat array md_d0 bestaat uit dezelfde devices als md0 oorspronkelijk. mdadm --assemble --scan gedaan, hij moest sdf rebuilden (waarschijnlijk door mn crappy partitiekunsten) en daarna weer gereboot.

Nu geeft status checker commando "mdadm -D" voor /dev/md0 dezelfde array data (ook zelfde creatie tijdstip en zelfde UUID) als /dev/md_d0.
Ik kan partities md0p[1-4] wel nog gewoon mounten.

Vraag: Kan ik dit zo laten of zal ik een nieuwe array maken waarbij ik expliciet aangeef dat deze gepartitioneerd moet worden en dus md_d0 formaat krijgt? Het is nu denk ik alsof md_d0 een softlink is van md0. Maar hij maakt geen softlinks van de partities md0p[1-4]

[ Voor 8% gewijzigd door jayvol09 op 06-12-2009 01:53 ]

[Rio6000]

ik heb nu al bijna 2 jaar raid's gebruikt een keer raid 0 en al een aantal keer raid 10. Maar ze hebben altijd gewoon md0 bij mij geheten...
volgens mij kan het geen kwaad maar je kan kijken wat de disk manager doet van ubuntu. palimpsest ofzo heette die dacht ik.

[Saturnus]

Hier 1.5 jaar op md0 (OS) en md1 (data).
Dat md_xx formaat dat je noemt heb ik nog nooit van gehoord.
Hier is het zelfs zo dat op de schijven sda en sdb beide 3 partities (sda1-3, sdb1-3) staan die samen RAID1 vormen. (sda3 + sdb3 zijn swap).

[jayvol09]

Het staat in "man mdadm"
Dus saturnus, ik neem aan dat md0 de RAID1 is die je noemt, heb je md0 na het vormen v/d array gepartitioneerd, of had je al 1 of 2 schijven met 3 partities toen je deze array creërde. Ik heb het eerste namelijk gedaan (moet wel bij raid5) en toen verscheen bij reboot md_d0. md0 en bijbehorende partities bleven echter ook bestaan. Dus toen ik dat over de naam format las in de manual maakte ik me zorgen of t wel goed gaat.

[Saturnus]

Ik heb het dus (had je vast al door) eerst gepartitioneerd. Alles is trouwens RAID1. Dit is zo ingesteld bij de installatie.
Onder andere https://help.ubuntu.com/c...e+raid&titlesearch=Titles leert het zo.
Echter, achteraf gezien had ik wel beter /boot op een aparte partitie kunnen zetten gezien die toch nooit in een (toekomstige) RAID5 array mag/kan.

Maar goed, beetje offtopic. Jij hebt dus al een installatie op een ander device draaien.

Helaas ben ik geen linux expert maar ik kan mij bijna niet voorstellen dat de naam echt uitmaakt. Sda en hda worden meestal gebruikt voor individuele partities, maar iets anders is ook geen probleem.

Man mdadm:

Device Names

While entries in the /dev directory can have any format you like, mdadm has an understanding of 'standard' formats which it uses to guide its behaviour when creating device files via the --auto option.

Dit wordt gevolgd door

The standard names for non-partitioned arrays (the only sort of md array available in 2.4 and earlier) either of

/dev/mdNN
/dev/md/NN
where NN is a number. The standard names for partitionable arrays (as available from 2.6 onwards) is one of
/dev/md/dNN
/dev/md_dNN
Partition numbers should be indicated by added "pMM" to these, thus "/dev/md/d1p2".

Dit begrijp ik dan niet helemaal (non-partitioned arrays versus partitionable arrays), maar als ik het goed begrijp geld dit ook alleen maar als je van die --auto optie gebruik maakt.

Heb je trouwens van die --auto optie gebruik gemaakt? Anders vind ik het wel vreemd dat hij opeens die symlink (zie ook man mdadm) gemaakt heeft.

[ Voor 4% gewijzigd door Saturnus op 06-12-2009 20:55 ]

[Borromini]

Ik heb hier md0 en md1 gehad, resp. RAID 0 en 5. Gewoon creëren/assemblen met mdadm, boeltje formatteren en

mount /dev/md0 /media/data

.

En gaan met die banaan

[jayvol09]

ja maar het leek mij handig om md0 dus op te delen in md0p1, md0p2, md0p3 en md0p4. Zo kan ik evt andere filesystems gebruiken voor andere networkshares, ook door de filesystems op te delen heb je bij beschadiging van een filesystem alleen kans dat je data op die partitie kwijt raakt en niet alles.

Algemene Procedure:
mdadm create raid5 [harde schijven]
cfdisk/fdisk/parted gebruiken om partities te creëren
mkfs -t ext3 (voor md0p1 t/m md0p4) om filesystems te maken op partities
/dev ziet er goed uit: md0 - md0p1 - ... - md0p4 aanwezig, mounten/unmounten partities lukt
reboot
/dev heeft een nieuwe inwoner: md_d0
kreeg md0 en partities niet gemount: geen block device error
kwam er eindelijk achter, moest assemblen: mdadm assemble /dev/md0
status check van md0 ziet er goed uit
status check van md_d0 ziet er bijna tzelfde uit
reboot
nu hoef ik niet meer te assemblen, kan gewoon device partities mounten alles lijkt te werken, maar md_d0 staat er nog steeds.

thx voor de feedback saturnus. Ik denk dat t wel veilig rebuild mocht er iets stuk gaan. Auto optie niet gebruikt, maar bij create md0 als naam opgegeven ipv md_d0
Ik mis zfs

[ Voor 3% gewijzigd door jayvol09 op 06-12-2009 21:15 ]

[Verwijderd]

jayvol09 schreef op zondag 06 december 2009 @ 21:05:
ja maar het leek mij handig om md0 dus op te delen in md0p1, md0p2, md0p3 en md0p4.

Wat veel handiger is om lvm2 in combinatie met je raid array te draaien. Dan kan je growen, shrinken, lv's aanmaken/weggooien enzovoort enzovoort.

[jayvol09]

growen en shrinken kan ik nu toch ook. Nu ben ik alleen van mdadm afhankelijk, hoef er niet nog een programma tussen te gooien die ik niet ken

[ Voor 7% gewijzigd door jayvol09 op 06-12-2009 23:27 ]

[Lex_brugman]

Wat ik zelf zou doen (en ook doe ) is meerdere non-partitioned raid devices maken, voor elke partite een nieuwe mdx device (en dus een raid array). Hiermee ben je bijvoorbeeld ook minder kwetsbaar voor schijffouten, als er bijvoorbeeld op 2 schijven op een stukje dat onder 1 mdx device valt een fout optreed is die raid5 'kapot', maar de overige blijven dan gewoon intact.
Het is dus eigenlijk zelfs verstandiger om hem in zoveel mogelijk kleine stukjes op te delen , met als bijkomend voordeel dat je ook nog eens meerdere raid levels door elkaar kan gebruiken (/boot op raid1 bijvoorbeeld ivm compatibiliteit bootloader)

EDIT:
mijn indeling:

code:

~ $ grep md /etc/fstab                
/dev/md0                                /boot                   ext2            noauto,noatime                                                          1 2
/dev/md2                                /                       ext4            noatime,errors=remount-ro                                               0 1
/dev/md3                                /home                   ext4            noatime,errors=remount-ro                                               0 1
/dev/md1                                none                    swap            sw,pri=1                                                                0 0
/dev/md4                                /data                   ext4            noatime,errors=remount-ro                                               0 2
 ~ $  cat /proc/mdstat                                                                                                                                                                                                            
Personalities : [raid1] [raid6] [raid5] [raid4]                                                                                                                                                                                              
md1 : active raid5 sdd5[1] sdb5[2] sdc5[0] sda5[3]                                                                                                                                                                                           
      1108032 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]                                                                                                                                                                            
                                                                                                                                                                                                                                             
md2 : active raid5 sdd6[1] sdb6[2] sdc6[0] sda6[3]                                                                                                                                                                                           
      94389504 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]                                                                                                                                                                           
                                                                                                                                                                                                                                             
md3 : active raid5 sdd7[1] sdb7[2] sdc7[0] sda7[3]                                                                                                                                                                                           
      188779392 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

md4 : active raid5 sdd8[1] sdb8[2] sdc8[0] sda8[3]
      1180752960 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

md0 : active raid1 sdd1[1] sdb1[2] sdc1[0] sda1[3]
      40064 blocks [4/4] [UUUU]

unused devices: <none>

[ Voor 86% gewijzigd door Lex_brugman op 06-12-2009 23:35 ]

[jayvol09]

Dat is wel iets meer werk met partitioneren en als 1 schijf crasht is je systeem bezig met t rebuilden van bv 20 devices? Maak ik liever op 1 device meerdere partities, lijkt me robuuster. Ik snap ook niet hoe 'een stukje' van een schijf stuk kan gaan. Tis of alles of niets, anders praat je over datacorruptie, en daar gaat mijn methode hetzelfde mee om.

[Lex_brugman]

Nou, als je bijvoorbeeld een raid5 met 4 devices hebt en 2 van die schijven gaan vervelend doen (slechte sectoren) en worden uit de raid array geschopt dan mag je van mij aannemen, die raid5 (+de partities erop met jouw oplossing) werkt niet meer .
En 20 is een beetje overdreven, zoals je kan zien zit ik op 5, en dat is prima te overzien wat mij betreft.

[ Voor 5% gewijzigd door Lex_brugman op 06-12-2009 23:51 ]

[Verwijderd]

jayvol09 schreef op zondag 06 december 2009 @ 23:25:
growen en shrinken kan ik nu toch ook. Nu ben ik alleen van mdadm afhankelijk, hoef er niet nog een programma tussen te gooien die ik niet ken

..........

Lees dit eens rustig door: http://tldp.org/HOWTO/Software-RAID-HOWTO-11.html#ss11.1

[jayvol09]

Nou, als je bijvoorbeeld een raid5 met 4 devices hebt en 2 van die schijven gaan vervelend doen (slechte sectoren) en worden uit de raid array geschopt dan mag je van mij aannemen, die raid5 (+de partities erop met jouw oplossing) werkt niet meer .
En 20 is een beetje overdreven, zoals je kan zien zit ik op 5, en dat is prima te overzien wat mij betreft.

Als een raid5 array verloren gaat na beschadiging van 2 verschillende schijven betekent het dat ik raid6 had moeten nemen
Als bij jou 2 fysieke schijven eruit vliegen zullen je raid5 devices ook onbruikbaar worden. Maar je bedoelde een deel van een schijf.
Je impliceert daarmee dan dat als een deel van een schijf beschadigd is, dat de schijf voor de rest gewoon normaal blijft werken? Dat wist ik niet...

Klopt 20 was maar een voorbeeld, 5 is toch 5 keer zoveel devices rebuilden, rebuild is al stressvol dacht ik. Ik moet er over nadenken beide methoden hebben hun voordeel.

& thx for the link stacheldracht

[ Voor 25% gewijzigd door jayvol09 op 07-12-2009 00:01 ]

[Lex_brugman]

Verwijderd schreef op zondag 06 december 2009 @ 23:58:
[...]


..........

Lees dit eens rustig door: http://tldp.org/HOWTO/Software-RAID-HOWTO-11.html#ss11.1

Sinds de 2.6.28 kernel kunnen md devices wel gewoon gepartitioneerd worden, maar ik zie daar dus geen voordeel in .

[Lex_brugman]

jayvol09 schreef op zondag 06 december 2009 @ 23:59:
[...]
Je impliceert daarmee dan dat als een deel van een schijf beschadigd is, dat de schijf voor de rest gewoon normaal blijft werken? Dat wist ik niet...

Slechte sectoren zijn/beginnen plaatselijk, op zo een moment treed er dan een schrijffout op op een partitie, die partitie zit bijvoorbeeld in /dev/md3, die partitie word dan alleen uit /dev/md3 geschopt en de overige raid devices die andere partities op dezelfde fysieke schijf gebruiken merken daar dan niets van.

jayvol09 schreef op zondag 06 december 2009 @ 23:59:
Klopt 20 was maar een voorbeeld, 5 is toch 5 keer zoveel devices rebuilden, rebuild is al stressvol dacht ik. Ik moet er over nadenken beide methoden hebben hun voordeel.

Als je md devices physical devices deelt houd hij daar rekening mee en gaat dan sequentieel rebuilden ipv parallel. En daarbij hoeft hij meerdere kleine volumes te rebuilden ipv 1 grote, dus qua tijd zal het niet eens veel schelen .

[ Voor 21% gewijzigd door Lex_brugman op 07-12-2009 00:09 ]

[Verwijderd]

Verwijderd schreef op zondag 06 december 2009 @ 22:25:
[...]


Wat veel handiger is om lvm2 in combinatie met je raid array te draaien. Dan kan je growen, shrinken, lv's aanmaken/weggooien enzovoort enzovoort.

Wat Stacheldraht zegt. LVM is altijd het meest flexibele (onder Linux dan) wat je kan gebruiken. Dus mdadm+lvm.

[Lex_brugman]

Verwijderd schreef op maandag 07 december 2009 @ 00:09:
[...]


Wat Stacheldraht zegt. LVM is altijd het meest flexibele (onder Linux dan) wat je kan gebruiken. Dus mdadm+lvm.

Dat zou het enige voordeel zijn van 1 grote raid device, maar dan alleen als je dus met enige regelmaat met volumes zit te schuiven.

[jayvol09]

uit de link:

If a RAID device could be partitioned, the administrator could simply have created one single /dev/md0 device device, partitioned it as he usually would, and put the filesystems there.

Dit kon dus volgens de bron die ik handhaafde tijdens creatie van mn array wel. Lex bevestigt dit gelukkig

Na alles gelezen te hebben in die link blijf ik erbij dat lvm te complex is om te gebruiken voor de voordelen die het biedt. Resizing en schijven toevoegen zijn non-issues geworden en om lvm te gebruiken om een keertje minder te rebooten vind ik t ook niet waard, toch bedankt.

De ouderwetse methode van Lex lijkt t meest robuust. Maar ik vind 1 device maken en dan partioneren makkelijker/minder werk, ext3 schijnt veilig te zijn dus volgens mij hoef ik me niet teveel zorgen te maken. Al had ik toch liever zfs

[ Voor 45% gewijzigd door jayvol09 op 07-12-2009 00:33 ]

[Lex_brugman]

jayvol09 schreef op maandag 07 december 2009 @ 00:14:
[...] Al had ik toch liever zfs

Straks btrfs als 1.0 uit is!

[Saturnus]

Ah kijk nu is het een nog interessanter topic.
Op dit moment shrinken en growen hier 2 schijven (via gparted op een live cd). Morgen als ik wakker wordt heb ik waarschijnlijk uiteengevallen raid-arrays (als het al niet erger is), maar dat zien we dan wel weer.
Reden is het naar voren halen van de swap. Die had ik helemaal achteraan staan op een stuk waar het 40MB/s is.

Thanks to Lex_brugman snap ik nu ook dat 'partities koppelen als raid in md' versus 'schijven koppelen als raid in md.'
Die kernel versie moet de reden zijn dat ik niet voor die 2e optie kon kiezen bij de install. (En gelukkig maar.)

Los van dat LVM (waarin ik nog moet inlezen) vraag ik mij af...
Bij optie 1 (md bestaande uit 2 partities) kan je dan in 1x via gparted die shrinken/growen?
In theorie zou dat bij optie 2 sowieso moeten kunnen want als je een partitie aanpast wordt dit door RAID doorgevoerd naar andere schijven denk ik...

offtopic:
mdadm geeft hoofdpijn...snel slapen.

[jayvol09]

Ja zeker interessant als je nieuw bent zoals ik vorige maand wist ik alleen dat C: een primary partition was, bij unix leer je tenminste dingen
gparted laat je alleen de devices (sdx) zien, bij mij in ieder geval, moet het maar zonder gui doen^^. Je moet eerst je filesystem shrinken en dan pas kan je de partitie shrinken geloof ik. Andersom voor growen lijkt me.

Als je alle partities van een "partitie-array" shrinkt/growt zou je je array device zo kunnen manipuleren lijkt me, evt nog een mdadm command om alles weer op orde te krijgen. Het lijkt mij dat je de array eerst moet stoppen voordat je aan de slag kan met de onderdelen ervan. Maar het zou me ook niet verbazen als t niet werkt als je partities intern helemaal overhoop worden gehaald door een grow/shrink dan herkent ie je array-structuur misschien niet meer. Bij raid1 lijkt me die risico minder van toepassing.

[ Voor 29% gewijzigd door jayvol09 op 07-12-2009 02:56 ]

[Verwijderd]

Ik begrijp iets niet LVM is de meest gebruikte methode voor dit soort dingen en zeer betrouwbaar. LVM bestaat al sinds 1998 terwijl het partitioneren van Raid devices pas sinds kernel 2.6.28 mogelijk is. Ik zou mijn data liever aan LVM toevertrouwen dan aan de vrij nieuwe mogelijkheid om Raid devices te partioneren.

Verder is LVM beslist niet moeilijk: http://www.howtoforge.com/linux_lvm

[Saturnus]

Daarvoor moet je LVM natuurlijk wel snappen. Ten tijde van de installatie had ik geen flauw idee wat het was, dus dan maakt het je weinig uit of je het mist of niet.

Nu wordt ik echt met verbazing wakker...17 uur resterend voor het growen van partitie 1/2...als dat komt omdat de snelheid van een hdd lineair afneemt gaat dan nog meer worden ook en dat terwijl hij op 262/688 is. Ongelooflijk zeg, waar ben ik aan begonnen. Het cancel knopje begint wel erg interessant te worden, maar of de boel dan nog fatsoenlijk draait...

[jayvol09]

Ik zou mijn data liever aan LVM toevertrouwen dan aan de vrij nieuwe mogelijkheid om Raid devices te partioneren.

Geen verschil in betrouwbaarheid, wel in gebruik. LVM ziet een raid device als een VG en kan er LV's aan toekennen die je kunt mounten (als ik de termen goed heb). Tegenwoordig kan het ook zo zonder abstractie, dus waarom niet^^

[Verwijderd]

LVM ziet een raid device als een PV

Maar kan jij zonder LVM

- online growen
- online shrinken
- online parities (LV) aanmaken
- online partites (LV) snapshotten
- online partites (LV) verwijderen

Verder is het zo omdat LVM zo flexibel is dat het default gebruikt wordt onder Red Hat Enterprise Linux en Fedora. Start Anaconda maar eens op

[jayvol09]

Ok, in mijn geval is de PV de VG, omdat ik maar 1 PV heb.
Ik snap ook wel dat er vraag naar kan zijn, zeker met meerde PVs. Snapshots zijn ook handig. Maar inderdaad voor mij, een gewone thuisgebruiker, niet echt nodig.
Online weet ik niet wat je precies bedoelt, ik denk unmounten voordat je kan manipuleren, maar staat toch alleen data op de array dus dat is geen probleem. Shrinken, growen, aanmaken en verwijderen lukt idd ook met mdadm device partities.

[Saturnus]

Online bedoelt hij volgens mij mee dat je terwijl het OS draait en allerhande devices gemount (en in gebruik) zijn je gewoon rustig kan vergroten, verkleinen enz enz.
Dat heb ik zoooo nodig nu. Ik mag tot woensdagmiddag gaan wachten voordat ik weer toegang heb tot alle data.

[jayvol09]

Ok dacht ik wel zoiets. gelukkig hoef ik nooit met mn OS & home partities te prutsen dan^^ anders moet ik idd een livecd gebruiken ofzo.

[ Voor 20% gewijzigd door jayvol09 op 07-12-2009 18:27 ]

[Verwijderd]

Saturnus schreef op maandag 07 december 2009 @ 17:44:
Online bedoelt hij volgens mij mee dat je terwijl het OS draait en allerhande devices gemount (en in gebruik) zijn je gewoon rustig kan vergroten, verkleinen enz enz.

Inderdaad dat bedoel ik ermee

Saturnus schreef op maandag 07 december 2009 @ 17:44:
Dat heb ik zoooo nodig nu. Ik mag tot woensdagmiddag gaan wachten voordat ik weer toegang heb tot alle data.

Volgende keer toch maar lvm gebruiken

[Saturnus]

Verwijderd schreef op maandag 07 december 2009 @ 19:26:
[...]


Volgende keer toch maar lvm gebruiken

Niets tegen LVM hoor maar de reden dat ik resize is dat ik 9 maanden terug gek genoeg zo dom was om de swap achteraan op de HDD te plaatsen... Precies waar dat ding zijn minimale snelheid heeft.
Waarschijnlijk ga ik nog 1x iets resizen via de live cd om zo /boot buiten de rest te slepen of het wordt een compleet nieuwe installatie met een HDD voor OS + (deels) data backup oid.
Dus LVM is niet nodig ervanuit gaande dat ik nu wel slim genoeg ben de 'prefecte' setup te maken.
Aan de andere kant...over een paar jaar schijf voor schijf vervangen (mochten alle channels vol zijn) en dan gewoon growen is wel relaxed...

[ Voor 10% gewijzigd door Saturnus op 07-12-2009 23:39 ]

[MisterE]

Saturnus schreef op maandag 07 december 2009 @ 19:36:
[...]

Niets tegen LVM hoor maar de reden dat ik resize is dat ik 9 maanden terug gek genoeg zo dom was om de swap achteraan op de HDD te plaatsen... Precies waar dat ding zijn minimale snelheid heeft.

Dat topic heb ik toen ook gezien. En ik vraag me af of het echt wel nut heeft. In een goede setup gebruik je je swap space niet, tot nauwelijks. Het verlies in snelheid lijkt me dan ook verwaarloosbaar.

Op http://www.hardware.info/...e/index.php/t-160979.html staat het trouwens net andersom. Daarbij vraag ik me af of het in de praktijk echt veel uitmaakt.
ps: als ik me niet vergis deed debian ook de swap achteraan aanmaken, dit zal dan waarschijnlijk ook om die reden zijn...