[linux] extra drive toevoegen aan raid5

[Verwijderd]

Nu heb ik een nieuwe schijf van 80Gb gekocht en wil daarmee het bestaande raid5 uitbreiden.
Omdat fedora core 2 van mdadm gebruik maakt heb ik het volgende geprobeerd:

mdadm /dev/md0 --add /dev/hdh

maar het ding is nu een spare ipv. een active drive:

mdadm --examine /dev/hdh
/dev/hdh:
Magic : a92b4efc
Version : 00.90.00
UUID : 1a36033f:7e02e58c:db8b6933:9fcded68
Creation Time : Thu Aug 21 20:51:25 2003
Raid Level : raid5
Device Size : 78150656 (74.53 GiB 80.03 GB)
Raid Devices : 3
Total Devices : 4
Preferred Minor : 0

Update Time : Sat Nov 20 18:48:12 2004
State : clean, no-errors
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1
Checksum : 4251a78f - correct
Events : 0.213394

Layout : left-symmetric
Chunk Size : 32K

Number Major Minor RaidDevice State
this 3 34 64 3 spare /dev/hdh
0 0 33 0 0 active sync /dev/hde
1 1 33 64 1 active sync /dev/hdf
2 2 34 0 2 active sync /dev/hdg
3 3 34 64 3 spare /dev/hdh

Hoe maak ik /dev/hdh active zodat het een raid5 array is geworden met 4 active drives ?

[Freee!!]

Verwijderd schreef op zaterdag 20 november 2004 @ 18:53:
<knip>
Hoe maak ik /dev/hdh active zodat het een raid5 array is geworden met 4 active drives ?

Bij mijn weten kan dat niet. Heb je al eens hier gekeken

[Verwijderd]

Klinkt het vreemd als ik niet overtuigd ben dat het niet kan ?
eh
Klinkt het vreemd als ik ervan overtuigd ben dat het moet kunnen

[ Voor 38% gewijzigd door Verwijderd op 20-11-2004 19:10 ]

[Freee!!]

Verwijderd schreef op zaterdag 20 november 2004 @ 19:09:
Klinkt het vreemd als ik niet overtuigd ben dat het niet kan ?
eh
Klinkt het vreemd als ik ervan overtuigd ben dat het moet kunnen

De enige manier waarop het kan, is door de raid-configuratie af te breken en met de extra schijf erbij weer op te bouwen. Natuurlijk moet je daarbij wel eerst een backup maken van je gegevens, want die raak je kwijt bij het afbreken van de raid-configuratie.

EDIT:
Deze vraag hoort overigens in Opslagmedia & I/O Controllers

[ Voor 9% gewijzigd door Freee!! op 20-11-2004 19:17 ]

[Verwijderd]

De vraag hoort hier want dit gaat over de linux software RAID tool mdadm.

[pierre-oord]

Verwijderd schreef op zaterdag 20 november 2004 @ 19:21:
De vraag hoort hier want dit gaat over de linux software RAID tool mdadm.

Mee eens

Sterkte trouwens, software raid onder Linux is altijd een grote uitdaging. Vooral als je ervan wilt booten: Echt leuk, zodra je een plotselinge shutdown doet, gaat dat ding je array rebuilden, en doet tegelijk maar even e2fschk op ext2 (ext3 schijnt niet goed te zijn op raid had ik gelezen voor performance?). Dat nekt je systeem wel tijdens het opstarten, kan uren duren, enige oplossing is booten vanaf andere schijf, raid mounten, laten rebuilen en dan e2fsck doen uit m'n hoofd.

[smokalot]

Als je weet hoe raid5 werkt kun je begrijpen waarom dit niet kan (nou ja, heeeeel erg moeilijk is).

Je moet je voorstellen dat je blokken op filesystemniveau opsplitst in kleinere blokken, die dan naar een device geschreven worden. Als je 3 schijven hebt wordt het opgesplitst in 2 blokken, en de parity-bit wordt berekend en naar de 3e schijf gestuurd. Als jij nu opeens 4 schijven hebt moet je eerst het oorspronkelijke grote blok terughebben, waarna deze opgedeeld moet worden in 3 stukken.

Dus enige optie is de array afbreken en opnieuw bouwen.

Als je een hele dure RAID-controller hebt doet deze het werk voor je, wat je dus scheelt in gemak, maar hetzelfde proces moet toch gebeuren...

ik ben absoluut geen expert op raid-gebied, maar dit is wat ik ervan begrepen heb...

[DDX]

het kan wel
ik zou het persoonlijk niet aandurven (altijd kans dat data verlogen gaat en waarom heb je juist raid5 gekozen ?)

bestaat trouwens uit 2 stappen :

raid5 resizen (met raidreconfig)
filesystem resizen (met resize2fs)

[Verwijderd]

Ik heb het idee dat het in deze volgorde moet:

init 0
raidstop
raidreconfig
fsck
resize2fs
fsck
mount

Klopt dit een beetje ? Ik denk dat ik toch ook maar even de belangrijkste data naar een nfs mount backup
Weet iemand waar ik raidreconfig kan vinden?

[DDX]

ja klopt
hou er alleen wel rekening mee dat raidreconfig lang duurt
(ik heb tijden gelezen van 48h voor raid van 600gb te resizen)

http://unthought.net/raidreconf/

(met een paar mooie waarschuwingen dat het je eigen risico is ed )

[ Voor 18% gewijzigd door DDX op 21-11-2004 00:55 ]

[Verwijderd]

1 tot 2 dagen om te rebuilden ?
Dat is toch een onacceptabele downtime ?
Moet het rebuilden echt in single user mode, dus downtime ?
Als het niet in single user mode hoeft dan mag het best een tijdje duren.
Anders is het misschien toch handiger om in multi user mode te blijven en de hele raid set opnieuw te bouwen..

[Verwijderd]

Ik las overigens dat 'mdadm --grow' tegenwoordig al mogelijk schijnt te zijn voor raid 1. Maar nog niet voor raid 5 helaas.

[MikeN]

Verwijderd schreef op zondag 21 november 2004 @ 01:12:
1 tot 2 dagen om te rebuilden ?
Dat is toch een onacceptabele downtime ?

In productieomgevingen zou ik dan ook een paar honderd euro investeren in een fatsoenlijke raid controller

[DDX]

Verwijderd schreef op zondag 21 november 2004 @ 01:12:
1 tot 2 dagen om te rebuilden ?
Dat is toch een onacceptabele downtime ?
Moet het rebuilden echt in single user mode, dus downtime ?
Als het niet in single user mode hoeft dan mag het best een tijdje duren.
Anders is het misschien toch handiger om in multi user mode te blijven en de hele raid set opnieuw te bouwen..

al je data op de disk moet verplaatst worden
maargoed misschien als je het met beetje snelle disken doet dat het sneller gaat
maar reken op een aantal uren dat je bak bezig is
(raid5 rebuild is ook wel ff bezig bijvoorbeeld)

[Verwijderd]

Ik heb dus niet te optie om naar single user mode te gaan, alles moet online blijven.
Er zit dus niets anders op om het raid array te kopieren, af te breken en opnieuw te bouwen en de files weer terug te zetten.
Wat ik tot nu toe gedaan heb is gepoogd de raid5 array te kopieren naar een windows share. Dit is niet goed gelukt wat windows gebruikt hele andere filename conventies. Wat ik nu aan doen ben is de CryptoLoop howto aan het volgen om een filesystem in een grote file te maken met de uitzondering dat ik nu niet van encryptie gebruik ga maken.
Daarna zal ik een scriptje schrijven wat de established connections in de gaten houd zodat als er eventjes geen connecties meer in pijlsnel tempo de services gestopt worden, een laaste updateslag gedaan word, een unmount van de raid device, een mount van het unencrypted loopfs in de grote file op de windows samba share en de services weer gestart worden.. en als de raid build klaar is alles in de omgekeerde volgorde.

[ Voor 31% gewijzigd door Verwijderd op 24-11-2004 17:48 ]

[Verwijderd]

Grom ! De loopfs file op de samba share mag niet groter worden dan 2G !
Wat ga ik hier nu weer op verzinnen..

De windows samba share partitie converteren van FAT32 naar NTFS

..
Zelfs met NTFS 3.1 en 64K clustersize mag het niet
Het ligt dus aan Samba denk ik.

[ Voor 46% gewijzigd door Verwijderd op 25-11-2004 10:19 ]

[usr-local-dick]

De boel mag niet down zeg je.
Hoe heb je dan die extra schijf erbij gepropt vraag ik me dan af...

Anyway, wat ik zou doen:

Toch een keer downgooien en een firewire/usb2 kaart erin prikken.
Downtime ca. 5 minuten als je mazzel hebt.

Vervolgens hang je er een externe HD aan waar in ieder geval alles van je oude array op past. Dan maakt je een mooi rsync script wat de inhoud van je array kopieert naar een partitie op die externe disk.
Als je dat 1 keer gedraaid hebt heb je een mirror van je data.
Dan verander je het mountpoint in je smb.conf zodat het naar die externe disk verwijst. Daemons laten draaien. Script nog een keer draaien zodat de diff zo klein mogelijk is. Daemons stoppen. Script laatste keer draaien (je hebt nu een bit nauwkeurige backup inclusief uid/gid, timestamps etc alles dus.)
Gelijk zodra alles in sync is (hooguit 1 minuut, vaak enkele seconden), daemons weer starten (dus met nieuwe config).
Vervolgens bouw je je array weer op, maakt partities aan en rsynct de boel weer terug etc etc.

Volgens mij heb je hiermee:
ca. 5 minuten downtime voor kaart erin zetten.
twee keer ca. 30 seconden downtime voor samba share mountpoint verwisselen.
Die kaart laat je er uiteraard in zitten voor de volgende keer

PS het is niet zo handig om een server te hebben die *nooit* uit mag.
Wanneer moet je dan onderhoud doen etc?
Bijna alle servers die ik ken gaan wel eens down ?

[Verwijderd]

De boel mag wel even down, maar niet zolang als de tijd die je kwijt bent als je de services moet stoppen om de raidset te rebuilden. Ik ben ook niet van plan te investeren in USB/externe drives voor eenmalig gebruik..

[Vaudtje]

Verwijderd schreef op woensdag 24 november 2004 @ 17:51:
Grom ! De loopfs file op de samba share mag niet groter worden dan 2G !
Wat ga ik hier nu weer op verzinnen..

De windows samba share partitie converteren van FAT32 naar NTFS

..
Zelfs met NTFS 3.1 en 64K clustersize mag het niet
Het ligt dus aan Samba denk ik.

Heb je de Samba wel met de -lfs optie gemount?