RAID5 (software) wat gebeurt er bij 'verlies OS'

[Maxx]

Voor een home server denk ik aan een linux versie (mogelijk Ubuntu omdat ik beginner ben met Linux). Deze server zal RAID5 (4discs) krijgen en een losse OS-disc. Als 1 van de schijven van de array overleid kan ik de array rebuilden. Aangezien de raid zeer waarschijnlijk software wordt (kosten oogpunt) heb ik een vraag:

- Wat gebeurd er als de HDD, of andere hardware van de server waarop het OS staat stuk gaat. Of niet de hardware maar de software zelf vanwege gekluns van mijn kant oid corrupt raakt. Kan ik dan de RAID array nog redden, (als ik bv. na de volledige installatie als alles een IMAGE maak en deze terug zet, werkt het dan nog gewoon, en kan ik mijn data nog gewoon vinden? Of gaat de data dan ook terug naar het moment van Image maken, of werkt dat sowieso nooit omdat je nieuwe array moet builden?).

Ik heb geprobeerd google / forum search te gebruiken maar heb niets kunnen vinden over dit onderwerp, alleen met hardware controllers heb ik informatie kunnen vinden.

[ Voor 12% gewijzigd door Maxx op 24-05-2012 09:52 ]

[Snake]

Kan je praktisch gezien niet de RAID array aanmaken in de BIOS van het moederbord? Dat zou je eerste issue al oplossen. Dan rebuild je vanuit het RAID menu.

[Maxx]

De hardware die ik op het oog heb, (goedkope HP server oid, budget ca. 300,- (excl. discs)) ondersteunen alleen RAID 1, 0.
Daarom is vanaf de hardware RAID aanmaken niet mogelijk (in RAID 5). Teminste dat was mijn dode end, te duur om een controlle voor RAID5 te hebben, daarom dus naar software aan het kijken.

[Big Womly]

Hoe ga jij je OS installeren op die RAID5 array als je pas na installatie die array kan creëren?

[Maxx]

Soms zie je echt te simpel dingen over het hoofd, oke, dus het wordt een server met 1 OS disc (klein) en een 4disc array (RAID 5). Vraag verder blijft bijna hetzelfde, topic start aangepast voor duidelijkheid.

[ Voor 11% gewijzigd door Maxx op 24-05-2012 09:52 ]

[sjaakwortel]

Als de hdd waar de os op staat stuk gaat is die gewoon weg, je geeft immers aan dat het op een aparte niet redundante disk staat. Als je echter een backup image zou gebruiken en hem weer terug zet op een (nieuwe)andere disk dan zou je raid array ook gewoon moeten werken(zolang je de image maar maakt nadat je je raid array hebt opgebouwt). Of je kunt je os schijf ook in raid 1 zetten, dan kan er gewoon een schijf kapot gaan zonder problemen

[DataGhost]

Snake schreef op donderdag 24 mei 2012 @ 09:24:
Kan je praktisch gezien niet de RAID array aanmaken in de BIOS van het moederbord? Dat zou je eerste issue al oplossen. Dan rebuild je vanuit het RAID menu.

Nee, als het moederbord kapot gaat ben je harder de zak aangezien de arrays vaak niet werken op een ander moederbord (net iets andere methode, algemene onwil, etc). Het kan ondertussen veranderd zijn maar dat weet ik niet, ik vertrouw dat soort meuk sowieso niet en mdadm-raid biedt veel meer flexibiliteit.

Big Womly schreef op donderdag 24 mei 2012 @ 09:39:
Hoe ga jij je OS installeren op die RAID5 array als je pas na installatie die array kan creëren?

Boot-partitie zonder RAID (of RAID1). Met mdadm-raid kan je raid over partities doen, je hoeft geen volledige schijven te gebruiken. Wel zo flexibel, aangezien je doorgaans je boot op RAID1 zet (kan je booten als alle behalve 1 schijf mist), je swap ook op RAID1 (als er een schijf uitvalt heb je geen 'effectief kapot geheugen' en wordt je server niet alsnog keihard onderuit getrokken, wat je wel hebt zonder raid of met raid0 of iets anders wat geen loss kan tolereren) en je data op RAID5.
Oh, trouwens, de array kan je tijdens de installatie doorgaans gewoon aanmaken of daarvoor al.

edit:
Je kan trouwens ook de array na installatie maken en dan de bestanden van je OS-schijf naar de array kopiëren

Maxx schreef op donderdag 24 mei 2012 @ 09:02:
- Wat gebeurd er als de HDD waarop het OS staat stuk gaat (losse disc, of partitie op de array nog niet zeker)? (dit zijn mogelijk twee antwoorden? 1, als het op de array zelf staan, en 2 als ik een appart OS disc gebruik).

Dan werkt je OS niet meer, tenzij je je OS ook op RAID5/RAID1/RAID10 ofzo hebt gezet. Zoals ik hierboven al zei kan je booten vanaf RAID1 en je kernel zorgt daarna dat je array met je OS erop gestart wordt voordat init wordt aangeroepen. Je array zal veilig blijven aangezien de metadata bij de RAID-partities zelf wordt opgeslagen. Ik heb wel eens gezien dat je ongelofelijk gedoe kan hebben als de hostname van je machine verandert maar als je die hetzelfde houdt zal er geen probleem zijn.

- Of de software zelf vanwege gekluns van mijn kant oid corrupt raakt, kan ik dan de RAID array nog redden, (als ik bv. na de volledige installatie als alles een IMAGE maak en deze terug zet, werkt het dan nog gewoon, en kan ik mijn data nog gewoon vinden? Of gaat de data dan ook terug naar het moment van Image maken, of werkt dat sowieso nooit omdat je nieuwe array moet builden?).

Op zich een beetje hetzelfde als hierboven, zolang je je array niet sloopt kan je de rest eromheen kapot maken zoals je wilt. Een image maken zou ik van de *data* doen en niet van de array zelf, al was het alleen maar omdat je op een gemount filesystem een hoop problemen kan verwachten als je een 1:1-kopie doet, je kan dan beter gewoon de bestanden overnemen aangezien die doorgaans meer atomair geschreven worden. Daarnaast zou je ook een issue kunnen gaan hebben met dat je eigenlijk moet rebuilden als je array opeens op andere schijven staat (aangenomen dat je een offline 1:1-backup maakt met dd ofzo) maar dat weet ik niet zeker. Anyway, als je alleen je data backupt heb je ook nog eens minder ruimte nodig

Edit:

Maxx schreef op donderdag 24 mei 2012 @ 09:45:
Soms zie je echt te simpel dingen over het hoofd, oke, dus het wordt een server met 1 OS disc (klein) en een 4disc array (RAID 5). Vraag verder blijft bijna hetzelfde, topic start aangepast voor duidelijkheid.

Het kan dus wel makkelijk en ik kan het je ook aanraden, ik heb zelf m'n OS ook op m'n RAID5-array draaien en op een andere server in RAID10. Scheelt gewoon een hoop overbodig gepruts als je OS-schijf een keer doodgaat en je kan gewoon door blijven draaien. Helemaal met SATA, wat je gewoon kan hotswappen.

Array aanmaken kan je gewoon vanuit de installer doen als het goed is, je kan gewoon met alt+Fx naar een andere console en daar je ding doen. Let er wel even op dat je mdadm en de juiste modules op die cd hebt staan, een minimal installatiecd wil die nog wel eens achterwege laten. Merk je gauw genoeg als je het probeert te maken.

[ Voor 13% gewijzigd door DataGhost op 24-05-2012 10:08 ]

[Maxx]

Zoals ik zeg, erg onbekend in dit gebied, daaorm wat vragen of ik het goed begrijp.
1. Ik kan prima mijn 4 discs ook gebruiken voor het OS, je maakt een partitie op 1 disc, of een RAID 1 op 2 discs (2x partitie)(voor OS install), en met de overgebleven ruimte (partities, en schijven) bouw je de RAID5 array op voor de data.
2. De image wou ik juist maken 'buiten me os' om het OS, instellingen en de RAID gegevens ineen x terug te zetten als de server zelf stuk gaat. Op die manier kan ik bij een falen naast de RAID5 array als nog makkelijk alles weer terug zetten. Belangrijk is vooral dat als dit alles stuk gaat ik de RAID array nog wel kan aanspreken, en een andere server, andere OS install, lijkt me onmogelijk om de bestaande RAID array (5) te herkennen? Daarvoor leek me de Image van het OS noodzakelijk (incl. de software RAID5)?
Bij de 4 discs (Data array) is de redundancy de RAID5. Daarop staat mainly multimedia waarvan ik het het geld niet waard vind van een 1 op 1 back-up. En de belangrijke files krijgen een 1:1 Copy op een externe disc off-site.

[DataGhost]

Maxx schreef op donderdag 24 mei 2012 @ 10:09:
Zoals ik zeg, erg onbekend in dit gebied, daaorm wat vragen of ik het goed begrijp.
1. Ik kan prima mijn 4 discs ook gebruiken voor het OS, je maakt een partitie op 1 disc, of een RAID 1 op 2 discs (2x partitie)(voor OS install), en met de overgebleven ruimte (partities, en schijven) bouw je de RAID5 array op voor de data.

Ja. Ik heb zelf RAID1 met 4 partities voor /boot, GRUB geinstalleerd op elke schijf, zodat het niet boeit welke uitvalt. Daarna RAID10 voor swap en RAID5 voor OS+data. Als je er altijd voor zorgt dat maximaal 1 schijf uit valt, om je RAID5 niet kwijt te zijn, is een RAID1 met 2 schijven voor je /boot ook al genoeg maar dan ben je min of meer ruimte aan het weggooien. Je partities hoeven niet even groot te zijn voor mdadm-raid maar de grootte van de kleinste wordt gebruikt en de resterende ruimte op de overgebleven partities wordt genegeerd. Ik heb dan ook precies dezelfde partitieindeling op alle schijven aangehouden.

2. De image wou ik juist maken 'buiten me os' om het OS, instellingen en de RAID gegevens ineen x terug te zetten als de server zelf stuk gaat. Op die manier kan ik bij een falen naast de RAID5 array als nog makkelijk alles weer terug zetten.

Als je het OS en je data gewoon backupt, bestand-voor-bestand, met rechten, ownership enz intact, hoef je geen offline 1:1-kopie te maken van de schijven. Als je array echt faalt hoef je dan gewoon je bestanden terug te zetten (na het opnieuw maken van een/de array natuurlijk) en het werkt weer. Dat scheelt een hoop ruimte, aangezien je de ongebruikte ruimte niet ook backupt en heeft als voordeel dat je incremental backups kan maken.
Daarnaast moet je server ook echt down als je een backup "buiten je OS om" wilt maken, je gaat namelijk praktisch nooit op hetzelfde moment hetzelfde block van alle schijven backuppen. Het kan dan voorkomen dat, als je server nog up is, op schijf 1 blok x data y bevat en het na het backuppen van dat blok overschreven wordt met data z. Op het moment dat je dan schijven 2, 3 of 4 gaat backuppen is op minimaal 1 van die schijven je data van blok x "uit sync" en is na een restore je array en/of data kapot. Als je geen probleem hebt met hem down halen kan je het wel gewoon doen natuurlijk, dat zou volgens mij gewoon moeten werken.

Belangrijk is vooral dat als dit alles stuk gaat ik de RAID array nog wel kan aanspreken, en een andere server, andere OS install, lijkt me onmogelijk om de bestaande RAID array (5) te herkennen? Daarvoor leek me de Image van het OS noodzakelijk (incl. de software RAID5)?

In principe hoor je een mdadm-array gewoon op elke andere Linux-bak aan te kunnen spreken, zolang de juiste modules maar geladen zijn. Er zit verder niks magisch in je OS-partitie wat ervoor zorgt dat je array werkt behalve eventueel een config-file, hoewel arrays in principe automatisch gedetecteerd worden en je zo'n file dus niet gaat hebben. Er is volgens mij alleen iets met je hostname maar dat is een soort failsafe zodat 'ie niet automatisch een array gaat starten die je in een andere bak gepropt hebt. Meestal is dat namelijk omdat er met de originele machine iets mis is en dan doe je het liever handmatig

[VorCha]

Laat ik je uit mijn eigen ervaring vertellen. Een aantal maanden geleden crasht mijn WD NAS storage. Aparaat wil helemaal niet meer opstarten. Ik heb toen de disken eruit gehaald en aan nieuwe pc gekoppelt. Geboot met CentOS 6.2 Live DVD en ik kon de raid 5 partities gewoon mounten en de data was weer beschikbaar. Vervolgens heb ik CentOS op een usb stick geinstalleerd en heeft de pc een tijdje gedraaid als NAS. Maar na 2 maanden raakte de usb stick corrupt en wilde ook deze niet meer opstarten. (gelukkig had ik nu een rsync lopen met een andere machine voor de data).
Maar ook nu hoefde ik alleen maar een willekeurig linux os te starten om de raid 5 weer benaderbaar te maken. De linux software raid is wat mij betreft ontzettend portable.
Uiteindelijk heb ik ervoor gekozen om FreeNAS te gaan gebruiken en zijn de schijven een zpool raidz geworden. Binnenkort voeg ik er 2 x 1TB aan toe en maak ik er een 6 Disk raidz2 van.
(ja ik weet dat ik de zpool dan opnieuw moet aanmaken.)

Zoals hierboven al eerder aangegeven. Met een hardware raid oplossing loop je het risico dat je geen vervangende hardware kunt krijgen die de RAID config kan mounten/lezen. Linux Software RAID kent die limitatie eigenlijk niet.

[Maxx]

Ja. Ik heb zelf RAID1 met 4 partities voor /boot, GRUB geinstalleerd op elke schijf, zodat het niet boeit welke uitvalt. Daarna RAID10 voor swap en RAID5 voor OS+data.

Dus elke disc heeft een kleine partitie voor /boot & GRUB, in RAID 1, maar hoe kunnen deze in RAID 1 staan, de RAID moet toch onder de software (ook /boot) zitten?

Zoals ik het begrijp (probeer het bij te googlen), gebruik jij GRUB om de array(s) te builden, hoe kan GRUB /boot dan in een RAID1 zitten, als deze vanuit deze partitie gebouwt moet worden?
Net zoals ik niet zie hoe je in GRUB mdadm kan maken, dat is toch iets wat in de OS gebeurt?

EDIT nvm. zie je edit nu pas, in de installer kan je de array aanmaken, net zoals windows parties beheerd vanuit zijn installer. Volgens mij kan ik het ongeveer volgen nu, hartelijk dank.

[DataGhost]

Maxx schreef op donderdag 24 mei 2012 @ 10:54:
[...]


Dus elke disc heeft een kleine partitie voor /boot & GRUB, in RAID 1, maar hoe kunnen deze in RAID 1 staan, de RAID moet toch onder de software (ook /boot) zitten?

Bedenk nog eens wat RAID1 is. De bootloader hoeft het alleen maar te *lezen*, schrijven doe je onder het OS dus daar is er geen probleem.

Zoals ik het begrijp (probeer het bij te googlen), gebruik jij GRUB om de array(s) te builden, hoe kan GRUB /boot dan in een RAID1 zitten, als deze vanuit deze partitie gebouwt moet worden?
Net zoals ik niet zie hoe je in GRUB mdadm kan maken, dat is toch iets wat in de OS gebeurt?

Ik gebruik GRUB niet om arrays te builden, ik heb GRUB gewoon op alle schijven geinstalleerd (gebruik makend van dezelfde partitie dus) zodat het niet uitmaakt vanaf welke schijf geboot wordt. GRUB weet verder niks van RAID en dat hoeft ook niet, de kernel doet dat (en die staat in /boot)

[Zaggy]

Flauwe vraag misschien DataGhost maar kun je je huidige setup uittekenen?
De keuzes van de verschillende RAIDs voor de partities snap ik maar hoe je het dan verdeeld over de schijven..

[matthijsln]

Maxx schreef op donderdag 24 mei 2012 @ 10:54:
[...]
EDIT nvm. zie je edit nu pas, in de installer kan je de array aanmaken, net zoals windows parties beheerd vanuit zijn installer. Volgens mij kan ik het ongeveer volgen nu, hartelijk dank.

Hier nog een filmpje dat ik heb gemaakt van de Ubuntu installer met ongeveer deze setup (booten van RAID1, zonder RAID5 maar die kan je er zo bij bedenken).

Dit filmpje heb ik gemaakt in een VM, die ik toch al had gemaakt om te testen of het allemaal werkt wanneer je een virtuele schijf verwijderd etc. Het klopt inderdaad dat grub dan gewoon boot

[ Voor 26% gewijzigd door matthijsln op 24-05-2012 16:07 ]

[DataGhost]

Zaggy schreef op donderdag 24 mei 2012 @ 15:45:
Flauwe vraag misschien DataGhost maar kun je je huidige setup uittekenen?
De keuzes van de verschillende RAIDs voor de partities snap ik maar hoe je het dan verdeeld over de schijven..

Heel straightforward eigenlijk...

code:

 sda   sdb   sdc   sdd
.---. .---. .---. .---.  <-- GRUB (4x)
| 1 | | 1 | | 1 | | 1 |  /boot, RAID1
|---| |---| |---| |---|
| 2 | | 2 | | 2 | | 2 |  swap, RAID10
|   | |   | |   | |   |
|---| |---| |---| |---|
| 3 | | 3 | | 3 | | 3 |  /tmp, RAID10
|   | |   | |   | |   |
|---| |---| |---| |---|
| 4 | | 4 | | 4 | | 4 |  /, RAID5
|   | |   | |   | |   |
|   | |   | |   | |   |
  .     .     .     .
  .     .     .     .
  .     .     .     .
|   | |   | |   | |   |
`---' `---' `---' `---' 


# fdisk -l /dev/sda
Disk /dev/sda: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders, total 2930277168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *          63      401624      200781   fd  Linux raid autodetect
/dev/sda2          401625     8418059     4008217+  fd  Linux raid autodetect
/dev/sda3         8418060    16434494     4008217+  fd  Linux raid autodetect
/dev/sda4        16434495  2930272064  1456918785   fd  Linux raid autodetect

# cat /proc/mdstat 
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
md1 : active raid10 sdd2[3] sdb2[1] sdc2[2] sda2[0]
      8016128 blocks 64K chunks 2 far-copies [4/4] [UUUU]
      
md2 : active raid10 sdd3[3] sdb3[1] sdc3[2] sda3[0]
      8016128 blocks 64K chunks 2 far-copies [4/4] [UUUU]
      
md3 : active raid5 sdd4[3] sdb4[1] sdc4[2] sda4[0]
      4370755968 blocks level 5, 128k chunk, algorithm 2 [4/4] [UUUU]
      
md0 : active raid1 sdd1[3] sdb1[1] sdc1[2] sda1[0]
      200704 blocks [4/4] [UUUU]
      
unused devices: <none>

En dus gewoon elke schijf qua partitietabel identiek gehouden, dat is het meest logisch ook vind ik.

[Zaggy]

Thanks!

Wat is het verschil tussen 1 losse OS schijf + 4 disk data array ivm jouw setup?
Meer ruimte vs performance?

[ Voor 88% gewijzigd door Zaggy op 25-05-2012 11:02 ]

[DataGhost]

Euh, zeg dat je voor je OS max 20GB inlevert op een array met een effectieve grootte van 4,5TB. Daarnaast heb je met een losse disk geen redundancy natuurlijk.

[sjaakwortel]

DataGhost schreef op vrijdag 25 mei 2012 @ 11:10:
Euh, zeg dat je voor je OS max 20GB inlevert op een array met een effectieve grootte van 4,5TB. Daarnaast heb je met een losse disk geen redundancy natuurlijk.

Hij wil dus een software raid 5 array maken, dat kan natuurlijk niet als je windows als op een schijf hebt staan.

[Zaggy]

Ben wel van plan om Linux te gebruiken, de flexibiliteit van mdadm vergeleken met hardware RAID is erg interessant!