HW of SW RAID 5 ivm toekomstige vergroting van LVs ?

[The_Big_Easy]

Ik ben bezig een nieuwe fileserver uit te rollen met 2 dual core opterons en 8 146GB 10krpm SAS disken. Met deze 8 disken zijn ook alle disk bays bezet. Het systeem heeft verder een hardware raid (1, 1+0 en 5) controller met een 256MB battery-back write cache. Het systeem zal o.a. als fileserver gebruikt worden en er zullen ook wat virtual servers op draaien. Het OS zal RHEL 5.1 zijn.

Nu vraag ik me af hoe ik het beste mijn filesystem kan opzetten, ik wil nl wel in de toekomst, ondanks dat nu alle diskbays bezet zijn, mijn filesystem kunnen extenden. Ik dacht zelf aan het volgende:

Een 100MB raid1 partitie voor /boot, bestaande uit 3x 100MB van de eerste 3 disken en de rest van deze disken en de complete 5 andere disken in een raid 5. Op deze raid 5 array wilde ik dan LVM draaien met daarbinnen losse logical volumes voor o.a. / , /home en /xen_server{1,2,3}.

Volgens mij kan ik dan later (als ik meer ruimte nodig heb) met mdadm een disk in de raid5 set laten failen, dan removen vervolgens die disk vervangen door bv een 300GB disk. Op die 300GB disk maak ik dan weer een 146GB partitie aan die ik weer aan de raid5 set toevoeg om die weer te restoren/rebuilden. Dat doe ik dan ook met de andere 146GB disken. (voor de 1e drie disken waar ook een 100GB /boot op stond worden dan uiteraard ook op de nieuwe 300GB disken gemaakt).

Uiteindelijk heb ik dan alle disken vervangen door een grotere en zou ik de resterende (>146GB) ruimte van al nieuwe disken kunnen gebruiken om daar ook weer een raid 5 van te maken en die aan de logical volume group toe te voegen, zodat ik mijn logical volumes op die group verder kan extenden.

Nu de hamvraag, kan ik dit alles toch maar beter in sofware raid doen, of doe ik er in dit geval beter aan (performance wise) om toch de HW raid controller te gebruiken. Het hierboven beschreven scenario lees ik nl. terug op veel Linux LVM en RAID HOWTO's maar zowat allemaal gaan ze er van uit dat de gebruiker niet over een HW raid controller met battery backed writeback cache beschikt... Of is bovenstaand niet zonder meer toe te passen als de initiele raid 1 en raid 5 array via de HW controller zijn 1 opgebouwd?

Het doen van raid 5 via Linux mdadm tools zal uiteraard iets performance kosten, meer als dan wanneer ik het door die controller zou laten doen, maar ik denk niet dat performance een bottleneck zal zijn met 2 dual core opterons en slechts 3-5 gebruikers...

[lammert]

The_Big_Easy schreef op zondag 09 december 2007 @ 14:39:...
Een 100MB raid1 partitie voor /boot, bestaande uit 3x 100MB van de eerste 3 disken en de rest van deze disken en de complete 5 andere disken in een raid 5. Op deze raid 5 array wilde ik dan LVM draaien met daarbinnen losse logical volumes voor o.a. / , /home en /xen_server{1,2,3}.
...

Een RAID 1 array op 3 disken?

Anyway... zelf zou ik het echt zo simpel mogelijk houden: een hardware RAID5 array van 8 disks met enkele systeem partities voor RedHat en de rest van de ruimte voor LVM gebruiken. Zelf ben ik niet zo'n fan van RAID-functionaliteit misbruiken voor dingen waar het niet voor bedoeld is, maar het zou goed moeten gaan... Test en documenteer de harddisk vervanging / ruimte-uitbreidings procedure voordat de server in productie gaat...en zorg voor een goede backup, 1 TeraByte aan data heb je niet zomaar terug.

Een tip over de Xen setup: je hebt het over aparte logical volumes voor elke server. Als je in plaats van logical volumes (sparse-) disk-images gebruikt voor een Xen-domU kan je deze benaderen / beheren als file in plaats van als volume. Combineer dit met de snapshotfunctionaliteit van LVM en je hebt een supersnel disaster-recovery systeem. In luttele seconden kan je een gare server weer draaiend hebben: kwestie van de VM stoppen, een snapshot terugzetten en de VM weer starten.

[CyBeR]

lammert schreef op zondag 09 december 2007 @ 23:53:
[...]

Een RAID 1 array op 3 disken?

Kan hoor. Mirroren hoeft niet persee naar twee disks.

Anyway... zelf zou ik het echt zo simpel mogelijk houden: een hardware RAID5 array van 8 disks met enkele systeem partities voor RedHat en de rest van de ruimte voor LVM gebruiken.

Eens.

Een tip over de Xen setup: je hebt het over aparte logical volumes voor elke server. Als je in plaats van logical volumes (sparse-) disk-images gebruikt voor een Xen-domU kan je deze benaderen / beheren als file in plaats van als volume.

Niet eens. Disk images gebruiken is echt onmogelijk veel trager dan LV's omdat je een filesystem binnen een filesystem zit te beschrijven. Voor de beste performance is 't echt nodig dat je devices gebruikt. Of dat dan echte devices zijn of Logical Volumes is niet superboeiend. Bovendien zit je op een gegeven moment aan je maximum aantal loop devices.

Combineer dit met de snapshotfunctionaliteit van LVM en je hebt een supersnel disaster-recovery systeem. In luttele seconden kan je een gare server weer draaiend hebben: kwestie van de VM stoppen, een snapshot terugzetten en de VM weer starten.

Helaas is het snapshotten in LVM niet heel super. De beschikbare ruimte voor verschillen met het origineel is vantevoren gelimiteerd (dwz, dat stel je in op het moment dat je zo'n snapshot maakt) en als je daar overheen gaat wordt LVM daar bijzonder ongelukkig van.

Snapshots zijn echter wel goed om tijdelijk de data op een volume te bevriezen in een goede staat, er vervolgens iets mee te doen (backup trekken bijvoorbeeld), en dan de snapshot weg te flikkeren.

[The_Big_Easy]

Bedankt voor de replies, is mijn conclusie dat het scenario zoals beschreven in mijn TS ook toepasbaar is op een HW raid 5 dus juist? Dat vereenvoudigt e.e.a. uiteraard en bovendien kan ik dan die HW controller gebruiken, scheelt altijd iets...

Btw, die raid 1 met 3 disken, naast dat dat uiteraard gewoon kan, ik was van plan om er 1 als hotspare in te zetten, dat gaat ook voor de raid 5 array gebeuren. An sich zijn beide raids natuurlijk redundant, maar als er een disk crashed dan ben je tot het moment van replacen kwetsbaar... Dit gaat wel een aardig belangrijke server worden vandaar dat ik zomdermeer een hotspare wil reserveren...

[ODF]

Ik heb ook een vraag aangaande SAS en het vergroten van de aanwezige schijven.

Ik heb nu een hardwarematige SAS RAID 1 met 2 250 GB schijven. Deze wil ik gaan uitbreiden naar 500 of 750 GB in dezelfde RAID configuratie.

Hoe kan ik dit doen zonder dat de server al te lang off-line is?! Op de 250 GB schijf staan 2 partities. Het OS is Windows 2003 Server SP2.

[CyBeR]

ODF schreef op maandag 10 december 2007 @ 10:49:
Ik heb ook een vraag aangaande SAS en het vergroten van de aanwezige schijven.

Ik heb nu een hardwarematige SAS RAID 1 met 2 250 GB schijven. Deze wil ik gaan uitbreiden naar 500 of 750 GB in dezelfde RAID configuratie.

Hoe kan ik dit doen zonder dat de server al te lang off-line is?! Op de 250 GB schijf staan 2 partities. Het OS is Windows 2003 Server SP2.

Ligt aan de controller. Zoek of die online expansion en hotswapping ondersteunt. Zo ja, trek een disk eruit en vervang 'm, voeg 'm toe aan de array mocht je controller dat nodig vinden (sommige doen dat automatisch), wacht tot 'ie gesynct is, herhaal voor de 2e disk, en hang dan de array expansion ertegenaan. Hoe je dat vervolgens regelt met Windows en 't NTFS filesystem weet ik niet.

[zomertje]

ODF schreef op maandag 10 december 2007 @ 10:49:
Ik heb ook een vraag aangaande SAS en het vergroten van de aanwezige schijven.

Ik heb nu een hardwarematige SAS RAID 1 met 2 250 GB schijven. Deze wil ik gaan uitbreiden naar 500 of 750 GB in dezelfde RAID configuratie.

Hoe kan ik dit doen zonder dat de server al te lang off-line is?! Op de 250 GB schijf staan 2 partities. Het OS is Windows 2003 Server SP2.

offtopic:
Je post nu in het Non-Windows-OS forum, als je er zelf niet uitkomt dan kun je misschien beter je eigen topic in een ander subforum zoals bijvoorbeeld Windows Servers en Server-software aanmaken