[linux] best practices nieuwe thuisserver kvm/lvm/raid1

[Justin_Time]

Beste lezers,

n.a.v. een verhuizing heb ik eindelijk genoeg ruimte om een server thuis te plaatsen. Echter dit is de eerste keer dat ik met KVM en LVM en software raid speel. Nu was ik van plan om het volgende te doen.

Server specs: (niets bijzonders)
1 32GB SSD HD
2x TB HD
4Gig mem
i3 cpu'tje


Gebruik van de server:
- mailserver voor een aantal domeinen (inc. virusscan/spam/imap/pop3/mysql/squirelmail)
- dns server
- download bak (usenet)
- stream bak (1080p)
- ftp/ssh/openvpn
- webserver voor een aantal domeinen
- netwerk testopstelling (dynamips/cisco acs/ca agent etc..)

Nu vind ik het erg belangrijk dat mijn mailserver altijd blijft werken, de rest van de meuk vind ik minder belangrijk.

Daarom wil ik graag virtualiseren (kvm) zodat ik mijn mailserver als guest os stabiel kan draaien en de rest rustig mee kan spelen zonder al te grote schade aan te richten. (ook windows os'n nodig)

Dus ik zat te denken om de volgende opzet te maken.

(SSD HD)
/dev/sdx1 16GB / KVM host OS
/dev/sdx2 16GB / unused

SATA HD's (software raid1)
/dev/sda1 + /dev/sdb1 -> /dev/md0 (2000gb software raid 1)

Op deze HD's wil ik graag met LVM (i.v.m flexibel te kunnen zijn om backups te maken/partitie grote's aan te passen/extra schrijven kunnen toevoegen) de volgende indeling maken om te starten.

Logical Volumes:
/dev/vg0/gservermail(100gb)
/dev/vg0/gservermisc (200gb)
/dev/vg0/gservertest1 (50gb)
/dev/vg0/gservertest2 (50gb)
/dev/vg0/recoveryOS (3gb)
/dev/vg0/swap (2gb)
/dev/vg0/backup (200gb)

Volume Groups: vg0
Physical Volume: /dev/md0

Ik heb alleen een aantal vragen hierover m.b.t. best practices

- Is het wel zo handig om het host OS op de SSD HD te doen, of wellicht een dd kopie te plaatsen op de raid partitie?

- maakt het nog wat uit of je ook LVM doet op de guest OS'n, of maak je daar gewoon een "normale partitie" in van de grote van de LV partitie

- zijn er nog issues met bepaalde filesystems m.b.t. LVM? ergens gelezen dat je bijvoorbeeld xfs alleen maar kan vergroten, zat te denken aan ext3 voor de OS'n die stabiel moeten zijn, xfs voor de os'n die veel met grote bestanden werken en reiser voor OS'n die veel met kleine bestanden doen

- veel guides geven aan dat het handig is om een "rescue" OS te installeren voor het geval het host OS kapot gaat. (server heeft geen cd-rom speler) maar betekend dit dat mijn bios ook LVM moet snappen? of bedoelen ze hiermee dat je, je software raid iets kleiner maakt dan die 2tb zodat je wat ruimte hebt voor een "normale partitie" waar je ook een bootloader op wegschrijft. (1 van de 2 disks)

Zijn er nog andere dingen waar ik niet aan gedacht heb m.b.t. deze opstelling?

[CAPSLOCK2000]

Justin_Time schreef op zondag 17 oktober 2010 @ 21:31:
Beste lezers,

- Is het wel zo handig om het host OS op de SSD HD te doen, of wellicht een dd kopie te plaatsen op de raid partitie?

Ik weet niet zo veel van SSDs maar ik zie het probleem niet.
Ik maak voor de meeste van mijn VM's drie logical volumes. 1 OS, 1 swap en 1 datapartitie.
Als ik een SSD had zou ik alle OS paritities op de SSD zetten. De swap misschien ook maar daarvoor weet ik niet genoeg van SSD.

- maakt het nog wat uit of je ook LVM doet op de guest OS'n, of maak je daar gewoon een "normale partitie" in van de grote van de LV partitie

Op zich is het wel flexibeler maar het maakt het ook weer complexer. Thuis doe ik het niet maar voor mij is het geen probleem om m'n vm's even uit te zetten als ik iets wil aanpassen. Als je on-the-fly will kunnen resizen (of je systeem netjes in partities wil verdelen) dan zou ik het wel doen.

- zijn er nog issues met bepaalde filesystems m.b.t. LVM? ergens gelezen dat je bijvoorbeeld xfs alleen maar kan vergroten, zat te denken aan ext3 voor de OS'n die stabiel moeten zijn, xfs voor de os'n die veel met grote bestanden werken en reiser voor OS'n die veel met kleine bestanden doen

Reiserfs is voor zover ik weet het enige fs dat verkleind kan worden terwijl het is gemount.
Als ik een server bouw dan maak ik alle partities precies zo groot als ik nodig heb (plus wat speelruimte).
Ik vergroot ze wel als ze vol lopen (leve LVM). Zo hoef ik van te voren niet te bedenken hoeveel ruimte ik in de toekomst nodig ga hebben en hoef ik me ook geen zorgen te maken over het verkleinen van filesystems.

- veel guides geven aan dat het handig is om een "rescue" OS te installeren voor het geval het host OS kapot gaat. (server heeft geen cd-rom speler) maar betekend dit dat mijn bios ook LVM moet snappen? of bedoelen ze hiermee dat je, je software raid iets kleiner maakt dan die 2tb zodat je wat ruimte hebt voor een "normale partitie" waar je ook een bootloader op wegschrijft. (1 van de 2 disks)

Tja, zo'n rescue OS kan handig zijn maar ik pak een bootable USB key als ik zo iets nodig heb.Als ik iets permanenters wil dan formatteer ik de swap-partitie en installeer ik daarin een tijdelijk OS.

[Justin_Time]

CAPSLOCK2000 schreef op zondag 17 oktober 2010 @ 23:58:
Tja, zo'n rescue OS kan handig zijn maar ik pak een bootable USB key als ik zo iets nodig heb.Als ik iets permanenters wil dan formatteer ik de swap-partitie en installeer ik daarin een tijdelijk OS.

hmm idd, dat is misschien nog wel een betere optie.

[deadinspace]

Justin_Time schreef op zondag 17 oktober 2010 @ 21:31:
(SSD HD)
/dev/sdx1 16GB / KVM host OS
/dev/sdx2 16GB / unused

Ik weet niet of dat nuttig is. Om te beginnen vraag ik me af of de snelheid van de SSD goed ingezet wordt door hem te gebruiken voor het host OS, en om verder te gaan ligt alsnog je hele server er uit als je SSD kapot gaat.

Misschien is het mogelijk om een RAID1 op te zetten van je SSD + 32GB van beide SATA disks. Maar dat maakt het hele nut van die SSD wel weer vrij klein.

Logical Volumes:
/dev/vg0/gservermail(100gb)
/dev/vg0/gservermisc (200gb)
/dev/vg0/gservertest1 (50gb)
/dev/vg0/gservertest2 (50gb)
/dev/vg0/recoveryOS (3gb)
/dev/vg0/swap (2gb)
/dev/vg0/backup (200gb)

Hmm, ik vraag me af of het niet eenvoudiger is om een filesystem op je RAID1 array te zetten, en daarop filesystem images als files op te slaan voor je VMs?

Ik bedoel, wat nou als je vg0/gservermail wil vergroten? Dan moeten alle andere LVs opschuiven, of je moet achteraan de VG een stuk ruimte er bij plakken, maar dan is het gefragmenteerd.

- Is het wel zo handig om het host OS op de SSD HD te doen, of wellicht een dd kopie te plaatsen op de raid partitie?

Als je dat doet zou ik inderdaad sowieso een backup op je RAID array maken, zodat je tenminste iets hebt als je SSD stuk gaat

maakt het nog wat uit of je ook LVM doet op de guest OS'n, of maak je daar gewoon een "normale partitie" in van de grote van de LV partitie

Mja, hangt er van af hoe ingewikkeld je het wil maken. Als je in een VM maar één filesystem wil gebruiken dan zie ik de meerwaarde van LVM daar in ieder geval niet.

veel guides geven aan dat het handig is om een "rescue" OS te installeren voor het geval het host OS kapot gaat. (server heeft geen cd-rom speler) maar betekend dit dat mijn bios ook LVM moet snappen? of bedoelen ze hiermee dat je, je software raid iets kleiner maakt dan die 2tb zodat je wat ruimte hebt voor een "normale partitie" waar je ook een bootloader op wegschrijft. (1 van de 2 disks)

Nee, je BIOS hoeft geen LVM te snappen; hij snapt immers ook geen ext3 (waar je normaalgesproken van zou booten). Je bootloader moet dat wel, en ik vermoed dat dat nog wel eens een probleem zou kunnen geven (maar dat weet ik zo niet zeker).

Als dat zo is zou je ervoor kunnen kiezen om twee RAID arrays aan te maken op je 2TB disks; een van 16GB oid, en een van de rest. Op dat 16GB array installeer je je rescue systeem, op het grote array komt dan je LVM.

Grub kan in ieder geval booten van MD RAID1, dus dan kun je het rescue systeem booten als één van beide 2TB disks nog in orde is.

[WPN]

waarom je TB sata disken in software raid ?? je mobo moet dit ook kunnen.
Lijkt me handiger dat dit door de controller wordt gedaan dan door de processor die je al gaat belasten met virtuele machines.... maw waar zit voor jou het voordeel van gebruik maken van software raid?

Kan je KVM niet op een USB stick plakken? dan heb je de SSD (snelheid) vrij voor bijvoorbeeld je mailserver.
of mogelijk als de data disk voor je streambak vanwege de snelheid voor doorvoer van de 1080p content... kan me voorstellen dat je TB disken druk genoeg zullen zijn met de andere virtuele machines
De swap partitie zou je dan nog wel op een van de gewone disken kunnen plaatsen zodat de usb stick niet onnodig belast wordt.

Misschien ook handig om naar meer geheugen te kijken? Zal ook geen kwaad kunnen lijkt mij....

[deadinspace]

Peluso schreef op woensdag 20 oktober 2010 @ 16:15:
waarom je TB sata disken in software raid ?? je mobo moet dit ook kunnen.

Omdat fakeraid heel hard zuigt?

Lijkt me handiger dat dit door de controller wordt gedaan dan door de processor die je al gaat belasten met virtuele machines.... maw waar zit voor jou het voordeel van gebruik maken van software raid?

Bij fakeraid wordt de RAID functionaliteit geimplementeerd door de BIOS en de drivers, en gebeurt dus net zo goed op de CPU. Daarnaast is de CPU-impact van RAID1 nihil. De CPU-impact van RAID is eigenlijk altijd wel nihil bij de throughputs van gewone schijven.

Bovendien is Linux software RAID bijna altijd sneller dan die fakeraid zooi. Sterker nog, het is vaak sneller dan hardware RAID controllers.

[Justin_Time]

deadinspace schreef op woensdag 20 oktober 2010 @ 15:55:
[...]

Ik weet niet of dat nuttig is. Om te beginnen vraag ik me af of de snelheid van de SSD goed ingezet wordt door hem te gebruiken voor het host OS, en om verder te gaan ligt alsnog je hele server er uit als je SSD kapot gaat.

Misschien is het mogelijk om een RAID1 op te zetten van je SSD + 32GB van beide SATA disks. Maar dat maakt het hele nut van die SSD wel weer vrij klein.

Hmm daar heb je wel een punt. Wellicht kan ik alle vm's (zowel host als guest) op de ssd disk draaien ( / ) en dan speciale directory's mounten van het array. of uberhaupt die ssd niet gebruiken.... lastig

[...]

Hmm, ik vraag me af of het niet eenvoudiger is om een filesystem op je RAID1 array te zetten, en daarop filesystem images als files op te slaan voor je VMs?

Ik bedoel, wat nou als je vg0/gservermail wil vergroten? Dan moeten alle andere LVs opschuiven, of je moet achteraan de VG een stuk ruimte er bij plakken, maar dan is het gefragmenteerd.

[...]

Als ik het goed begrepen heb dan heeft LVM als voordeel boven filesystem images dat het niet zo zwaar is voor disk IO (je haalt er een laag tussen uit?) en je erg makkelijk backups kan maken (snapshot)

Maar over die fragmentatie... daar heb ik eigenlijk nog nooit over nagedacht. Dus je zegt hier dat ik beter grotere ruimtes kan reserveren en later eventueel kleiner kan gaan voor nieuwe vm's mits noodzakelijk....

[LeechGuy]

Even zo wat mij te binnen schiet:

* Als je PCI kaarten wilt forwarden naar je VM's dan gaat dat niet met een i3, dan heb je een i5 nodig (en een moederbord met VT-d ondersteuning)
* Als je 2 TB disken gebruik maken van 4k sectoren, dan moet je er op letten dat je je partities (ook je LVM partities) aligned om zoveel mogelijk performance over te houden. (link)