Raid 5 Storage icm KVM VM's

[Vuurvoske]

Beste tweakers,

Ik wil graag even iets toetsen alvorens ik eraan begin,

Mijn server bestaat uit een Ubuntu 11.10 x64 HOST OS (icm KVM)
Hierop gaan 3 draaien VM's draaien:

- Testbak; Ubuntu 11.10 x64
- Download; Ubuntu 11.10 x64 (sabnzbd, spotweb)
- NTB; Windows 2008 R2 x64

Tot nu toe geen problemen.

Echter in mijn huidige pc zit een raid5 setup op een hardware raidcontroller:
Deze gebruik ik voor de opslag van diverse media en data. Het is niet de bedoeling dat het HOST OS hierop gaat draaien.

Highpoint rocketraid 2680(x8). Hierop zitten aangesloten 4x 2TB 5400rpm schijven.
Via de highpoint website heb ik de driver + installatie instructies gevonden.

Ook hier nog geen probleem.

Echter:
Wat als ik de volledige (NTFS) raid beschikbaar wil hebben in de Download VM. Is dit mogelijk? Zo ja, hoe werkt dit.

Als dit niet werkt dacht ik eraan om in het HOST OS een share folder (SAMBA) te maken van de complete raid waarin ik alle data zoals films, series en dergelijke kwijt kan.

Even voor de volledigheid de complete server hardware:

#	Product	Prijs	Subtotaal
1	Highpoint RocketRAID 2680	€ 0,-	€ 0,-
1	Intel Pentium G620	€ 52,89	€ 52,89
1	Samsung EcoGreen F4EG HD204UI, 2TB	€ 109,90	€ 109,90
1	Samsung SpinPoint T166 HD501LJ, 500GB	€ 0,-	€ 0,-
1	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 117,40	€ 117,40
1	Antec Three Hundred	€ 49,95	€ 49,95
1	Cooler Master 4-in-3 Device Module	€ 17,50	€ 17,50
1	Recom RC-PE0DB580	€ 0,-	€ 0,-
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 38,40	€ 38,40
1	Intel Desktop Board DQ67OWB3	€ 100,35	€ 100,35
Bekijk collectie Importeer producten		Totaal	€ 486,39

[JMW761]

Vuurvoske schreef op woensdag 08 februari 2012 @ 11:31:


Echter:
Wat als ik de volledige (NTFS) raid beschikbaar wil hebben in de Download VM. Is dit mogelijk? Zo ja, hoe werkt dit.

je kan gewoon de partitie helemaal assignen aan de VM dmv. <source file='/dev/sdb'/> in je xml file op te nemen.

[Vuurvoske]

JMW761 schreef op woensdag 08 februari 2012 @ 11:55:
[...]


je kan gewoon de partitie helemaal assignen aan de VM dmv. <source file='/dev/sdb'/> in je xml file op te nemen.

XML File? Que? Ik weet even totaal niet waar je het over hebt?

[krijn1985]

Vuurvoske schreef op woensdag 08 februari 2012 @ 12:01:
[...]


XML File? Que? Ik weet even totaal niet waar je het over hebt?

Zelf nog niet echt ervaring mee, maar hier wordt het oa beschreven:
Hier
En hier nog wat meer over instellingen editten in de XML file:
hier

[CAPSLOCK2000]

In virt-manager moet je de VM openen en dan kiezen voor Hardware toevoegen en dan voor Storage en dan kies je het device dat bij je RAID hoort. Je zal wel eerst moeten uitzoeken welke naam Linux hier voor gebruikt. Kijk eens in /proc/partitions, daar zal het wel in staan.

[Kees]

Je kan hem ook gewoon mounten in de VM zelf als samba/cifs/nfs

[Vuurvoske]

Nou super bedankt voor alle tips!
Echter is er een probleem met .Xauthority waardoor ik niet meer kan inloggen en mijn cryptswap wordt niet meer automatisch gemount á la:

http://askubuntu.com/ques...unt-dev-mapper-cryptswap1

Per reboot overigens, zonder dat k aan de instellingen aan fstab etc heb gezeten.

iig wordt vervolgt!

[Vuurvoske]

Zucht, de swap file werd zomaar verwijdert. Na een aantal pogingen om het te herstellen, bleef de partitie verdwijnen. Ik heb nu besloten om het geheel te herinstalleren met Fedora 16 (met het oog op oVirt in de toekomst).

/Edit: Na nog wat speurwerk ben ik erachter gekomen dat de drivers voor mijn Highpoint Rocketraid 2680 niet ondersteund worden in kernel 3.x, maar wel in 2.4 en 2.6. Op de highpoint website heb ik nu een driver gevonden voor ubuntu 10.04 LTS x64...

Daarnaast heb ik ook de mogelijkheid gevonden om de NIC driver te downloaden van de intel website en een step by step handleiding voor ubuntu gevonden.

Wordt dus hopelijk vanavond / morgen vervolgd

[ Voor 50% gewijzigd door Vuurvoske op 10-02-2012 16:18 ]

[CAPSLOCK2000]

Volgens mij is ovirt echt enorm overkill als je maar 3 VM's hebt om te beheren. ovirt is voor organisaties een heel virtualisatie-cluster hebben waar ze tientallen VMs op draaien. Om het te installeren heb je 3 fysieke machines nodig met in totaal (minstens) 36G RAM en ook nog een vorm van Shared Storage.

Die verdwijnende partitie is een vreemd verhaal. Een keertje opnieuw installeren klinkt als een goed idee.

[Vuurvoske]

CAPSLOCK2000 schreef op vrijdag 10 februari 2012 @ 16:18:
Volgens mij is ovirt echt enorm overkill als je maar 3 VM's hebt om te beheren. ovirt is voor organisaties een heel virtualisatie-cluster hebben waar ze tientallen VMs op draaien. Om het te installeren heb je 3 fysieke machines nodig met in totaal (minstens) 36G RAM en ook nog een vorm van Shared Storage.

Die verdwijnende partitie is een vreemd verhaal. Een keertje opnieuw installeren klinkt als een goed idee.

Ik dacht dat ovirt een community variant op RHEV zou moeten zijn (werd me verteld op opensourconference2012). Waar heb je die vereisten gevonden?

[B2]

Vuurvoske schreef op zaterdag 11 februari 2012 @ 18:39:
[...]


Ik dacht dat ovirt een community variant op RHEV zou moeten zijn (werd me verteld op opensourconference2012). Waar heb je die vereisten gevonden?

Klopt. Ovirt is inderdaad gelijk aan de laatste versie van RHEV. OVirt zou ik zeker niet voor een klein aantal vm's gebruiken. Zoals gezegd, je hebt een dikke bak nodig voor management (omdat het allemaal op JBOSS draait) en ook nog eens een storage provider met bv een iscsi target.

Ik heb zelf gewoon een CentOS 6 bak thuis, minimale install, getweakt om hypervisor te spelen, daar heb ik ook een fileserver vm op draaien, ongeveer gelijk aan jouw download machine. Met KVM kun je gewoon een complete partitie doorgeven. Wat ik zou doen is de raid-5 array aanmaken in mdadm op de hypervisor, en dan /dev/md0 doorgeven aan die download vm.

Moet je alleen alle data die er nu op staat even ergens veiligstellen.

[Vuurvoske]

Waarom zou ik software raid 5 willen maken met mdadm?
Ik heb toch gewoon een NTFS raid die geregeld wordt door die rocketraid 2680? Ik heb net getest en ik kon hem benaden in ubuntu 10.04 LTS (nog niet doorgezet naar een VM)

[B2]

Vuurvoske schreef op zaterdag 11 februari 2012 @ 20:08:
Waarom zou ik software raid 5 willen maken met mdadm?
Ik heb toch gewoon een NTFS raid die geregeld wordt door die rocketraid 2680? Ik heb net getest en ik kon hem benaden in ubuntu 10.04 LTS (nog niet doorgezet naar een VM)

Ik zeg alleen wat ik zou doen, ik vind dat het meest transparant. Waarschijnlijk zal er tussen die Rocket fakeraid en mdadm geen performance verschil zitten.

[Vuurvoske]

Ik heb in 10.10 gewerkt met mdadm, maar kreeg de snelheid niet boven de 26MB/s. Dat was dan ook de reden dat Ik deze kaart gekocht heb. Maar nogmaals. Waarom zou Ik die software raid 5 opzetten als Ik gewoon de huidige raid 5 kan mounten?

[blaataaps]

Omdat fakeraid onder linux ongeveer 0 voordelen maar wel wat nadelen heeft t.o.v. de normale softraid.

[Vuurvoske]

Nou ik heb net een bestand van 2GB heen en weer gegooid, maar de performance is vrij laag.
Nu denk ik zelf dat dit te verklaren is doordat de raid geformatteerd is als NTFS.

Wellicht maar eens een keer een tweakert lief aankijken om een keer de data over te zetten (Het is ong. 5,5TB)

[ Voor 22% gewijzigd door Vuurvoske op 12-02-2012 09:45 ]

[B2]

Ik heb net even snel een testje gedaan op een mdadm raid-5 met 4 WD Green 2TB disken :

Een bestand van 16GB, twee keer zo groot als het geheugen en naar disk syncen, gaat als volgt :

code:

[B2@r2d2 data]$ time sh -c "dd if=/dev/zero of=ddfile bs=8k count=2000000 && sync"
2000000+0 records in
2000000+0 records out
16384000000 bytes (16 GB) copied, 184.203 s, 88.9 MB/s

real    3m17.490s
user    0m0.297s
sys 0m16.010s

DD geeft de tijd en het aantal MB/s zonder lag en sync, time alleen de tijd. Als je de tijd deelt door de hoeveelheid data krijg de de synchronous data write time : ongeveer 91 MB/s.

Nog een testje : precies de size van het geheugen, om de FS cache te flushen :

code:

[B2@r2d2 data]$ dd if=/dev/zero of=ddfile2 bs=8K count=1000000
1000000+0 records in
1000000+0 records out
8192000000 bytes (8.2 GB) copied, 96.5159 s, 84.9 MB/s

Read testje, 100% disk access omdat fs cache leeg is :

code:

[B2@r2d2 data]$ time dd if=ddfile of=/dev/null bs=8k
2000000+0 records in
2000000+0 records out
16384000000 bytes (16 GB) copied, 79.6742 s, 206 MB/s

real    1m19.677s
user    0m0.203s
sys 0m9.839s

Het lijkt dus inderdaad echt aan jouw config te liggen. Mijn config is een i3 540 met 8GB ram. OS is overigens CentOS 6 CR, maar dat zou geen bal uit moeten maken.

[ Voor 5% gewijzigd door B2 op 12-02-2012 12:42 ]

[Verwijderd]

In het zuinige ESXi topic wordt meerdere keren aangedragen hoe je een software raid oplossing (of faikeraid als je een onboard raidcontroller gebruikt) toekent aan een VM (bijvoorbeeld openfiler of freenas) In deze VM wordt gebruik gemaakt van de raidcontroller. Vervolgens wordt deze storage teruggegeven aan de Host om daarop andere VM's aan te kunnen maken.
Misschien kan dit principe hier ook worden toegepast?

[B2]

Verwijderd schreef op zondag 12 februari 2012 @ 12:47:
In het zuinige ESXi topic wordt meerdere keren aangedragen hoe je een software raid oplossing (of faikeraid als je een onboard raidcontroller gebruikt) toekent aan een VM (bijvoorbeeld openfiler of freenas) In deze VM wordt gebruik gemaakt van de raidcontroller. Vervolgens wordt deze storage teruggegeven aan de Host om daarop andere VM's aan te kunnen maken.
Misschien kan dit principe hier ook worden toegepast?

Volgens mij wil de TS KVM gebruiken als hypervisor, bij KVM werkt dat natuurlijk heel anders. Als je een VT-D capable cpu hebt kun je de sata controller doorgeven, anders geef je of partities of qcow images door aan je vm.

[CAPSLOCK2000]

Een belangrijk detail is dat TS al een bestaande (soft)raid installatie heeft die gevuld is met data. Bij een verse installatie zou ik ook kiezen voor mdadm boven softraid maar hij heeft niet veel te kiezen.

[Verwijderd]

B2 je hebt gelijk. Voorwaarde is dat je een VT-D capable cpu nodig hebt. Hoe KVM daar mee omgaat, geen idee.... /me is een complete KVM n00b....

[CAPSLOCK2000]

Als je VT-d hebt dan kan KVM dat gebruiken om een hele controller door te geven, maar de CPU van TS heeft geen VT-d.

[Vuurvoske]

Even een kleine update (carnaval enzo )
Ik heb een guide gevonden waardoor ik mijn raidcontroller aan de gang zou moeten krijgen onder ubuntu 11.10+.
Gisteren geprobeerd. Kreeg de kaart gemount, echter door een foutje in fstab ging heel linux om zeep??
Daarbij moet ik bekennen dat ik niet de hele handleiding had doornomen

Anyways wordt vervolgd.

links:
http://ubuntuforums.org/s...p?p=11489018&postcount=10
https://help.ubuntu.com/community/RocketRaid

[ Voor 14% gewijzigd door Vuurvoske op 29-02-2012 09:14 ]

[Vuurvoske]

Raidcontroller bleek kapot te zijn evenals een harde schijf in de RAID5.

Ik ben nu overgestapt op Ubuntu 11.10 server i.cm. softwareRAID (EXT4). Werkt prima.