Twee HP Microservers (ZFS en virtualisatie apart)

[Wasp]

Achtergrond
Ik ben gecharmeerd van de HP Microserver Gen8. Het basissysteem is erg goedkoop en heeft enterprise grade hardware (ECC ondersteuning, HP iLo, dual NIC). Daarnaast issie lekker klein, HP, verbruikt relatief weinig, onboard RAID, en officieel ondersteund door VMWare.

Maar een eis voor mijn nieuwe server is dat ik én wil kunnen virtualiseren én met ZFS aan de slag wil gaan.

Een oplossing was een basis Gen8 kopen en daarbij een Xeon processor zoeken die VT-d ondersteunt, zodat ik de HBA kon doorgeven aan een fileserver VM zoals ZFSguru. Compatible Xeon processoren zijn echter vrij lastig te vinden en ook vrij duur. Gaat al snel over de 200 euro..

Toen iemand zei "voor dat geld heb je dus gewoon nóg een HP Microserver!" ben ik eens gaan nadenken over een alternatieve set-up waarbij één server puur voor virtualisatie is en de ander een ZFS fileserver. De noodzaak van VT-d vervalt daarom.

Omdat ik bepaalde zaken zoals geheugen wel dubbel moet aanschaffen wordt het totaalplaatje wel duurder, daar ben ik me van bewust. Ook snap ik dat het stroomverbruik x2 gaat, maar dat is bij mij geen issue vanwege de 16 zonnepanelen op mijn dak.

Wat wil ik ermee kunnen?
VMWare ESXi
Een aantal VM's kunnen draaien, waaronder:
- Windows Server 2012 R2 voor allerhande zaken, maar met name een remote desktop met diverse downloadsoftware
- Debian linux waar ik een aantal websites mee ga hosten.
- Speelomgeving met tijdelijke VM's

Ik wil hiervoor de twee 250 GB SSD's met de onboard RAID in een RAID-1 opstelling plaatsen zodat ik 1 schijf failure kan ondervangen. Heb al wel gezien dat ik dan waarschijnlijk 2 van deze jongens nodig ga hebben.

VMWare ESXi installeer ik op een USB stick die in de interne USB poort zit.

ZFS
ZFSguru met een performante RAID-Z1 opstelling waarbij ik van de 9 TB ongeveer 5 TB netto over hou.

Ik wil hier back-ups, films en series, muziek, foto's etc op kwijt. Daarnaast wil ik via NFS shares aanbieden aan de VMWare host. Het lijkt me na wat onderzoek NIET handig om vmdk's te maken op de ZFS pool i.v.m. slechte performance wat veroorzaakt wordt doordat vmware alle wijzigingen in die vmdk markeert als important write en daardoor niet performant zal zijn.

Mijn mediaspeler die bij mijn TV zal ZFS moeten kunnen benaderen via Samba.


VMWare ESXi server

#	Product	Prijs	Subtotaal
2	Kingston KTH-PL316E/8G	€ 66,46	€ 132,92
2	Crucial BX100 250GB	€ 79,95	€ 159,90
1	HP Proliant MicroServer Gen8 G1610T	€ 219,90	€ 219,90
Bekijk collectie Importeer producten		Totaal	€ 512,72

ZFS server

#	Product	Prijs	Subtotaal
3	WD Red SATA 6 Gb/s WD30EFRX, 3TB	€ 112,95	€ 338,85
1	Kingston KTH-PL316E/8G	€ 66,46	€ 66,46
1	Kingston SSDNow V300 60GB	€ 41,95	€ 41,95
1	HP Proliant MicroServer Gen8 G1610T	€ 219,90	€ 219,90
Bekijk collectie Importeer producten		Totaal	€ 667,16

Concrete vragen
1. Bij de ZFS server heb ik een kleine SSD toegevoegd. Ik kan ervoor kiezen om daar ZFSGuru op te installeren en als bootdisk te gebruiken, maar wat misschien verstandiger is, is om ZFSGuru te installeren op een USB stick en de SSD te gebruiken als ZFS (meta)datacache. Alleen ik hoor slechte verhalen over flash wear, waarbij je de ZFSguru install wellicht om zeep helpt. Iemand ervaring?

2. Aangezien de HP Microserver 2 on-board Gbit NIC's heeft, wil ik die teamen/bonden op beide servers. Is het mogelijk om via mijn 1 Gbit (unmanaged) switch een doorvoersnelheid halen van 2 Gbit? Uiteraard alleen tussen de twee servers. Ik lees hier verschillende verhalen over op internet.

3. Wellicht wat offtopic in deze thread, maar is RAID-Z1 voor mijn doel de goede keuze of zijn andere varianten wellicht slimmer?

4. Wat is jullie beeld bij deze set-up? Of is dit gekkenwerk?

[BXL]

Ik heb inmiddels 2 jaar geleden met het zelfde probleem geworsteld.

Het is ook mogelijk om te virtualiseren onder ZFSGuru Je kan namelijk virtualbox als plugin installeren en deze als hypervisor gebruiken, ook hierbij is het dan niet nodig om VT-d te hebben. Ik typ dit bericht op het moment zelfs vanuit een windows server 2012R2 omgeving die draait op mijn ZFS systeem (in middels Freenas en niet meer ZFSGuru).

Ik zou overigens geen RAID-Z1 gebruiken. Er zijn namelijk genoeg artikelen op het internet te vinden waarin heel hard geroepen wordt dat RAID 5 (wat RAID-Z1 cru gezegd is) dood is. De kans dat je met een resilver een 2e schijf sloopt is zeer groot. Het is mij zelf namelijk (tot 2x toe!) overkomen dat 2 schijven het tegelijk begaven.

Als je dus gaat virtualiseren met virtualbox hou je geld over omdat je geen 2e server hoeft aan te schaffen, mijn advies is dan: steek wat meer geld in 1 server door er meer geheugen in te zetten voor de virtual machines (32GB) en er nog een schijf in te gooien van 3TB om zo een RAID-Z2 opstelling van te maken.

Met 4 schijven is het overwegen om een RAID 1+0 setup te maken ook nog een optie, ik heb er voor gekozen dit niet te doen omdat met RAID-Z2 je altijd 2 schijven kan verliezen en met RAID1+0 je alleen het verlies van 2 schijven kan opvangen als de 2 schijven in dezelfde mirror stuk gaan. RAID-Z2 heeft wel een performance impact omdat je processor meer tijd bezig met het berekenen van de parity. Ik vond dit zelf niet opwegen tegen de voordelen van RAID-Z2. Ik heb wel een wat zwaardere processor in mijn systeem zitten (een core i3).

N.B. Je vraag staat momenteel in het Complete Systemen & Laptops forum. Ik kwam hem bij toeval tegen omdat ik even keek naar wat een microsever gen8 moest kosten. De vraag is beter op zijn plaats in Opslagtechnologie gezien CiPHER en ook FireDrunk daar rondwaren. CiPHER is mede ontwikkelaar van ZFSGuru en heeft waarschijnlijk antwoord op al je vragen.

[Wasp]

BXL schreef op dinsdag 06 oktober 2015 @ 15:55:
Ik heb inmiddels 2 jaar geleden met het zelfde probleem geworsteld.

Het is ook mogelijk om te virtualiseren onder ZFSGuru Je kan namelijk virtualbox als plugin installeren en deze als hypervisor gebruiken, ook hierbij is het dan niet nodig om VT-d te hebben. Ik typ dit bericht op het moment zelfs vanuit een windows server 2012R2 omgeving die draait op mijn ZFS systeem (in middels Freenas en niet meer ZFSGuru).

Interessant! De combi VirtualBox en ZFSGuru kende ik nog niet. Ik heb wel gekeken naar Proxmox. Dat is een hypervisor met KVM en OpenVZ containers, incl ondersteuning voor ZFS stores.

Proxmox is een boel hypervisor, en een beetje ZFS. ZFSGuru is juist een boel ZFS, maar een beetje hypervisor. Keuzes, keuzes....

Wat volgens mij ook nog kan is dat ik gewoon kaal FreeBSD installeer, en dan de bhyve hypervisor ga gebruiken. Ik lees nu net, vers van de pers, dat Windows hosts ondersteund worden.

Ik zou overigens geen RAID-Z1 gebruiken. Er zijn namelijk genoeg artikelen op het internet te vinden waarin heel hard geroepen wordt dat RAID 5 (wat RAID-Z1 cru gezegd is) dood is. De kans dat je met een resilver een 2e schijf sloopt is zeer groot. Het is mij zelf namelijk (tot 2x toe!) overkomen dat 2 schijven het tegelijk begaven.

Nadat ik deze thread gestart ben heb ik na wat research dezelfde conclusie getrokken inderdaad!

Als je dus gaat virtualiseren met virtualbox hou je geld over omdat je geen 2e server hoeft aan te schaffen, mijn advies is dan: steek wat meer geld in 1 server door er meer geheugen in te zetten voor de virtual machines (32GB) en er nog een schijf in te gooien van 3TB om zo een RAID-Z2 opstelling van te maken.

Ik bespaar een boel als ik het tot 1 server kan beperken, klopt absoluut. 2 is ook meer een noodzaak. Alleen de Microserver ondersteunt maar 16 GB geheugen, als ik dat voor die 2 VM's die ik graag wil volgens mij genoeg (Win2012 en Debian). Laat ik die elk 4 GB geven. Dan heeft FreeBSD incl ZFS nog 8 over.

Met 4 schijven is het overwegen om een RAID 1+0 setup te maken ook nog een optie, ik heb er voor gekozen dit niet te doen omdat met RAID-Z2 je altijd 2 schijven kan verliezen en met RAID1+0 je alleen het verlies van 2 schijven kan opvangen als de 2 schijven in dezelfde mirror stuk gaan. RAID-Z2 heeft wel een performance impact omdat je processor meer tijd bezig met het berekenen van de parity. Ik vond dit zelf niet opwegen tegen de voordelen van RAID-Z2. Ik heb wel een wat zwaardere processor in mijn systeem zitten (een core i3).

GMTA Ik denk dat ik idd voor mirror+stripe ga met 4 schijven van 3 TB. Ik ga sowieso ook zorgen voor een offsite back-up in de cloud. Dan zit je veilig genoeg volgens mij.

N.B. Je vraag staat momenteel in het Complete Systemen & Laptops forum. Ik kwam hem bij toeval tegen omdat ik even keek naar wat een microsever gen8 moest kosten. De vraag is beter op zijn plaats in Opslagtechnologie gezien CiPHER en ook FireDrunk daar rondwaren. CiPHER is mede ontwikkelaar van ZFSGuru en heeft waarschijnlijk antwoord op al je vragen.

Ik heb getwijfeld waar ik dit zou posten omdat het een mix is van serverspecs, virtualisatie en ZFS. Zal even met een modje overleggen, want ik denk dat ik het antwoord nu wel heb dat ik aan 1 server volgens mij genoeg zou kunnen hebben. Zou bv. een nieuw topic kunnen openen omtrent de verdere inrichting van die server incl ZFSGuru/FreeBSD/ZFS in mirror+stripe,

[BXL]

Ik heb destijds er zelfs voor gekozen om zelf een systeem bij elkaar te zoeken, zodat ik meer geheugen en een iets krachtigere CPU kon kiezen. Het is toen onderstaand systeem geworden:

#	Product	Prijs	Subtotaal
1	Intel Core i3 3220T Boxed	€ 123,80	€ 123,80
1	ASRock H77 Pro4-M	€ 0,-	€ 0,-
6	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 92,-	€ 552,-
1	Cooler Master Silencio 550	€ 69,95	€ 69,95
2	Corsair Vengeance CMZ16GX3M2A1600C10	€ 88,75	€ 177,50
1	be quiet! Straight Power E9 450W	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 923,25

Sommige componenten zijn veroudert of niet meer beschikbaar. Maar misschien kan je het als een soort uitgangspunt gebruiken.

Nog een tip: ik heb er toen voor gekozen om desktop hardeschijven te kiezen. Hier heb ik uiteindelijk spijt van gehad van de 6 schijven zijn ze alle 6 overleden niet lang na het verlopen van de 2 jaar garantie. Ik heb toen alle schijven bij 1 webshop gehaald, doe dit niet! De schijven komen dan uit dezelfde batch en de kans dat ze snel na elkaar kapot gaan neemt toe.