To ZFS or not to ZFS...

[DrDoo]

Goedendag,

Ja het zoveelste wat moet ik kopen/doen topic. ZFS was mij totaal onbekend en na het lezen van vele posts en topics ben ik toch redelijk enthausiast geworden. Echter blijft het onbekend terrein met vele vraagtekens die toch overblijven. Ik twijfel dus enorm tussen ZFS of Windows 2012 als storage server.

Ik heb een nieuwe server aangeschaft om dienst te gaan doen als ESXi host met hierop verschillende VM's;

#	Product	Prijs	Subtotaal
1	Intel Core i7 4770 Boxed	€ 264,10	€ 264,10
1	ASRock B85M Pro4	€ 66,30	€ 66,30
3	Seagate Desktop HDD.15 (OEM), 4TB	€ 148,-	€ 444,-
1	Cooler Master Elite 344 USB 3.0 Zilver	€ 31,45	€ 31,45
1	HP NC364T PCI Express Quad Port Gigabit Server Adapter	€ 157,30	€ 157,30
2	Crucial Ballistix Sport BLS2CP8G3D1609DS1S00CEU	€ 110,-	€ 220,-
1	be quiet! Pure Power L8 300W	€ 38,40	€ 38,40
Bekijk collectie Importeer producten		Totaal	€ 1.221,55

Ik heb eventueel ook nog;

#	Product	Prijs	Subtotaal
2	Samsung Spinpoint F4 EG HD204UI, 2TB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 0,-

Doel van de server;
OS = ESXi 5.1

PROD;
Fileserver (Films / Muziek en Foto's)
Download bak (Newsleecher / Sickbeard)
Homeseer Server (Domotica)
Server voor gesharede xbmc installatie (MySQL)

LAB;
3-4 Domain Controllers
3 Virtual Center Servers
4 Virtuele ESXi hosts
2-10 Virtuele/Virtuele VM's
Member server voor IIS / WDS / MDT / WSUS
2 Servers voor System Center
Server voor VMware Site recovery
Server voor LabManager
Server voor vCloud director.
Server voor VMware View
pfsense

De PROD machines dienen altijd beschikbaar te zijn. De LAB omgeving zal alleen door mij gebruikt worden. De performance hiervan hoeft niet super te zijn. Maar ik heb geen zin om uren te wachten en naar zandlopers te gaan staren. Op dit moment is de grootste bottleneck de disk i/o en zal waarschijnlijk ook geheugen gaan worden. Door allemaal hetzelfde OS te gebruiken (voornamelijk Win2012) zal de besparing door transparent page sharing het grootste zijn. De disk i/o hoop ik middels de SSD een heel stuk te kunnen verbeteren.

Alhoewel de hoeveelheid VM's redelijk fors zal zijn, zullen ze niet zwaar belast gaan worden. Althans, met piekjes. Het grootste deel gaat zeker geen productie draaien. En het productie deel is voor mij en de vrouw, dus veel users zullen er ook niet zijn.

Mijn eisen;
12TB Netto storage (Met raid zal er een schijf bij moeten komen).
Disk spin down
Deduplicatie
Security per (windows) user als het even kan voor media access vanaf windows xbmc installaties.
iSCSI
NFS
Thin provisioning (geen must)
Geen extra hardware (Op een HDD na voor eventueel RAIDZ)

Keuze;
1) Windows 2012 Server.
Reeds mee bekend.
Ondersteund NFS, iSCSI en deduplicatie.
Heeft goede security, windows based.
Geen goede raid.
SSD voor VM's en de 3x 4TB voor Media.
Performance is zo goed maar er is geen redundantie. Memory overhead relatief klein doordat het merendeel van de VM's Win2012 is en TPS maximaal wordt benut.
Spin down geen probleem

2) ZFS Server (Zfsguru of nas4free).
Onbekend terrein
Ondersteund iSCSI, NFS, CIFS, Deduplicatie, Thin Provisioning
Goede security (NAS4Free iig, ZFSguru weet ik nog niet) maar is dit goed genoeg?
RAIDZ
SSD voor VM's en dan 4x 4TB in RAIDZ voor media. (Of beter 4x 4TB RAIDz en de SSD voor L2ARC?)
Geen TPS aangezien anders OS. Ook heb ik geen idee hoeveel geheugen bijv een nas4free nodig heeft voor een beetje fatsoenlijke performance...streamen geloof ik wel, maar gaat voornamelijk om clonen en installeren van VM's.
Deduplicatie zwaar...? (Onder Win2012 schedule je die gewoon 1x per dag en daarna vraagt het geen extra resources meer).
Spin down? Sommige zeggen van wel, sommige zeggen niet doen.

Storage zal op een internal only switch terug gegeven gaan worden aan ESXi voor maximale throughput waar vervolgens de VM's op komen te staan. Dit zal een combinatie van NFS en iSCSI zijn. Onderscheid eventueel voor OS disk en langzame Data disks.
De storage moet ook beschikbaar komen voor een 3-tal xbmc machines. Weet nog niet of ik dit rechtstreeks vanuit ZFS door moet geven of dat ik dit via een Win2012 beschikbaar maak voor mijn xbmc machines.

Op dit moment gebruik ik een Windows 2012 server met de SSD als VM datastore. Dit performed super. Ook met 12+ VM's. Door middel van deduplicatie passen hier met gemak 12+ VM's op daar het allen Win2012 VM's zijn.
Waar ik voornamelijk geen knoop over door kan hakken is dat ik de vele posts lees over de memory eisen van ZFS. In een machine met max 32GB en de wensen voor een uitgebreid testlab, kan ik gewoon geen 8-16GB missen voor een storage machine.

Performed ZFS ook nog redelijk met bijvoorbeeld 4GB? Of is de performance dan echt om te huilen?
Met deduplicatie aan, wordt er dan constant een hoge resource load gegenereerd of alleen tijdens deduppen?

Ik begin net aan dit avontuur om eventueel voor ZFS te kiezen ipv de makkelijke win2012 route.
Alle tips en kritische opmerkingen hoor ik graag

[ Voor 8% gewijzigd door DrDoo op 01-09-2013 19:52 ]

[Q]

Je bent goed thuis in het Windows eco systeem. Ik zie voor jouw situatie niet zoveel benefit om met ZFS te gaan spelen behalve om iets nieuws te leren.

Ik waardeer ZFS vooral om 1 reden: data integriteit door checksums over de data. Maar dan wil je ook een moederbord met ECC + bijbehorende processor en RAM, als je het helemaal mooi wilt maken. Dat wordt meteen ook weer duurder.

[ Voor 28% gewijzigd door Q op 01-09-2013 21:31 ]

[DrDoo]

Data integriteit en ook redundancy zijn zeker redenen om voor zfs te kiezen. 1Tb niet essentiële data verliezen is niet heel erg relevant. Echter 4 Tb aan data verliezen wordt ineens een stuk vervelender.

Over ECC e.d. lees ik meerder verhalen dat dit niet echt nodig is. Het zal ongetwijfeld beter zijn, maar ja, soms is goed is goed genoeg. Qua data veiligheid ga ik er met zfs al 200% op vooruit. Het kan altijd beter maar dan hangt inderdaad een prijskaartje aan.

Op dit moment neig ik meer richting zfs. Maar als een zfs machine met mijn gewenste opties minimaal 16Gb nodig heeft om te performen houdt het op. Ik ga er uiteraard nog meer over lezen en hoop op nog meer op en/of aanmerkingen.
Ik heb zowieso al een virtuele zfs array gemaakt om alles beter te begrijpen.

[A4-]

Om ZFS netjes te laten werken onder ESXi moet je 1 HDD controler helemaal doorgeven aan ZFS. Dat zijn in bovenstaande configuratie alle Sata poorten. ESXi zul je samen met je ZFS OS op een USB stick moeten zetten tenzij je voor een extra HDD-controler gaat.
Verder zou ik je SSD inzetten als L2ARC(lees-cache), als je 2 SSD's hebt kun je ook veilig ZIL(scrijf-cache) gebruiken.
Door het gebruik van een SSD als L2ARC kun je het geheugen wat ZFS nodig heeft om te performen verkleinen.
Het minimum geheugen nodig om alle beschikbare L2ARC te kunnen gebruiken is als volgt te berekenen:
( L2ArcSize / recordSizeOfPool ) * 180 = arc_meta_limit
(180 = ZFS pointer grootte)
arc_meta_limit is normaal gesproken ca 50% van het geheugen wat ZFS kan aanspreken.
Voorbeeld:
128 GB SSD en 8K recordsize ->
( 128 / 8192 ) * 180 * 2 = 5.6 GB puur voor ZFS om volledig gebruik te maken van alle beschikbare L2ARC

Dus als je het ZFS OS zo'n 8 GB geeft wordt, als de L2ARC opgebouwd is, 128 GB van de meest gelezen data (blocks) met SSD snelheid geserveerd. de rest op de snelheid van je HDD's.

Schrijf snelheid (ZIL) weet ik niet zo veel van. Wat wel belangrijk is is of het synchrone of async. writes zijn. (async. is sneller). Wat betreft schrijven van grote hoeveelheden data: dit gaat met de snelheid van je geheugen, als dat vol is met dat van je ZIL (als je het hebt), en dan je HDD. En dan moet er ondertussen ook nog gelezen worden.

Dedupe zou ik niet gebruiken, veel te traag en vraagt 2-3 GB Ram per TB aan data.

Uiteraard zou je het even kunnen testen, dan weet je zeker of het snel genoeg is.

Verder lezen:
reviews: Opslagnetwerken met zfs en Comstar
Wikipedia: ZFS
Het grote ZFS topic

[jdkjr]

Hoe bedoel je dat Windows 2012 geen goede RAID heeft?

Een parity disk set in Windows 2012 bied volgens mij gewoon de mogelijkheid van een disk failure.

[Pietjebelll]

jdkjr schreef op maandag 02 september 2013 @ 08:06:
Hoe bedoel je dat Windows 2012 geen goede RAID heeft?

Een parity disk set in Windows 2012 bied volgens mij gewoon de mogelijkheid van een disk failure.

Maar slechte bescherming tegen bad sectors

[mkroes]

ReFS?

[DrDoo]

A4- schreef op maandag 02 september 2013 @ 08:00:
Om ZFS netjes te laten werken onder ESXi moet je 1 HDD controler helemaal doorgeven aan ZFS. Dat zijn in bovenstaande configuratie alle Sata poorten. ESXi zul je samen met je ZFS OS op een USB stick moeten zetten tenzij je voor een extra HDD-controler gaat.

Ik zal ESXi booten van USB. Vervolgens gebruik ik de 2.5" HDD als local datastore op de interne poorten van het mobo. Hier maak ik vervolgens de ZFS VM (ZFSguru of nas4free) op aan. De IBM M1015 controller geef ik middels DirectPath i/o door aan mijn ZFS VM.

A4- schreef op maandag 02 september 2013 @ 08:00:
Verder zou ik je SSD inzetten als L2ARC(lees-cache), als je 2 SSD's hebt kun je ook veilig ZIL(scrijf-cache) gebruiken.
Door het gebruik van een SSD als L2ARC kun je het geheugen wat ZFS nodig heeft om te performen verkleinen.
Het minimum geheugen nodig om alle beschikbare L2ARC te kunnen gebruiken is als volgt te berekenen:
( L2ArcSize / recordSizeOfPool ) * 180 = arc_meta_limit
(180 = ZFS pointer grootte)
arc_meta_limit is normaal gesproken ca 50% van het geheugen wat ZFS kan aanspreken.
Voorbeeld:
128 GB SSD en 8K recordsize ->
( 128 / 8192 ) * 180 * 2 = 5.6 GB puur voor ZFS om volledig gebruik te maken van alle beschikbare L2ARC

Dus als je het ZFS OS zo'n 8 GB geeft wordt, als de L2ARC opgebouwd is, 128 GB van de meest gelezen data (blocks) met SSD snelheid geserveerd. de rest op de snelheid van je HDD's.

8GB was ik inderdaad al een beetje bang voor. Dan hou ik maar 24GB - 2GB voor ESXi zelf = 22GB voor Virtuele machines over wat niet al te veel is...

A4- schreef op maandag 02 september 2013 @ 08:00:
Dedupe zou ik niet gebruiken, veel te traag en vraagt 2-3 GB Ram per TB aan data.

Als de hele raid set door het gebruik van een L2ARC snel genoeg wordt dat ik 20+ VM's kan draaien dan heb ik niet persee Dedup nodig. Mocht ik echter toch de SSD moeten gebruiken om fatsoenlijke snelheden te halen met het booten van 2-3 VM's of het clonen etc. Dan zal Dedup een keiharde eis zijn. Anders zit 256GB SSD namelijk erg snel vol.

A4- schreef op maandag 02 september 2013 @ 08:00:
Uiteraard zou je het even kunnen testen, dan weet je zeker of het snel genoeg is.

Ja ik ga uiteraard testen. Alleen dan waarschijnlijk met 3x 4TB. Een extra schijf ga ik pas kopen op het moment dat de performance acceptabel is.

A4- schreef op maandag 02 september 2013 @ 08:00:
Verder lezen:
reviews: Opslagnetwerken met zfs en Comstar
Wikipedia: ZFS
Het grote ZFS topic

Ja vooral de laatste al heel veel gelezen. Maar het is zoveel informatie....
In ieder geval bedankt voor je uitgebreide uitleg!

[Q]

Als je voor de windows route kiest heb je een hardware raid controller nodig. Maar dan ben je wel klaar. Als je dat RAM kunt missen dan is ZFS ook prima. ZFS is beter voor de data integriteit. Maar de vraag is of je hier in je thuis situatie paniekerig over zou moeten worden.

Hele bedrijven draaien nog op platformen zonder data checksumming. En toch vergaat de wereld niet. Zelf zou ik misschien een appart doosje neerzetten voor de storage en een ander doosje als VM host.

[Ultimation]

Is het niet een idee om de ZFS machine te splitsen van de ESXi host? Zit ik zelf ook al een tijdje aan te denken.

[DrDoo]

Q schreef op maandag 02 september 2013 @ 10:41:
ZFS is beter voor de data integriteit. Maar de vraag is of je hier in je thuis situatie paniekerig over zou moeten worden.

Op zich werd/wordt ik hier zeker niet paniekerig van. Ik heb altijd gezegd, lekker belangrijk als ik 2TB aan films kwijt ben. Maarja...met 4TB disken wordt het toch wel wat serieuzer. Zeker gezien het feit dat je RAIDz kan draaien zonder echt grote opofferingen lijkt me dat toch een logischere keuze (op het mem gebruik na dan..)

Ultimation schreef op maandag 02 september 2013 @ 11:00:
Is het niet een idee om de ZFS machine te splitsen van de ESXi host? Zit ik zelf ook al een tijdje aan te denken.

Dat is natuurlijk wel erg mooi. Maar kost toch weer extra stroom en extra aanschaf kosten. (En geen plek in de meterkast haha).

Ik ga het gewoon testen hoe de performance is. Ik kan natuurlijk gewoon 4x 4TB in een RAIDz pool zetten voor mijn Media Collectie (Hier is geen hoge performance voor nodig). En vervolgens de SSD los aanbieden voor de VM's en hier dedup op aanzetten. Uiteraard ga ik wel eerst testen om de SSD als L2ARC in te zetten of de hele pool dan snel genoeg wordt om VM's vanaf te runnen.

[Q]

Ultimation schreef op maandag 02 september 2013 @ 11:00:
Is het niet een idee om de ZFS machine te splitsen van de ESXi host? Zit ik zelf ook al een tijdje aan te denken.

Storage van je VM host scheiden geeft alleen maar extra flexibiliteit. Het kost meer hardware en als de boel aan staat ook meer stroom.

Ik heb al mijn apparatuur uit staan en boot spul alleen als het nodig is via wake-on-lan. En dat bevalt mij al 4 jaar goed.

Echter, ik heb geen gescheiden VM host / storage oplossing. Als je op dat platform ook nog je download host gaat draaien, dan is dat minder handig omdat zowel host als storage aan moet staan.

Als je het storage stukje gewoon inricht als NAS + SAN, dus zowel SMB/NFS shares als iSCSI aanbiedt en daarop dan wat download software draait als enige add-on, dan zou dat wel prima werken denk ik. Normaal hou je je storage helemaal schoon, maar het gaat om thuis.

Je VM host hoeft dan alleen aan voor het experimenteren.

[Ultimation]

Je zou natuurlijk ook de ZFS machine kunnen voorzien van download software. Zit volgens mij aardig ingebakken in ZFSGuru. Gezien je storage machine van een minder stroom zuipende processor kan voorzien , zou hij sowieso (wanneer idle) zuiniger moeten zijn dan een 'all-in-one' virtualisatie server.

Maar extra hardware is altijd duurder.

[ Voor 6% gewijzigd door Ultimation op 02-09-2013 22:00 ]

[benieuwd]

Is hier al iets concreets uit voortgekomen?
Ik zou graag lezen over de oplossing die je gekozen hebt en hoe je dit hebt geimplementeerd.

[_-= Erikje =-_]

let ook dat er wel wat verschil in iSCSI target software zit (met name reservations etc die voor vMotion etc nodig zijn)