Nieuwe ZFS NAS - feedback

[MadMike261]

Beste Tweakers,

Ik ben al een poos aan het nadenken over een nieuwe NAS.
Nu zou ik graag van jullie feedback ontvangen om te kijken of ik nog dingen heb gemist.

Reden vervanging
Mijn huidige NAS (~7,5TB bruikbaar, 6x 2TB RAIDZ2) is vol en de HDD's beginnen (SMART) fouten te genereren. Daarnaast wil ik de huidige NAS als pure ESXi Test machine gaan gebruiken.

Gebruik nieuwe NAS:
- Opslag Media
- Streamen films
- Back-ups van desktop / laptop / VM's / images
- OpenVPN (waarschijnlijk als VM)
- Testen van aanbieden storage aan Desktop op verschillende manieren

Uitbreidings features
Momenteel is het vooral belangrijk dat ik weer veilige storage heb. Maar in de toekomst (wanneer de financiën dit toelaten) wil ik de volgende functies nog gaan toevoegen:
- Opslag toevoegen om aan te bieden aan ESXi / Hyper-V machines
- Netwerk uitbreiding (FibreChannel / 10Gbit / meerdere 1Gbit / anders)
- Opslag aanbieden aan Desktop

Hardware

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1240 v3 Boxed	€ 240,75	€ 240,75
1	Asus P9D WS	€ 189,90	€ 189,90
10	WD Red SATA 6 Gb/s WD40EFRX, 4TB	€ 155,50	€ 1.555,-
1	Nanoxia Deep Silence 6 (Dark Black)	€ 198,98	€ 198,98
1	Crucial CT2K16G3ERSLD41339	€ 275,-	€ 275,-
1	LSI SAS 9201-16i	€ 353,31	€ 353,31
3	Crucial 2.5" M500 240GB	€ 106,20	€ 318,60
Bekijk collectie Importeer producten		Totaal	€ 3.131,54

Reden 2x 16GB vs 4x8GB.
Momenteel is 2x 16GB goedkoper en bied meer mogelijkheden voor hergebruik in de toekomst.

Hardware uitbreiding:
- aantal SSD's / HDD's
- Netwerk kaart

Storage indeling
Het doel is om de 10x 4TB in RaidZ2 te zetten.

SSD Partities:
- 2x 160GB Mirrored ZFS on Root, boot partitie
- 2x 20GB Mirrored ZIL/SLOG
- 2x 60GB overprovisioning

- 1x losse SSD als L2ARC (hier 40GB overprovisioning)

Mijn voornaamste intentie voor de L2ARC is het cachen van veel beluisterde muziek zodat de HDD's de kans krijgen om idle te blijven. Daarnaast ook leuk om mee te spelen / testen

Vragen
- Wat voor wattage voeding is aan te raden (incl toekomstige, minimale, uitbreiding)? Aan de hand van beschikbare calculators zat ik te denken rond de 400 - 600 watt. Waar 400 watt als weinig aanvoelt.

- Zit ik met de sizing van de ZIL/SLOG goed?

- Is 32GB RAM hier teveel van het goede? VM(s) zullen vermoedelijk nooit meer dan 4GB gebruiken.

- Zijn er nog Gotcha's die ik heb gemist?

Bedankt voor het lezen en eventuele feedback
- Mike

[Verwijderd]

Mijn huidige NAS (~7,5TB bruikbaar, 6x 2TB RAIDZ2) is vol en de HDD's beginnen (SMART) fouten te genereren.

Kan ik die SMART output ergens zien? In veel gevallen hoef je je over bad sectors geen zorgen te maken als deze na een scrub nog steeds bestaan. Zodra ZFS die gaat gebruiken verdwijnen bad sectors vanzelf; Current Pending Sector in de SMART-output.

Verder wat opmerkingen:

• WD Red is niet nodig; WD Green (WD40EZRX) is prima, tenzij je het prijsverschil een jaar extra garantie de moeite waard vindt; de failure statistieken van een tijd terug suggereren dat Greens vooral in het eerste halfjaar falen, daarna vrij stabiel blijven.
• LSI 16-poort controller is wel een stuk duurder dan 2x IBM M1015 bijvoorbeeld; maar wel mooi voor uitbreiding in de toekomst.
• 20GB voor sLOG is onzin; de grootte van sLOG wordt bepaald door de snelheid van de pool en het aantal sync writes; niet de grootte van de pool. Een snelle 10GB pool heeft dus een grotere sLOG nodig dan een langzame 4000 TB pool. In de praktijk is 1 tot 4GiB ruim voldoende.
• Voeding heb je 100W (systeem) + 160W (10*16W) = 260W nodig qua piekvermogen. Daarna in idle 20 + 30 = 50W. Ga dus voor een goede voeding en bedenk dat je niet teveel vermogen wilt hebben om in de optimale zone van efficiency te blijven.
• Teveel RAM kan eigenlijk niet. Als je het geld hebt zou ik dat persoonlijk wel doen.

En tot slot:

Mijn voornaamste intentie voor de L2ARC is het cachen van veel beluisterde muziek zodat de HDD's de kans krijgen om idle te blijven.

Hierin moet ik je teleurstellen. L2ARC is een intelligente cache die niet zomweg hele files cached; maar alleen random access fragmenten. Grote bestanden die van A tot Z worden ingelezen, worden niet gecached. Stel je hebt een spel met een groot bestand van 10GB en 50% daarvan wordt sequentiëel aangesproken (grote opeenvolgende blokken; 1-2-3-4-5) dan wordt dit niet gecached; hardeschijven zijn hier heel goed in. Maar bij random access (66-12-99-16-44-92) worden hardeschijven en met name RAID-Z heel erg traag en daarbij helpt L2ARC cache; dit soort access wordt gecached.

In de praktijk vooral veel metadata ook, dat is erg nuttig zodat zoekopdrachten en het browsen van grote directories heerlijk snel gaan. Bedenk dat L2ARC in ZFS nog niet 'persistent' is, en dus ook gereset wordt bij elke reboot. Echter, er zijn plannen om dat te veranderen.

[Q]

Leuke setup.

- Ik weet niet hoeveel VMs je wilt gaan draaien op dat ding, 32 RAM klinkt wat veel, dat geld kun je misschien in je zak houden. Voor thuis is 16 misschien wel genoeg, zeker met een L2ARC als compensatie.

- Iedereen is altijd bezig met een SLOG voor het ZIL maar bespaar je de slijtage op je SSD, zet sync writes uit en koop een knappe UPS + apcupsd shutdown (excuus, die heb je natuurlijk al.)

- SLOG is voor mission-critical zakelijk gebruik, voor thuis vind ik het niet nodig. Ieder zijn keuze. (Zie ook mijn ZFS artikel in mijn sig)

- Asus 'WS' = workstation bordje? Wel met ECC, maar is dit een aardig alternatief?:

http://louwrentius.com/an...erver-grade-hardware.html

Dat super micro S9SCM-F bord is al door velen gebruikt: 4 PCIe slots (8x), remote KVM, etc.
Echt leuk bordje Kan een E1230-v2 in die ook nog eens goedkoper is.

Je kunt ipv die LSI 2xM1015 kopen (2x8) en wat geld besparen. (Edit: wat CiPHER dus zegt)

- Je zou een SSD weg kunnen laten en in plaats van zoveel over te provisonen en je OS zoveel ruimte te geven, gewoon een stuk van beide SSDS als L2arc toevoegen.

[ Voor 9% gewijzigd door Q op 07-02-2014 21:35 ]

[EnerQi]

Mij valt op dat ie 13 schijven heeft en 22 aansluitingen (moederbord 6 en 16 via LSI). Dit kun je dus beter veranderen in 14 aansluitingen (moederbord 6 en 8 via de M1015). Scheelt stroom en geld.

Tegen die tijd dat je extra aansluitingen nodig hebt, koop je een 2e M1015 voor nogmaals 8 aansluitingen. Misschien dat er op dat moment de hardware dusdanig geupgrade is, dat je beter voor een nieuwe kunt gaan .

[DXaroth]

EnerQi schreef op vrijdag 07 februari 2014 @ 22:00:
Mij valt op dat ie 13 schijven heeft en 22 aansluitingen (moederbord 6 en 16 via LSI). Dit kun je dus beter veranderen in 14 aansluitingen (moederbord 6 en 8 via de M1015). Scheelt stroom en geld.

Tegen die tijd dat je extra aansluitingen nodig hebt, koop je een 2e M1015 voor nogmaals 8 aansluitingen. Misschien dat er op dat moment de hardware dusdanig geupgrade is, dat je beter voor een nieuwe kunt gaan .

Ik -gok- dat hij met vt-d de hele LSI wilt doorgeven aan zijn ZFS instance, of iig, dat zou ik er mee doen.

[MadMike261]

CiPHER:
Kan ik die SMART output ergens zien? In veel gevallen hoef je je over bad sectors geen zorgen te maken als deze na een scrub nog steeds bestaan. Zodra ZFS die gaat gebruiken verdwijnen bad sectors vanzelf; Current Pending Sector in de SMART-output.

Het zijn helaas niet alleen smart errors. ZFS geeft ook aan dat er de schijven slecht zijn en heeft er pas ook een schijf uitgeschopt. Hij staat momenteel uit, anders had ik even een screenshot gemaakt voor je van de zpool status.

CiPHER:
Verder wat opmerkingen:
- WD Red is niet nodig; WD Green (WD40EZRX) is prima, tenzij je het prijsverschil een jaar extra garantie de moeite waard vindt; de failure statistieken van een tijd terug suggereren dat Greens vooral in het eerste halfjaar falen, daarna vrij stabiel blijven.

Dat is een goeie Ik zal hier zeker naar kijken!

CiPHER:
- LSI 16-poort controller is wel een stuk duurder dan 2x IBM M1015 bijvoorbeeld; maar wel mooi voor uitbreiding in de toekomst.

Ben ik mij van bewust. Had ik er misschien ook bij moeten zetten in mijn originele post.
De voornaamste reden om direct voor een 16 poort controller te gaan is om ruimte te houden voor uitbreiding.

CiPHER:
- Voeding heb je 100W (systeem) + 160W (10*16W) = 260W nodig qua piekvermogen. Daarna in idle 20 + 30 = 50W. Ga dus voor een goede voeding en bedenk dat je niet teveel vermogen wilt hebben om in de optimale zone van efficiency te blijven.

Bedankt voor de bevestiging. Dan ga ik opzoek naar iets wat hierbij goed past. Doel is om minimaal een 80+ Gold certified voeding te kopen.

Betreft de SSD's.
Dan ga ik mij zeker nog even beter inlezen in sLOG en L2ARC. Ik heb ergens gemist dat alleen random access word gecached. Mogelijk dat ik hier een SSD kan besparen door OS + sLOG + L2ARC te combineren op 2 SSD's.

@Q
Ik ben inderdaad in het bezig van een UPS . Ik zal het uitzetten van sync writes onderzoeken.

Ook de keuze van het moederbord zal ik heroverwegen.

DXaroth schreef op vrijdag 07 februari 2014 @ 22:22:
Ik -gok- dat hij met vt-d de hele LSI wilt doorgeven aan zijn ZFS instance, of iig, dat zou ik er mee doen.

Met mijn huidige NAS (zie inventaris) doe ik dat wel. Deze keer wil ik direct op hardware draaien om mijn test omgeving en NAS gescheiden te houden.

Iedereen in iedergeval bedankt voor alle feedback
Ben ik zeer mee geholpen. Tijd bovenstaande punten verder te onderzoeken.