[NAS+ZFS] Aanschafadvies NAS/download

[Lucleo]

Ik ben van plan een eigen NAS te bouwen. Na een aantal jaren ervaringen te hebben opgedaan met o.a. D-link, Iomega, WD-My Book live en Synology wordt het tijd voor meer vrijheid. Zeer vervelend als je niet kunt uitbreiden en een geheel nieuw apparaat moet aanschaffen. Ook is de data nu verspreid over meerdere apparaten van meerdere fabrikanten, wat het beheer niet makkelijk maakt.

Waar wordt het voor gebruikt?
Opslag van audio, foto's, projecten en andere data. Wordt ook van afgewerkt, niet lokaal op computer opslaan maar direct van NAS werken. Dit wordt gebackupd en is samen ongeveer 2,6TB. De rest (ca 10TB) is multimedia die niet 'belangrijk' is, als het verloren gaat is het jammer maar niet levensbedreigend. Plus een downloadstation in de vorm van SABnzbd icm met o.a. sickbeard en CoachPotato.

Budget
€1800

Eisen

• Zeer stil (weinig hitte produceren + lage rpm's van fan/bewengende onderdelen)
• Grote opslag minstens 8 keer 4TB van Seagate (RAIDZ2, 2 schijven redundant) Over deze raidcontroller heb ik veel gelezen: http://tweakers.net/price...troller-for-system-x.html Deze dan flashen naar IT-mode is mijn idee.
• Mogelijkheid tot bijplaatsen HDD's (tegen die tijd nieuwe kast?)
• Meerdere gebruikers HD films/foto's kijken.
• ZFS dus veel RAM!(?)

'Zachte eisen'

• Zuinig/Lage energierekening

Software

• OS dacht ik aan FreeNAS, grote community + veel beschikbare plugins
• Sabnzbd, Sickbeard, CouchPotato, Headphones, Maraschino
• kleine php website plus database

[ Voor 59% gewijzigd door Lucleo op 25-08-2013 19:49 ]

[basdej]

Ik zou persoonlijk 2 systemen maken, een wat goedkopere oplossing voor de onbelangrijke data, en een zeer redunant systeem voor je belangrijke data met eventueel nog een backup bij amazon oid.

[HyperBart]

Afgaand op het feit dat je eist dat je 8 x 4TB wilt, veronderstel ik dat je weet dat je netto iets van een 22 TB wilt overhouden.

Je wilt dubbele redundantie. Maar met die grootteorde van spindles/disks is je aantal HDD's in combinatie met je gewenste RAIDZ-niveau niet optimaal. Je gebruikt 4K-schijven, dus het is dan bij RAIDZ2 aan te raden om oftewel 4, 6 of 10 disks te gebruiken. Daar ga je voor jezelf even de afweging moeten maken... 6 disks lijkt me nog het optimale in jouw geval, maar dan heb je wel een stukje minder capaciteit. Als je naar 10 disks wilt gaan zit je alleen al met je disks aan 1700 EUR.

Aangezien je een website en DB wilt hosten, lijkt het me wel leuk om dat van SSD te laten komen. Je grote dikke storage pool kan dan ook in spindown blijven.

Die M1015 is inderdaad de "go to" controller voor ZFS-systemen mits je onboard SATA poorten niet toereikend zijn.

Ik freewheel even:

#	Product	Prijs	Subtotaal
1	Intel Celeron G1610 Boxed	€ 36,83	€ 36,83
1	ASRock B75 Pro3-M	€ 55,50	€ 55,50
6	Seagate ST4000VN000, 4TB	€ 170,-	€ 1.020,-
2	Crucial CT102464BA1339	€ 53,49	€ 106,98
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Crucial 2.5" M500 240GB	€ 133,-	€ 133,-
2	Samsung 840 EVO 250GB	€ 149,-	€ 298,-
Bekijk collectie Importeer producten		Totaal	€ 1.826,89

Als je nu goed kijkt, zie je dat je 3 SSD's in je systeem hebt zitten:

De Crucial is uitgerust met capacitoren die toelaten om bij een stroomfalen de writes nog weg te schrijven naar het geheugen. Daardoor is deze SSD prima in te schakelen als ZIL. Om 100% veilig te zijn zou je nog kunnen denken om deze te mirroren.

De Samsung EVO's zijn op dit moment een van de snelste SSD's. Aangezien je website niet ZO groot is als ik je ondertoon wat vat, dan kan je deze SSD's prima partitioneren en wel zo:

1 partitie op iedere SSD en deze alle 2 apart toevoegen aan L2ARC
1 partitie op iedere SSD en deze in mirror zetten

Op de mirror kan je dan prima je website + DB hosten.

Bovenstaand schemaatje van het partitioneren van SSD's gooi ik nog wel hierbij even in de groep, misschien kan een collega-tweaker daar nog wat interessants over zeggen.

Het moederbord is een consumentenmoederbordje wat by far het enige mobo is wat op dit moment 8 SATA poorten kan aanbieden en toch nog bijzonder zuinig is. Het is eigenlijk een beetje de default oplossing die we mensen aanraden die thuis een NAS willen bouwen op basis van ZFS (of andere FS'en for that matter). De CPU is hier al een aantal maal voorbij gekomen en is qua bang for the bucks en performance per watt zowat de uberdeal op dit moment. Aan geheugen heb je in mijn optiek ook geen gebrek. De enterprise (!!!) vuistregel van 1GB RAM per 1TB storage van ZFS is in mijn optiek voor thuis omgevingen HELEMAAL NIET van toepassing, een thuis-NAS komt met pure NAS-functionaliteit al vlot toe met 8GB, maar omdat je misschien nog wat wilt virtualiseren met VirtualBox (niet echt aan te raden, want superperformant is het niet) is 16GB wel leuk. Je zit met 4 geheugen-banken, dus je kan later prima upgraden naar 32GB.

Als we op de een of andere manier 1 SSD minder nemen, dan kan je de M1015 helemaal laten vallen en kom je nu vandaag toe met je SATA poorten op je mobo. Later kan je dan opteren voor een M1015 als je wilt uitbreiden...

EDIT: aangezien je toch alleen maar media serveert (pure NAS) en je services op je EVO's draaien, kan je eigenlijk je M1015 en je M500 laten vallen. Later kan je als je wil toch nog een M1015 aanschaffen als je wilt uitbreiden...

Dan ziet het kostenplaatje er als volgt uit:

#	Product	Prijs	Subtotaal
1	Intel Celeron G1610 Boxed	€ 36,83	€ 36,83
1	ASRock B75 Pro3-M	€ 55,50	€ 55,50
6	Seagate ST4000VN000, 4TB	€ 170,-	€ 1.020,-
2	Crucial CT102464BA1339	€ 53,49	€ 106,98
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
2	Samsung 840 EVO 250GB	€ 149,-	€ 298,-
Bekijk collectie Importeer producten		Totaal	€ 1.575,31

Dit is eigenlijk de beste combinatie die je kan maken met het minste concessies op functionele noden. Je kan wel spelen met een ashift property om ZFS duidelijk te maken dat er 4K schijven gebruikt worden, maar ik weet nu niet of dit de performance penalty volledig wegnam of gewoon sterk minimaliseerde... Dat zou je eens moeten navragen in het ZFS topique.

Als je echt niet wilt afwijken van de capaciteit:

#	Product	Prijs	Subtotaal
1	Intel Celeron G1610 Boxed	€ 36,83	€ 36,83
1	ASRock B75 Pro3-M	€ 55,50	€ 55,50
8	Seagate ST4000VN000, 4TB	€ 170,-	€ 1.360,-
2	Crucial CT102464BA1339	€ 53,49	€ 106,98
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Samsung 840 EVO 250GB	€ 149,-	€ 149,-
Bekijk collectie Importeer producten		Totaal	€ 1.884,89

De SSD laat je dan fungeren als boot-drive en eventueel als L2ARC, dat is eventueel handig als je over het netwerk bestanden zit te editen. Een ZIL is dan ook eigenlijk nog altijd wel een must, maar dan moet je die concessie maar maken dat het wat trager gaat...

Dan zit je een kleine 90 EUR over budget, heb je wel al je capaciteit en dan draai je alles vanaf 1 SSD (maak dan aub wel backups ) . Maar dit vind ik ook zo een shit-solution. Want je schaft dan zomaar even een M1015 aan om 2 extra SATA devices aan te kunnen sluiten, een simpele SATA controller is dan ook wel OK, maar ik vind het een beetje onzinnig. Dan heb ik zoiets van: bijt de (hele) zure appel door, koop ineens 10 schijven en ga dan voor:

#	Product	Prijs	Subtotaal
1	Intel Celeron G1610 Boxed	€ 36,83	€ 36,83
1	ASRock B75 Pro3-M	€ 55,50	€ 55,50
10	Seagate ST4000VN000, 4TB	€ 170,-	€ 1.700,-
2	Crucial CT102464BA1339	€ 53,49	€ 106,98
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Crucial 2.5" M500 240GB	€ 133,-	€ 133,-
2	Samsung 840 EVO 250GB	€ 149,-	€ 298,-
Bekijk collectie Importeer producten		Totaal	€ 2.506,89

Dan zit je ineens wel 700 EUR over budget (auwtch ) maar dan heb je het ook wel op alle gebieden prima.

Meer valt er echt niet uit te persen lijkt mij.

Dus! Zeg het eens, waar ga je op inleveren?

[ Voor 73% gewijzigd door HyperBart op 25-08-2013 22:30 ]

[HyperBart]

Hold it! Ik heb net je post er nog eens op nagelezen, en je hebt een pool waar je je downloads op wilt zetten en eentje met je eigen media. Wat zeg je hier van:

#	Product	Prijs	Subtotaal
1	Intel Celeron G1610 Boxed	€ 36,83	€ 36,83
1	ASRock B75 Pro3-M	€ 55,50	€ 55,50
6	Seagate ST4000VN000, 4TB	€ 170,-	€ 1.020,-
3	Toshiba PA429xE-1HN0, 3TB	€ 93,90	€ 281,70
1	Crucial CT102464BA1339	€ 53,49	€ 53,49
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Crucial 2.5" M500 240GB	€ 133,-	€ 133,-
1	Samsung 840 EVO 250GB	€ 149,-	€ 149,-
Bekijk collectie Importeer producten		Totaal	€ 1.906,10

(met dank aan FireDrunk voor het out of the box thinking van het combineren van de SSD's hieronder)

Je bouwt je 2 pools op met je HDD's. De grote pool RAIDZ2, niks bijzonders. De kleine pool met eigen gemaakte data backup je toch nog eens zei je, en het aantal spindles is aanvaardbaar laag om toch nog voor RAIDZ te kiezen.

Je maakt volgende partities en combinaties:

1 partitie op iedere SSD en deze mirror je als ZIL. Je combineert hierbij de veiligheid (maar ook de relatieve traagheid van) de M500 met het redundantieprincipe samen met de EVO.

Op de EVO voorzie je een partitie voor L2ARC en een partitie voor je DB en website.

10GB voor ZIL is zat genoeg. L2ARC is 40GB prima. Dan neem je nog 100GB voor je site en DB en nog eens 5GB voor je OS installatie. Dan hou je nog 95GB over voor overprovisionering om je SSD lekker performant te houden.

In het slechtste geval is die EVO de bottleneck, maar dan mag je al gek gaan doen...

Hier heb je wel maar 8GB RAM geheugen...


Choose your poison!

[FireDrunk]

Wat hij zegt ^^

[Lucleo]

Wauw wat een reacties, ik zit alleen een beetje in dubio. Ik zelf wil wel wat meer ruimte dan 4*4TB. Dus de optie met 10hdd is waar ik naar streef. Ik heb over het hoofd gezien dat de Raidz2 een specifiek aantal hdd vraagt.

Daarnaast zie ik dat nog iets verder moet duiken, ZIL en L2ARC snap ik al een klein beetje maar nog niet voldoende.

Over de 10hdd gesproken als ik goed tel heb je 13 sata-600 van de hdd's maar niet genoeg uit het moederboord+raidkaart. Is bij een raidz2 vdev niet van belang dat alles schijven op dezelfde snelheid zitten? Of zie je dit anders.

Wat er nog aan ontbrak is een kast. Met enig geknutsel kan ik het hier http://tweakers.net/price...hrio-310-silent-case.html in huisvesten. Of hebben jullie daar een andere (betere) oplossing voor. Ook ivm airflow.

Nogmaals bedankt voor de uitgebreide reactie, ik ga er zeker mee aan de slag. Maar ik denk dat even sparen er ook bij hoort.

Thanks!

[FireDrunk]

10 HDD's in die kast? Beetje lastig... Ik zou voor een Norco of een grote Fractal gaan, maar goed, dat kan je prima zelf uitzoeken.

L2ARC is het secundaire caching mechanisme van ZFS, het primaire gebeurt in RAM. Met L2ARC word er data volgens een speciaal caching algoritme op een SSD geplaatst zodat dit snel beschikbaar is.

ZIL is een mechanisme waardoor Synchrone (vooral Random) writes opgevangen kunnen worden, waardoor je harde schijven sequentieel kunnen blijven schrijven en dus 'full-power' door kunnen gassen.

Voor 10 disks gevirtualiseerd heb je dus minimaal 2 controllers of 1 16-poorts controller nodig.
Je kan de onboard poorten namelijk niet doorgeven aan een VM.

Ik zit weer eens te slapen, je wil helemaal geen virtualisatie, ik haal meerdere posts door elkar.

Met een ASRock B75-Pro3-M (8*SATA) en een M1015 (8*SAS/SATA) ben je er dus al.

[ Voor 12% gewijzigd door FireDrunk op 27-08-2013 21:11 ]

[DRAFTER86]

Ik volg de diverse ZFS draadjes al een tijdje, en ik vraag me nu altijd af hoe significant de performance hit is bij een niet optimaal aantal disks?
Het is toch wel enkel een performance hit? Of zijn er nog meer problemen?
(Excuus dat ik zo inbreek in deze thread, maar het leek me wel relevant...)

[HyperBart]

FD kan dat van die performance penalty nog eens uitleggen, he lieve FD?

@TS: Je hebt idd 13 poorten nodig. Daarom de IBM M1015 (=8 poorten) en je onboard poorten (=8 poorten)

Doe eens gek: deze vond ik net in de PW:

reviews: Silverstone Raven 3: een dwarse behuizing

10 x 3,5inch en 2 x 2,5inch

[ Voor 37% gewijzigd door HyperBart op 27-08-2013 21:16 ]

[FireDrunk]

Er is een minimale performance hit omdat je OS nooit een optimale hoeveelheid sectoren ineens opvraagt. Je OS en applicatie werken meestal in veelvouden van 2 of zelfs hoger (veelvouden van 4k is tegenwoordig ook niet gek...)

Bij 4 disks in RAIDZ(1) heb je 3 schijven die daadwerkelijk de data lezen, dus de 128k (of kleiner) van een volledige stripe. Dat is 42,6k per schijf, dat werkt natuurlijk niet, dus moeten je schijven 44k lezen ipv 42,6k.

Hoeveel impact dat daadwerkelijk heeft ligt natuurlijk aan de snelheid van de schijf, en de mate van Random IO. Als je sequentieel aan het lezen bent, en je schijf moet 1000 stripes lezen achter elkaar, merk je er bijna niets van.

(Voorbeeld: Een scrub bij mij gaat gewoon boven de 500MB/s uit, dat is ruim 150MB/s per schijf)

Bij Random IO kan het je wat meer bijten. Met 5 schijven in RAIDZ heb je 4 schijven die elk 32k moeten lezen (bij een record van 128k). Als je schijf 100 van zulke operaties moet doen verspreid over zijn hele schijf is dat een stuk sneller dan als een schijf 100 maal 44k moet lezen.

In getallen is het lastig uit te drukken, maar ik zeg altijd, ga uit van tussen de 5 (best case) en 15% (worst case) verschil.