Freenas Built - Sanity Check

[ErikB]

Wat wil je doen met je nieuwe systeem?
Freenas: (automatische) backup van al mijn devices en computer/laptop etc.
Off-premise backup | Encryptie | Redundancy.
Downloadbak: Mijn NVidia Shield moet hier zijn films/seris vandaan gaan halen. Couchpotato etc.
PLEX: Ik zit veel in hotels, mijn Transformer Pad Infinity vind ik enorm langzaam (ook na fresh install), dus wil op afstand toegang en alles al 'pre-rendered' die kant op sturen.
Ook eventueel een Raspberry Pi bij mijn ouders die vanaf de NAS films e.d. moeten kunnen bekijken.

Wat mag het systeem gaan kosten?
Geen maximum, gewoon de beste keus qua prijs/kwaliteit.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Nee

Wat verwacht je van ons?
Wat vinden jullie van de huidige setup?
1. Vanwege FreeNas: ECC geheugen en dito Moederbord --> Is er een betere combi?
2. Kast: Er zijn behoorlijk wat opties, zie onderstaand lijstje --> Welke moet ik kiezen en heb ik er een paar over het hoofd gezien?
3. Voeding: Zie onderstaand lijstje ---> Welke is de beste keuze? (mis ik nog wat?)
4. HDD's: Ik wil 1x 3TB als losse partitie om te downloaden, geen back up nodig.
De backupschijven wordt of Raid-Z1=> 2x 3TB, dus maar 1 redundancy. (dan HGST vanwege laagste uitvalpercentage)
OF Raid-Z3 => 4x 2TB, dus 2 maal redundant.
--> Wat zouden jullie adviseren?

5. Enige andere opmerkingen/aanvullingen/goede tips??

Alvast heel hartelijk dank, jullie helpen me er enorm mee!


Totaal (zonder HDD's)

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100 Boxed	€ 117,95	€ 117,95
1	Gigabyte GA-X150M-PRO ECC	€ 108,65	€ 108,65
1	Fractal Design Node 804	€ 104,95	€ 104,95
1	Kingston DataTraveler 100 G3 16GB Zwart	€ 4,76	€ 4,76
1	Crucial CT8G4WFD8213	€ 43,50	€ 43,50
1	be quiet! System Power 7 350W	€ 44,95	€ 44,95
Bekijk collectie Importeer producten		Totaal	€ 424,76

Voeding opties:

#	Product	Prijs	Subtotaal
1	be quiet! Pure Power L8 300W	€ 43,95	€ 43,95
1	be quiet! System Power 7 300W	€ 45,99	€ 45,99
1	be quiet! System Power 7 350W	€ 44,95	€ 44,95
1	Seasonic G-series 360 watt	€ 59,95	€ 59,95
Bekijk collectie Importeer producten		Totaal	€ 194,84

Kast

#	Product	Prijs	Subtotaal
1	Cooler Master HAF XB EVO (mesh version)	€ 94,-	€ 94,-
1	Fractal Design Node 605	€ 136,95	€ 136,95
1	Fractal Design Node 804	€ 104,95	€ 104,95
Bekijk collectie Importeer producten		Totaal	€ 335,90

RAID-Z1

#	Product	Prijs	Subtotaal
2	HGST Deskstar NAS, 3TB	€ 122,-	€ 244,-
1	WD Red WD30EFRX, 3TB	€ 110,50	€ 110,50
Bekijk collectie Importeer producten		Totaal	€ 354,50

RAID-Z2

#	Product	Prijs	Subtotaal
4	WD Red WD20EFRX, 2TB	€ 89,95	€ 359,80
1	WD Red WD30EFRX, 3TB	€ 110,50	€ 110,50
Bekijk collectie Importeer producten		Totaal	€ 470,30

EDIT:
1. ECC geheugen moet Unbuffered zijn, aangepast.
2. Kast opties niet aangegeven.

[ Voor 8% gewijzigd door ErikB op 05-08-2016 17:05 ]

[NiGeLaToR]

Kun je met FreeNAS ook gebruik maken van een hardware encoder voor het encoden van je media? Ik weet dat mijn NAS het erg zwaar heeft bij het encoden, terwijl dat met een hw encoder nauwelijks merkbaar is.
Wellicht speelt dit niet met je gekozen cpu, maar toch.

Edit: vind hier iets om mee te vergelijken, ik twijfel of je i3 dat leuk gaat vinden.
Edit2: hw encoding zou met een GPU in theorie kunnen, maar Plex doet dit nog niet. En een i3 is echt het minimum, je zou een iets potentere i5 kunnen overwegen. Er staat een richtlijn voor passmark, maar zoals bij mijn NAS, die in theorie 1 stream kan encoden, heb ik hier niets aan omdat ie in de praktijk altijd al dingetjes aan het doen is. Encoding past daar dus niet meer bij in mijn geval en werkt niet.

Verder is een RAID variant met enige bescherming op zich wel fijn, ondanks dat je wellicht nog een (offsite) backup aanlegt is een 'disaster recovery' scenario met een kapotte disk echt onprettig. Zeker als je net in een hotel zit, bijvoorbeeld.

[ Voor 38% gewijzigd door NiGeLaToR op 31-07-2016 22:57 ]

[ErikB]

NiGeLaToR,

Dank voor je uitgebreide reactie en 're-checks'!
Er wordt vaak op het forum aangegeven dat de G440 nét 1 Plex stream kan encoderen, en dat de i3 er 'makkelijk' 2 zou moeten aankunnen.
Passmark was iets van 2000 p. stream, en de i3 zit op 5479..
Wordt wellicht wel krap, maar een i5 is ook wel een stuk duurder natuurlijk.
--> Heeft iemand toevallig een i3 met Plex? (2 streams zijn voor mij ruim voldoende).

Jij zou dus eerder voor de Raid-Z2 gaan, waarbij 2 schijven redundant zijn, dan 1 redundant schijf?

[Paul]

Ik draai VMware op mijn NAS, en daar een FreeNAS VM op. Die FreeNAS VM heeft één CPU toegewezen gekregen van VMware, en ik heb een 3.5 GHz exemplaar dat 3 jaar ouder is (url=http://ark.intel.com/compare/64621,90729]Vergelijking tussen de twee[/url]). Ik transcode veel van wat er naar mijn Raspberri Pi gestuurd wordt omdat die het niet helemaal trekt wanneer de bandbreedte boven de 6 (of zo, uit mijn hoofd) Mbit uit komt (100 Mbit Ethernet aan een USB-poort op een niet al te sterk processortje) en dat gaat probleemloos met één core van een 3 jaar oude 3.5 GHz'er. Die gloednieuwe 2-core-en-HT 3.6 GHZ'er moet mijns inziens dus probleemloos 2 dingen tegelijk kunnen transcoden.

Of je tegelijkertijd ook kunt downloaden gaat waarschijnlijk meer van de harddisks afhangen dan van de CPU.

Qua redundancy: Je kunt wel alles opnieuw downloaden, maar dat is wel veel werk. Als je er dan toch 3 schijven in wilt zetten kun je net zo goed je downloads ook "beschermen" tegen schijfuitval, koop 3 schijven van dezelfde grootte (3TB?) en je hebt 6TB netto beschermd ipv 3TB netto beschermd en 3TB onbeschermd.

Ik weet niet met welke software je wilt gaan backuppen maar een andere optie is die backup-schijf/schijven achterwege laten en voor ~€130 per jaar een Family-account nemen bij CrashPlan. Er zijn handleidingen hoe je FreeNAS richting CrashPlan backupt en dan heb je nog 9 computers die je kunt beschermen met software die automatisch alles upload en monitoring die je mailt wanneer iets te lang niet gebackupt wordt.

[Oyster]

Vergeet niet dat een raidz rebuild zomaar een halve dag kan kosten, afhankelijk van de grootte van je schijven. Mogelijk is het dan handiger om twee disks in mirror te plaatsen en een derde als hotswap te gebruiken. Effectief heb je dan 3GB redundant en 3GB hotswap. De hotswap kan je ook gebruiken, maar moet je mogelijk vernietigen als je hem nodig hebt. Daarbij is de rebuild tijd van een mirror echt heel erg veel korter. Mogelijk een interessante optie als je alles remote moet doen, je hebt immers altijd een hotswap. Geen idee of dit idee verder erg nuttig voor je is, maar misschien heb je er iets aan.

[NiGeLaToR]

Blijft een kosten-baten afweging. 9Tb diskspace voor effectief 3Tb gebruik is wat duur.
Ik heb JBOD zonder bescherming, maar wel een backup op externe disk en een offsite DR-replica van data. Vond het niet nodig ook nog een RAID bescherming te nemen, aangezien dat niet als backup fungeert.

Qua performance discussie merk ik dat mijn Syno nas al zoveel standaard taken heeft dat het theoretische kunnen realtime kunnen converteren van 1 stream niet meer gaat, dus of de CPU snel genoeg is hangt af van hoeveel CPU-cycles er echt over blijven voor het streamen

[ErikB]

@Paul:
Dank voor je reactie!
- Ik ga op de i3 gokken. Twee streams tegelijkertijd is sowieso een uitzondering, dus het zal wel goed komen, en anders kan ik altijd nog upgraden.
- Qua redundancy voor het downloaden. Ik dacht altijd dat iets alleen redundant was als je hem volledig redundant kon uitvoeren, dus 1:1, maar je geeft aan dat 2:1 ook gewoon werkt? Of is dit toch een mindere optie?
Het enige nadeel is wel dat de 'snapshot' voor een off-premise back-up dan wel groot wordt, en veel veranderd. Of is hier iets slims voor te verzinnen?
- Cloud alternatieven zijn erg interessant, maar vind het een fijn gevoel om zelf eigenaar van mijn data te zijn.

@Oyster,
Ik weet niet exact wat een hotswap is, maar ik ga het eens googlen! Dankjewel

@NiGeLaTor,
Wederom dank voor je reactie!
Het wordt inderdaad allemaal wel een duur verhaal, maar ik heb zoiets van áls ik het doe...

[Paul]

ErikB schreef op dinsdag 09 augustus 2016 @ 21:55:
- Qua redundancy voor het downloaden. Ik dacht altijd dat iets alleen redundant was als je hem volledig redundant kon uitvoeren, dus 1:1, maar je geeft aan dat 2:1 ook gewoon werkt? Of is dit toch een mindere optie?

Redundant: Je hebt meer dan dat je strikt bezien nodig hebt voor het geval er iets stuk gaat. Bij 1:1 kan er 50% stuk gaan, en als je maar één dataschijf hebt dan kom je automatisch op 1:1 uit, maar er zijn meer opties Je noemt zelf al RAID-Z1 en RAID-Z2, dat zijn manieren om X dataschijven en één of twee parity-schijven te hebben (al wordt die parity gedistribueerd over alle schijven in de array, het kost je één of twee (en bij RAID-Z3, drie) schijven aan ruimte).

Met RAID-Z1 kun je dus de uitval van één schijf overleven zonder naar de backup terug te hoeven grijpen, met RAID-Z2 zijn dat er twee. Je wil dus eigenlijk niet teveel (5 wordt zo'n beetje als maximum gezien door de meeste mensen) schijven in één RAID-Z1 array stoppen omdat dan de kans van een 2e fout / uitval tijdens het rebuilden / resilveren steeds groter wordt.

Een nadeel aan ZFS is wel dat je niet van het ene RAID-niveau naar het andere kunt schakelen, en ook uitbreiden kan maar op twee manieren: één voor één de schijven vervangen door grotere waarna je op het eind in één keer alle extra ruimte erbij krijgt, of door je pool uit te breiden met extra vdevs (arrays). In dat laatste schuilt wel een gevaar, want je kunt een vdev niet verwijderen uit een pool, en je pool is net zo veilig als het minst veilige vdev. Als je een pool hebt met daarin 3 RAID-Z2 vdevs en één losse schijf, en die ene schijf gaat stuk, dan ben je ALLES kwijt.

Geen onoverkomelijke bezwaren, maar wel iets waar je je van bewust moet zijn. Het advies is dus: Opletten wat je doet bij het aanmaken en aanpassen van pools

Het enige nadeel is wel dat de 'snapshot' voor een off-premise back-up dan wel groot wordt, en veel veranderd. Of is hier iets slims voor te verzinnen?

ZFS kan snapshots maken van de hele pool, maar ook van losse datasets (directory on steroids Je kunt per dataset van alles instellen zoals quota, deduplication [kost bergen met RAM of bergen met performance, als je pech hebt beiden], compressie...). Als je dus je downloads op de ene dataset en hetgeen je offsite wil kopiëren op een andere dataset dan hoef je alleen die tweede maar te senden/receiven

Wat ZFS (en FreeNAS) ook kan is encryptie. Dit werkt wel op pool-niveau maar dit encrypt je hele harddisk. Als je de passphrase / keys / recovery keys kwijtraakt kun je onmogelijk meer bij je data, en iedere reboot zit de boel op slot totdat je de passphrase of keys invoert, maar zo weet je wel zeker dat bij diefstal (of het retourneren van een defecte schijf naar de fabrikant) men niks met je data kan

[ErikB]

Excuus voor de late reactie weer, maar ik ben er eindelijk uit!
Dank allemaal voor de zeer waardevolle feedback!!

het is geworden:

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100 Boxed	€ 114,80	€ 114,80
1	Gigabyte GA-X150M-PRO ECC	€ 105,65	€ 105,65
3	HGST Deskstar NAS, 3TB	€ 119,50	€ 358,50
1	Fractal Design Node 804	€ 101,-	€ 101,-
1	Kingston DataTraveler 100 G3 32GB Zwart	€ 8,89	€ 8,89
1	Crucial CT8G4WFD8213	€ 46,31	€ 46,31
1	Corsair CX450M	€ 52,95	€ 52,95
Bekijk collectie Importeer producten		Totaal	€ 788,10

De redenen:

1. i3 zou voldoende moeten zijn voor 2 Plex streams
2. ECC omdat ik niet wil dat er gedurende wegschrijven fouten kunnen ontstaan in mijn backup. Freenas lost 'alles' op op het moment dat het goed weggeschreven is, maar ik wil niet de dupe zijn van corrupt wegschrijven bij data waar ik niet vaak meer naar kijk
3. HDD's: Toch gekozen voor 'maar' 3 schijven. Deze komen in RAID-Z1. De reden is dat up-time me minder uitmaakt, het gaat er meer om dat de data veilig is. Dat los je niet op met betere redudantie, maar met off-site back-ups.
   Daarnaast HGST als merk omdat die gemiddeld de laagste uitval hebben. (wel iets duurder, maar ik bespaar omdat ik er minder neem)
   Dit ga ik dus ook doen.
   Zoals Paul heeft omschreven: 1 pool, meerdere datasets (backup van mij, backup van anderen, film/series). Waarbij alleen de dataset 'backup van mij' wordt gedeeld met anderen).
   De gehele pool zal encrypted worden.
4. Kast biedt veel ruimte, goede koelmogelijkheden en is niet lelijk
5. Stickje: In plaats van een USB stick kun je ook een SSD gebruiken, maar het is niet aan te raden deze in je pool op te nemen, dus je hebt er niks aan. Een aparte SSD kun je wel in je pool toevoegen, maar dit heeft alleen zin in bepaalde use-cases (In deFreenas handleiding wordt uitgelegd waar dat voor is).Voor mij maakt het in ieder geval niet uit.
6. Let op: geheugen aangepast naar ECC, niet registered. Dat registered/non-registered moet passen met je CPU, dus let daarop. Paul weet daar veel van.
7. [/li]
8. Let op: de standaard voeding die veel mensen kiezen is niet per se een hele goede. Lees de startpost van dit topic, en je bent een stuk wijzer

Nogmaals: allemaal hartelijk dank!
-> Mochten er van anderen weer vragen aan mij zijn, let me know

[adrie1975]

Hallo, ik ben ook een beetje aan het rondkijken voor een freenas systeem met eigenlijk dezelfde mogelijkheden als jij. Nu ben ik benieuwd of je dit systeem nu al hebt en hoe het allemaal loopt.

Gr Adrie Pols

[AjDuLion]

begrijp ik goed dat je 2x3tb in raid 1 wilt draaien en 1 3tb los wilt houden (afgezien van het z1 verhaal)

in mijn ervaring is single disks met zfs echt geen pretje.. een simpele error correctie wat zfs repareerd in een z1 omgeving gaat je errors geven op je single disk... (ik heb een half jaar met die error gedraaid mn plugins waren dood de rest werkte prima maar was toch een vervelend iets)

koop ook 2 usb sticks en mirror je freenas boot (ook hier.. ervaring usb disk ging dood freenas pleite.. geen config opgeslagen en mocht mn mirror importeren ><)

anders dan dat go for it.. ziet er verder prima uit!

[Paul]

AjDuLion schreef op donderdag 20 oktober 2016 @ 13:05:
in mijn ervaring is single disks met zfs echt geen pretje.. een simpele error correctie wat zfs repareerd in een z1 omgeving gaat je errors geven op je single disk...

...wat niet anders is dan 100% van alle andere filesytems Stuk is stuk, en als je niks hebt om het mee te repareren...

In zijn laatste post heeft ErikB het over 1x 3TB in RAID Z1

[AjDuLion]

Paul schreef op donderdag 20 oktober 2016 @ 15:03:
[...]
...wat niet anders is dan 100% van alle andere filesytems Stuk is stuk, en als je niks hebt om het mee te repareren...

In zijn laatste post heeft ErikB het over 1x 3TB in RAID Z1

ja en nee.. zfs doet iets met ''zelf healing'' dan een standaard jbod.. en als er dan een bitje omvalt of iets dan gaat ie sneller zeuren

ik zou zfs dus totaal niet gebruiken voor 8 schijven in jbod als 2 groot archief, daar zijn betere dingen voor..

imo zolang je z1 draait no worries komt goed

[Paul]

Dat het gaat zeuren als er een bitje omvalt is juist één van de key features van ZFS, het is aan jou de keuze om ZFS de optie te geven dat te corrigeren of om het alleen maar te signaleren

Het werkt dus ook niet per se slechter met een JBOD dan bijvoorbeeld NTFS, alleen bij NTFS weet je pas dat het niet meer werkt wanneer je het bestand wil lezen, bij ZFS weet je het al bij een scrub

[ErikB]

Interessante discussie weer!
Het is uiteindelijk inderdaad de 3x Z1 geworden.
2 USB sticks ga ik doen, kost toch niks, en wel zo lekker dan.

@Adrie,
Nee ik heb het helaas nog niet staan, wilde begin deze maand aan de slag, maar vanwege drukte had ik andere prioriteiten.
Ik hoop er in november aan toe te komen.
Mocht jij eerder zijn, laat me dan zeker weten hoe het liep!