Adviezen om ZFS mediaserver gevraagd

[Ithaca81]

Beste Tweakers,

Om met de deur in huis te vallen; graag vraag ik om jullie kennis en eventuele commentaar op hetgeen ik in gedachten heb in het bouwen van een nieuwe storage computer/ mediacenter / NAS.

Ik heb drie jaar terug een PC gebouwd. Het betreft een simpele configuratie met een Core i3 530 met 4 GB OCZ RAM op een Gigabyte H55M-UD2H bord. Er hangt een Areca ARC-1222 RAID controller aan met 8 F4EG 2TB HDD’s in RAID 5.Dit geheel hangt middels HDMI aan mijn TV en in het thuisnetwerk. Besturingssysteem is Windows 7 X64 en draait op een WD Blue 2,5” schijf. Het systeem draait al bijna 3 jaar naar volle tevredenheid. Slechts eenmaal is een HDD uit het array gegooid. Deze bleek daadwerkelijk niet goed te functioneren volgens de SMART gegevens. De schijf is vervangen en na een succesvolle rebuild was alle data weer op orde.

Mijn probleem is dat de server vol staat. Ik wil de capaciteit dan ook vergroten. Het systeem bevat met name films die via de TV worden gestart en bekeken. Ik wil de server dan ook via mijn toetsenbord via mijn TV kunnen blijven bedienen. Ook draait er een FTP server die met regelmaat gebruikt wordt. Films worden incidenteel gestreamd naar een iPad via Air Video.

Ik heb mij in de afgelopen maanden ingelezen over de non recoverable error rate. Bij de F4EG is een UBER van 10e15 opgegeven. Ik heb een aantal films waarbij na een x tijd afspelen ineens artifacts in het beeld komen en de film (en vervolgens de hele server) vastlopen. Ik vermoed dan ook sluipende datacorruptie in enkele bestanden.

De stukken op T.net over ZFS heb ik ook gelezen. Met name het aspect van uitgebreide controle op het integriteit van de data heeft mijn interesse gewekt. Ik ben dan ook voornemens om de data te migreren naar een ZFS omgeving. Ik wil daarvoor 8 WD RED 6TB schijven nemen. Ik weet dat de WD Green schijven voor ZFS net zo goed zullen functioneren maar de RED schijven bieden 3 jaar garantie.

In de geplande configuratie zal de RAID controller verdwijnen voor een IBM M1015. Ik zal de bios dan flashen naar IT mode zoals wordt aangeraden. Aan deze controller zullen dan 8*6TB WD60EFRX schijven komen te hangen in ZFS RAID-Z of RAID-Z2. Wat is hierbij aan te raden? Voor de veiligheid neig ik op dit moment naar een RAID-Z2 set.

Mijn gedachten gaan er verder naar uit om FreeNAS te installeren op een goedkope en kleine SSD. De Crucial M500 lijkt mij hiervoor geschikt. Ik ken FreeNAS nog niet maar ik neem aan dat het eenvoudig afspelen van media, het opzetten van FTP server en het (eventueel) streamen van films naar een iPad via WiFi mogelijk is.

Er zit nu 4GB RAM geheugen in. Ik weet dat ZFS nogal geheugenhongerig is. Dit zal ik dan mogelijk ook moeten vervangen aangezien OCZ geen intern geheugen meer maakt. Ik heb hier nog niet echt naar gekeken maar het lijkt me dat elk 16GB setje voldoende zal moeten werken. Bijvoorbeeld: pricewatch: Crucial Ballistix Sport BLS2CP8G3D1609DS1S00CEU
Mocht ik dit verkeerd hebben hoor ik het graag.

Ik vraag mij nog wel af of ik de Areca kaart onder FreeNAS herkend krijg om alle gegevens naar de nieuwe datapool te kopiëren. Een driver voor FreeNAS heb ik niet aangetroffen op de website van Areca. De gegevens zouden dan van de RAID-5 datapool naar de nieuwe ZFS pool gekopieerd kunnen worden. Alternatief is om de RAID-5 over te zetten naar mijn PC en de data te kopieren via het netwerk. Dit heeft niet mijn eerste voorkeur omdat het kopieren van 14TB aan data 36 uur duurt.

Graag verneem ik van de meer deskundige aanwezigen of er nog punten zijn die ik over het hoofd zie of beter kan aanpassen. Ik ben geen IT-er maar heb slechts een gezonde interesse in de techniek. Ik dank jullie bij voorbaat voor je nuttige commentaar op mijn gedachten bij een nieuwe (media)server.

[BartNL]

Ithaca81 schreef op woensdag 06 augustus 2014 @ 19:10:...Ik vermoed dan ook sluipende datacorruptie in enkele bestanden....

wanneer je af en toe een scrub draait zou je dat niet hoeven te vermoeden maar zeker weten of kunnen uitsluiten. Bij een 1222 moet scrub denk ik via Areca bios menu.
Het effect van bitrot en uber wordt door de ZFS promotors op Tweakers vaak onnodig overdreven om de voordelen van ZFS meer gewicht te geven. ZFS is zeker een vooruitgang en enige nadeel dat ik er in zie is dat het niet onder Windows werkt. Voor een pure NAS / mediaserver is dat geen belemmering.
De Areca moet je onder ZFS niet gebruiken anders dan misschien om je data over te zetten. Tijd die dat kost zou weinig uit moeten maken en de 36 uur die je zelf noemt lijkt mij wel acceptabel? Wanneer je dit vanavond zou starten is het vrijdag klaar.

[Ithaca81]

Ik draai met zekere regelmaat een scrub. Bijzonderheden zijn daar nooit bij opgevallen.
Jouw advies zou dus zijn om niet de moeite op de hals te halen om de data te migreren naar een andere omgeving als het oude goed werkt? Ook nuttig om in overweging te nemen.

[Verwijderd]

uBER: verdeeld in twee kampen
Over het gevaar van uBER is veel geschreven. Er zijn meningen dat het allemaal niets betekent en overdreven is, en meningen dat consumentenschijven met hoge datadichtheid wel degelijk een reëel risico oplevert indien je legacy RAID gebruikt. In schaar mij onder die laatste groep. Zowel wiskundig als in de praktijk lijkt dit ondersteund te worden.

Wiskundig aangetoond omdat je met uBER kunt uitrekenen dat je bij een full duty cycle tot wel één bad sector per dag per schijf kunt krijgen. In de praktijk zit je misschien 5% duty cycle dus één bad sector per 50 dagen. Nog steeds heel veel. De uBER zal in de praktijk wel iets boven de 10^-14 zitten; dus een redelijke gok is eens per 50 tot 500 dagen. Nog steeds is het risico dan te groot in combinatie met legacy RAID.

In de praktijk aangetoond omdat er toch behoorlijk wat verhalen zijn van schijven die uit RAID sets vallen. Persoonlijk heb ik ook die ervaring, ik heb behoorlijk wat schijven gehad en ook met diverse controllers gewerkt, waaronder Areca (ARC-1220 met firmware 1.42). Daarbij had ik uiteindelijk ook dataverlies geleden op een RAID6 volume met 8 disks. Niet heel ernstig omdat ik over diverse backups beschikte, maar toch schrok ik ervan omdat ik 'mijn Areca' toch in een hoog vaandel had zitten. Persoonlijke ervaringen kunnen echter heel divers zijn en zijn statistisch niet significant. Zo heeft BartNL met véél meer schijven in legacy RAID weer geen problemen. Dat betekent natuurlijk niet dat die er nooit kunnen komen; als hij volgende week zijn array op zijn bek ziet gaan, is het prima mogelijk dat ook hij qua mening opschuift.


Wat is wijsheid?
Ik ben van de stelling dat je gewoon geen gezeik wilt hebben met je data. Liever iets te voorzichtig dan schijnveiligheid creëren met RAID6 en uiteindelijk toch gepakt worden. Zeker als je geen uitmuntende 1:1 incremental backups hebt, heeft ZFS veel meerwaarde. Simpelweg al de detectie zorgt ervoor dat je nooit geen sluipende corruptie meer ondervindt. ZFS is gewoon een véél hoger niveau van databescherming en het kost je helemaal niet zoveel om dat te bereiken. De software is gratis, je kunt goedkope hardware gebruiken en er zijn diverse ZFS platforms beschikbaar (FreeNAS, NAS4Free, ZFSguru) die je ook gemakkelijk toegang geven tot ZFS, ook vanaf Windows en Mac OSX. Enig nadeel is dat je met netwerkopslag nog wel gelimiteerd bent tot 1 gigabit - maar zodra er alternatieven zijn kun je dat in de toekomst weer oprekken tot 10 - 20 gigabit. Zo wacht ik op de native 20Gbps host-to-host Thunderbolt-interface. Wellicht op moederborden te vinden tegen die tijd. Kan erg leuk worden!


Welke hardware?
Nu heb je het over het aanpassen van je huidige build naar een ZFS build. Wat je ook kunt overwegen, en dat is eigenlijk mijn advies, om je huidige build lekker zo te houden en voor ZFS een nieuwe build te maken. Kost wel iets meer, maar je hebt het voordeel dat je je huidige build kan houden zoals die is en als backup of voor minder belangrijke dingen kunt gebruiken, desnoods wegdoen. Je nieuwe build kun je dan gelijk goed bouwen.

Zo ben ik niet zo heel onder de indruk van de IBM M1015. Voor een HBA goedkoop maar toch nog vrij prijzig; de prijs van een moederbord mét onboard CPU. Daarnaast is hij niet zo zuinig; verbruikt evenveel als een kaal systeem (8W) volgens mij.

Het alternatief is dat je een moederbord neemt met meerdere onboard SATA poorten. Zo zijn er bordjes als deze: pricewatch: ASRock C2550D4I

Wel iets duurder dan de gewone bordjes. Voordeel is wel:

• 12 keer onboard AHCI SATA. Vooral dat het AHCI is, is fijn. Zaken als TRIM/APM/AAM/Spindown werken dan gewoon. Dat werkt niet of problematisch onder IBM M1015 - omdat het een SAS controller is. Bovendien veel zuiniger.
• 4 DIMM poorten = max 64GiB UDIMM.
• Mogelijkheid tot draaien van ECC UDIMM geheugen. Dit kun je dan ook overwegen voor je nieuwe build. De meningen over ECC zijn verdeeld; maar als je toch voor dit bordje gaat kun je ook net wat meer geld voor ECC uitgeven. Ik zou dan voor 2x 8GiB = 16GiB ECC UDIMM 1,35 volt geheugen gaan. Kun je later nog uitbreiden naar 32GiB. Met 16GiB modules kun je tot 64GiB behalen, maar die zijn schaars en duur.
• Dual Intel gigabit - leuk als je eventueel link aggregation wilt doen. Zo niet, dan heb je gewoon een goede Intel NIC; beter dan Realtek in veel gevallen; al komt dat hoofdzakelijk door de driver.
• Mini-ITX formaat betekent dat je lekker klein formaat kast kunt nemen; in elk geval erg flexibel.
• Passief gekoeld betekent geen geluid - persoonlijk bouw ik nooit meer systemen met ventilator. Ook voor je hardeschijven moet je proberen om 100% passief te koelen. Dat doe je door ze goed contact te laten maken met een metalen rack die de warmte goed kan dissiperen.

Qua schijven zou ik je toch in overweging willen geven om nog eens naar de Greens te kijken. Het BackBlaze-onderzoek zou namelijk suggereren dat Greens vooral in het eerste jaar het loodje leggen, en tussen 1 en 3 jaar juist heel weinig uitval hebben. Als dat klopt, dan is de extra garantie ook weinig interessant. Stel er zou één schijf uitvallen; dan ben je mogelijk alsnog goedkoper als je voor Greens gaat ipv Red. Bovendien betaal je vooral vanwege TLER; wat je juist niet nodig hebt. Ga je toch voor Reds, kun je overwegen om TLER juist uit te schakelen en Headparking juist in te schakelen op 300 seconden.

Verder overweeg je 8 schijven van 6TB. Ik zou dan doorpakken en 10 schijven in RAID-Z2 overwegen. Dit is de beste allround ZFS configuratie mogelijk. Je hebt een lage overhead van 20%, je hebt goede tweevoudige paritybescherming en het is een optimale ZFS configuratie qua performance voor 4K sector schijven en qua space-efficiency.

Zou je voor bovenstaande configuratie gaan; dan heb je eigenlijk de beste ZFS config. Onboard AHCI, RAID-Z2, ECC en zuinig. Beter kan bijna niet. En geeneens peperduur - hooguit de schijven zijn duur maar dan valt de meerprijs voor het moederbord+ECC ook weer mee. Iets om te overwegen.

Succes!

[Ithaca81]

Dat geeft stof tot nadenken.

Mini-ITX is leuk maar als je 10 schijven in een behuizing kwijt moet raken zal de behuizing allerminst klein blijven.
De huidige opstelling is verwerkt in een Antec P180. daar passen echt niet meer dan 8 schijven in.

Al met al zou het sowieso een duur grapje zijn maar qua opslag zou ik hiermee jaren vooruit kunnen. Ik ga je adviezen (waarvoor dank) in overweging nemen.