ECC in ZFS Server?

[sknk]

Beste Tweakers,

Dit onderwerp is uiteraard al tot in den treure besproken, maar voordat ik aan mijn systeem ga beginnen zou ik graag het volgende nog willen voorleggen.

Mijn vraag:
Heeft het enige toegevoegde waarde om ECC geheugen te gebruiken wanneer de machines die regelmatig data naar de server schrijven geen ECC geheugen hebben?


Bij voorbaat dank.

[elan]

Als je een nieuw systeem bouwt zou ik altijd voor ECC geheugen gaan.
Gewoon omdat dit voor zfs wel verstandig is.
Zeker als je wilt voorkomen dat het geheugen de data beschadigd.

Ook al is het thuis zou ik dit risico ook niet nemen.

[sknk]

elan schreef op maandag 6 maart 2017 @ 14:24:
Als je een nieuw systeem bouwt zou ik altijd voor ECC geheugen gaan.
Gewoon omdat dit voor zfs wel verstandig is.
Zeker als je wilt voorkomen dat het geheugen de data beschadigd.

Ook al is het thuis zou ik dit risico ook niet nemen.

Dat is meteen waar het ook wat wringt. Ik heb namelijk alle componenten om het op basis van non-ECC geheugen te maken nog liggen. Als ik alles dus nieuw aan ga schaffen, gaat al snel enkele honderden euro's meer kosten.

Wat ik me vooral afvraag is, als de computers die data naar de server sturen geen ECC geheugen hebben en dus mogelijk al corrupte data doorsturen, of ECC op de server dan nog zin heeft.

[elan]

Zelf heb ik al jaren een ZFS built met gewoon geheugen en tot nu toe gaat dat goed.

Toen ik het bouwde had ik niet door dat ik beter ECC kon gebruiken. En heb het gewoon gebouwd toen.
Tot nu toe heb ik nog geen problemen gehad. En de files die ik op de NAS heb staan, heb ik ook op een paar systemen staan. En de belangrijkste dingen backup ik altijd. (Denk aan foto's en video's).

Zelf heb ik 2 Raidz pools van 4 x 4tb staan.
Daar draait 1 x per maand een scrub op. Wat inhoudt dat de schijven gechecked worden.

Zou als ik jouw was lekker je systeem bouwen en het in gebruik nemen. Maar maak van kritische data altijd een backup!
Want een NAS is geen backup van je data!

De computers die de data naar je Nas sturen hoeven geen ecc geheugen te hebben.
ZFS gebruikt erg veel intern geheugen. En in het geheugen doe hij ook veel bewerkingen en checks. Daarom is het voor zakelijk gebruik aan te raden wel ECC geheugen te gebruiken. Maar voor regulier thuisgebruik niet noodzakelijk.

[Bigs]

Volgens mij is het voordeel van ECC geheugen voor ZFS specifiek nooit bewezen (ik doel dus op een onderbouwing voor het 'ZFS heeft ECC nodig'). Het feit dat je clients geen ECC geheugen hebben is wel een interessante factor om mee te wegen.. ik zou het dan voor je opslagsysteem ook gewoon achterwege laten.

[swbr]

Ook de data die vanaf je clients naar je server komt, komt eerst in het geheugen terecht. Dus ook in dat geval verklein je de kans op datacorruptie door ECC geheugen te gebruiken. Er is vast wel iemand die slimmer is dan ik die daar een rekensom op kan loslaten, maar ik denk eerlijk gezegd niet dat de kans op corruptie significant kleiner wordt door non-ECC geheugen te gebruiken in deze situatie.

[Michidez]

Ik zat zelf ook met dit probleem. Na uren en uren aan onderzoek ben ik tot de volgende conclusie gekomen.

• Doe een goede burn-in van het geheugen. Je wilt niet werken met geheugen dat defect is en ZFS. De kosmische straal die op je geheugen valt en een fout veroorzaakt zal zelden voor een onoplosbare fout zorgen.
• De grote schrik bij non-ecc zit in het verliezen van heel de pool door een fout weg te schrijven en de pool unmountable te maken. De kans hierop is extreem klein.
• Voor thuissituaties kan je het geld dat je bespaard met non-ecc te gaan beter in backup (RAID is geen backup!) steken. Dit zorgt voor downtime, maar in thuissituaties is dit geen ramp.

Allezins, dat is hoe ik het nu zie. En dat is specifiek voor thuis, en niet in professionele hoog performante omgevingen.

[vanaalten]

Misschien handig naar het topic te linken waar al op leven en dood over dit soort onderwerpen wordt gevochten:
ECC geheugen voor zelfbouw ZFS NAS?

[Q]

sknk schreef op maandag 6 maart 2017 @ 13:42:
Beste Tweakers,

Dit onderwerp is uiteraard al tot in den treure besproken, maar voordat ik aan mijn systeem ga beginnen zou ik graag het volgende nog willen voorleggen.

Mijn vraag:
Heeft het enige toegevoegde waarde om ECC geheugen te gebruiken wanneer de machines die regelmatig data naar de server schrijven geen ECC geheugen hebben?


Bij voorbaat dank.

Disclosure, zoals je misschien wel hebt gezien ben ik nogal fanatiek aanwezig geweest in de discussie.

Heeft het enige toegevoegde waarde om ZFS te gebruiken wanneer de machines die regelmatig data naar de server schrijven geen ZFS hebben?

Q in "Het grote DIY RAID NAS topic deel 3"

Natuurlijk, garbage in = garbage out. Maar een ZFS + ECC doosje geeft je een behoorlijke zekerheid dat de data die je er 3 jaar geleden intact op plaatste, nu nog steeds 100% in orde is.

Ik weet niet wat voor jou precies de context is. Maar de mensen die ZFS interessant vinden willen graag dat iedere bit die op hun NAS terecht komt daar ook redelijk veilig staat zonder risico op (silent) corruptie.

Als je er niet zo zwaar aan tilt, dan is ZFS en/of ECC geheugen niet zo'n big deal. De meeste mensen die een NAS draaien hebben een QNAP of Synology en die doen geen ECC of ZFS.

[ Voor 35% gewijzigd door Q op 06-03-2017 20:56 ]

[_JGC_]

Idee van ZFS is dat je ECC gebruikt omdat er geen fatsoenlijke tools zijn om het filesystem te herstellen. Als door geheugencorruptie je ZFS filesystem kapot gaat ben je de pisang. Met een beetje mazzel ben je een beetje data kwijt, met een beetje pech werkt het helemaal niet meer.

Doet me denken aan XFS vroeger, ook daar was je de pisang bij corruptie. Reactie van ontwikkelaars was dan "gebruik fatsoenlijke hardware, dan heb je geen herstel nodig".

Als je bedenkt dat ZFS en XFS van Solaris en IRIX komen is dat uitgangspunt niet heel vreemd.

[Verwijderd]

vanaalten schreef op maandag 6 maart 2017 @ 19:36:
Misschien handig naar het topic te linken waar al op leven en dood over dit soort onderwerpen wordt gevochten:
ECC geheugen voor zelfbouw ZFS NAS?

Zie hierboven. En laat ik dan maar gelijk een FATALITY geven aan dit topic.