korna schreef op woensdag 07 mei 2014 @ 17:59:
Ik heb wat advies nodig betreft een opslag strategie. Ik ben al een tijdje bezig met het onderzoeken van een NAS configuratie.
Hoe het allemaal begon ... ik wilde een centrale plek voor films, tvshows, dlna, fotos en een veilige plek voor documenten. Omdat het huis kan afbranden (of ander onheil) wilde ik ook een NAS plaatsen op een andere locatie. Bij het shoppen voor een Synology/Asustor/QNAP zag ik dat je nog veel meer kon met een NAS zoals; een website draaien, eigen build server, source repository etc. Dat leide me van pre-fab naar zelfbouw vanwege de extra processing power tegen een lagere prijs. Daarnaast wilde ik film transcoding doen naar bijvoorbeeld een ipad of iphone. Van het een komt het ander: Raid -> ZFS -> ECC -> Enterprise grade, etc.
Nu wil ik terug naar de tekentafel en graag jullie input. Ik kan wel 2 hele mooie NASsen maken (mooi is subjectief) maar ik ben bang dat we als techneuten snel doorschieten. Dus ik wil terug naar de essentie. Ik heb het volgende aan data (ruimte voor de toekomst meegerekend):
| Soort Data | Max. Capaciteit | Belang |
---|
1. | Documenten, Fotos, Source code | 1TB | Mag niet verloren gaan |
2. | Systeem backups (time machine, windows backup, ong. 6 systemen) | 1TB | Backup van draaiende systemen. De data mag verloren gaan zolang de systemen niet kapot zijn... uiteraard is stille data corruptie wel vervelend als je net die systeembackup nodig hebt.... maar wat is de kans daarop? |
3. | Films, Muziek | 3TB | Totaal niet belangrijk. Het moet gewoon centraal bereikbaar zijn en als de schijf sterft of een film corrupt raakt boeit me totaal niet. (Dat gaat dus ook niet daar de 2de NAS) |
Wat raden jullie aan betreft opslag strategie? Bijvoorbeeld...- Punt 1 en 2: 3x 1TB in Raidz1 in zowel NAS 1 en NAS 2 (6 schijven totaal)
- Punt 3 : 1x 3TB (1 schijf totaal)
Ik zie hier en daar dat Raidz2 wordt aangeraden omdat bij Raidz1 er redundantie is van 1 schijf. Als er 2 kapot gaan (of 1 kapot en corrupte sectoren op een andere) ben je de pool kwijt. Echter, gezien ik de data al weg zet op 2 verschillende systemen zet en de schijven vrij klein zijn (kleinere fout kans), is Raidz2 nog wel nodig? Zal 2xRaidz1 niet voldoende zijn?
Zo dat was een lang verhaal. Hopelijk neemt iemand de tijd om het door te lezen
Alle suggesties en opmerkingen zijn uiteraard meer dan welkom 
Doordat je gebruikt maakt van ZFS wordt het hele boeltje altijd veilig en consistent opgeslagen en mag je er van uit gaan dat je data niet "wegrot" of corrupt geraakt, mits genoeg pariteit bestaat om te herberekenen.
De enterprise vuistregel (ultraconservatief!!) is dat vanaf 1TB disks je eigenlijk standaard naar 2 x parity moet overschakelen.
[leuk weetje-verhaaltje]
Omdat sommige klanten van Compellent ooit concludeerden dat hun Compellent vol zat met 960-ish GB disken dachten ze van "oh ja, dus nu moeten we maar een array bouwen met slechts een pariteit" heeft Compellent ooit zelfs zijn advisories aangepast omdat ze daar rommel met die klanten mee hadden.
[leuk weetje-verhaaltje]
Voor thuis-data vind ik dat vanaf 2 à 3TB disken je toch eens mag beginnen denken aan dubbele pariteit, maar aan de andere kant: je gaat toch backuppen, niet?

En dan vind ik dat al een stukje minder belangrijk.
Wat ik in jouw geval dan zou doen (als je toch al geen problemen hebt met een main en DR-NAS te zetten) is op je main-kant snapshotten, en op de DR kant via zfs send/receive de snapshots te laten ontvangen. Doordat je dit hier weer even post denk ik er plots weer aan dat ik dat voor mezelf ook nog eens in orde zou moeten maken.
Persoonlijk vind ik 3 x 1TB een beetje te min qua grootte, maar als je de disks hebt liggen, dan is dit de goedkoopste investering. Als je disks nieuw moet aanschaffen vind ik ze te klein (en dan denk ik vooral aan capaciteit versus verbruik vs EUR/GB). Dan kies je beter voor 4TB varianten. Die kan je vandaag de dag nog steeds goedkoop en betrouwbaar scoren in V&A bij bv. toppietoppie en verkoper_nick, er zijn soms nog wel eens van die bekendere namen die je ziet verschijnen in die lijst van aangeboden harde schijven, beetje in de gaten houden, iedere 2 maanden komt er wel eens wat voorbij.
http://tweakers.net/categ...pWSiYGYKCko5SbWIHEr62tBQA
Om verder te gaan op je vraag over streaming naar devices. Dat kan, je kan bv. kijken naar Plex-achtige toestanden of andere transcoders. Bedenk wel dat je dan meestal wel een pittigere CPU moet nemen (dus niet met een oude Atom oid afkomen). Een G1610 is zo net wat TE min om bv 1080p te transcoderen, maar om echt veilig te zitten zou ik al eens kijken naar Pentium of i3 dacht ik (moet je even ervaringen over opzoeken).
Voor de rest, als je data je lief is: scrubben! Scrubben! Scrubben!
FireDrunk verklaart me stiekem een beetje mesjogge, maar ik doe scrubs 2 keer per week. Om mijn disks in shape te houden

.
Alleen een scrub corrigeert rotte data door deze herberekend weg te schrijven, data wordt niet on the fly gecorrigeerd weggeschreven, alleen gecorrigeerd teruggegeven aan de opvrager van de data.
Ook opletten met je disk aantallen onder ZFS voor optimaal gebruik van 4K schijven:
RAIDZ1 vdevs should have 3, 5, or 9 devices in each vdev
RAIDZ2 vdevs should have 4, 6, or 10 devices in each vdev
RAIDZ3 vdevs should have 5, 7, or 11 devices in each vdev
Ik zou persoonlijk (ja ja, ook met 4TB disks, aangezien je toch backupt) voor 3 of 5 x 4TB gaan en op de DR site met een mirrortje of single disk werken van 4TB.
[
Voor 16% gewijzigd door
HyperBart op 07-05-2014 20:54
]