Keuze NAS voor backups

[Kangerm00se]

Ik overweeg om een NAS aan te schaffen maar weet niet juist waar ik op moet letten, dus jullie advies is welkom. Dit zijn de vereisten die ik in gedachten heb:

- Ik denk aan een vier-bays met in eerste instantie twee 8Tb schijven in mirror (en dus later nog twee). Qua schijfruimte is dat niet de meest interessante RAID config, maar gezien de schappelijke prijs per Tb overweeg ik het eerder om het eenvoudig te houden en geen rebuilds te hebben. Of zie ik voordelen van andere RAID configs over het hoofd?
- Doel: voornamelijk films en backups. Source is steeds SSD; Windows of Linux.
- Type bestanden: zowel groot (> 1Gb), maar ook directories met > 1 miljoen kleine (< 1Mb) bestanden. Aan dat laatste erger ik mij dood hoe traag dat kan gaan! Ik begrijp dat je niet dezelfde doorvoersnelheid haalt met veel kleine bestanden, maar zou toch graag niet onder de 50% van de doorvoersnelheid met grote bestanden geraken.
- Ik zou graag geautomatiseerde sync-backups willen maken (i.e. NAS updated laptop-SSD, maar overschrijft enkel wat sinds vorige keer is aangepast). Dit zonder overdreven belasting op de te backuppen laptop.


Alle suggesties welkom.

[Renault]

Je doel is simpele opslag en vlotte netwerk-beschikbaarheid van (nu) 16 TB opslag.
Je primaire voorwaarde is dat je in je NAS zo groot mogelijke non-SMR schijven (zoeken!) gaat gebruiken op een minimaal 1 GB/s netwerkverbinding, dan hou je nog wat snelheid over.
Ik zou geen RAID meer gebruiken, dat heeft tegenwoordig nauwelijks of geen voordelen meer bij deze harddisk-groottes. De vervanging voor RAID is tegenwoordig een goed (uitvgevoerd) backup-regime.
Dus: gewoon een 2- of 4 bay NAS met JBOD, in combinatie met grote externe harddisks (i.c.m. online cloud-incrementals) voor backupdoeleinden (of een totale online cloudopslag).
Al je data verhuis je dan naar de NAS, dan heb je ook geen overdreven belasting op je laptop.

[Q]

Ik denk dat RAID nog steeds prima is. Zeker in de context van een NAS, die (eigen onderzoek) by default regelmatig de disks even helemaal checken op fouten (scrubben).

Het backuppen van kleine bestanden blijft een issue, dat herken ik wel. Rsync zal mogelijk helpen, (dat is in mijn ervaring best vlot met kleine files). Maar dat is misschien niet echt een backup oplossing met 'historie'.

Als je NAS met name als backup doel dient, is dat verder prima. Als je accepteert dat films verloren gaan mocht de hele NAS falen, dan ben je klaar. Anders zul je nog iets moeten doen met externe backup. Liefst niet aan de NAS want als die wordt gefrituurd, is je backup ook dood.

Je zou een NAS kunnen kiezen waarbij je een SSD kunt inbouwen en die kunt inzetten voor kleine files. Niet mooi, maar dat is tegenwoordig wel mogelijk.

[MAX3400]

Een NAS is geen backup (zeker niet als deze in hetzelfde brandbare / inbreekbare pand staat) en RAID1 lijkt me niet handig want elke corruptie (of niet CRC-check) op disk 1 komt ook automagisch op disk 2; oftewel 100% van de data die je wegschrijft kan dus op beide disks verkeerd staan.

Daarnaast kan ik je helaas vertellen: al die kleine **** bestandjes? Ga er maar vanuit dat dat werk wordt in de orde van grootte van KB/s doorvoer (if any). Helaas zal je, bij elk type backup ooit, altijd de eerste volledige backup moeten afwachten; daarna is het (vaak) incrementeel bestandjes bijplaatsen.

[Q]

RAID1 is prima, want dan wordt je filmavondje niet verpest

Maar je kunt ook gerust twee losse schijven nemen en die dan laten syncen om iets van een 2e kopie te hebben, zodat niet alle backup data en films weg zijn als een schijf stuk gaat.

[Ben(V)]

Persoonlijk zou ik vier disken in Raid 5 nemen.
Je overhead wordt dan maar 25% in plaats van 50% bij een mirror.
2x 8TB in een mirror is netto 8TB
4x 4TB in een raid 5 is netto 12TB

En 4x 4TB is goedkoper dan 2x 8TB.

[johnkeates]

Als je NAS alleen data bevat die je ook op je PC hebt (dus op 2 plekken), dan is dat een backup. Als er data op je NAS staat die niet ergens anders ook nog staat, dan is dat geen backup.

Als je een backup wil, maar ook centrale bestandsopslag wil, dan heb je behalve je NAS ook iets als BackBlaze B2 ofzo nodig, waarmee je je NAS automatisch alle wijzigingen versleuteld ergens online laat opslaan. Dat is niet duur, maar zorgt er wel voor dat als je huis afbrand je data niet weg is.

RAID zorg dus niet voor een backup zoals aangehaald, maar zorgt er voor dat je NAS bruikbaar is als er een disk kapot gaan. RAID is dus niet voor het beschermen van je data, maar om tegen een stootje te kunnen. Als je NAS gewist wordt is je data dus nog steeds gewoon weg.

Qua suggesties: draai RAID1 of RAID10, laat al die andere RAID vormen links liggen, dat is qua kosten niet erg spannend meer en beter wordt het er niet van. Een makkelijke NAS (bijv Synology 418 of 420 (+)) met twee grote schijven (IronWolf) is een prima startset. Ja het kost geld, maar beknibbelen levert gewoon een brak resultaat op.

[michielRB]

Renault schreef op vrijdag 2 oktober 2020 @ 13:07:
Je doel is simpele opslag en vlotte netwerk-beschikbaarheid van (nu) 16 TB opslag.

Dat zegt hij helemaal niet! Hij wil 2x 8TB in RAID1 dat zou 8TB effectieve diskruimte betekenen. De vraag aan TS zou moeten zijn: hoeveel data praten we over en wat komt er gemiddeld per maand bij?
Dan ga je je backup strategie bepalen: Hoe vaak een full backup, daartussen incrementals. Hoe veel Full backups wil je op je NAS hebben? En je kijkt of je offsite ook nog een backup wil hebben voor het geval je huis afbrand of je NAS de geest geeft.
De meeste NASsen hebben prima backup software aan boord. Overigens is foldersync geen veilige backup!

[Kangerm00se]

Dank alvast voor de reacties, ik leer veel bij ;-)

Misschien iets verduidelijken: de reden dat ik denk aan twee schvijven in mirror is het klassieke "wat als één schijf stuk gaat". Stel dat de NAS het begeeft wil ik ook gewoon een schijf er uit kunnen halen en ergens anders insteken (zolang encryptie niet opstaat is dat geen probleem veronderstel ik?).

[b]Q in "Keuze NAS voor backups"Het backuppen van kleine bestanden blijft een issue, dat herken ik wel. Rsync zal mogelijk helpen, (dat is in mijn ervaring best vlot met kleine files). Maar dat is misschien niet echt een backup oplossing met 'historie'.

Gebruik nu ook al voornamelijk Rsync om die kleine bestandjes tussen pc's te verplaatsen. Ik moet dus niet op veel grotere snelheid hopen daar blijkbaar. Dit schrijven is gelukkig wel eerder sporadisch in tegenstelling tot backup van andere documenten.

Ik zie (binnen consument-vriendelijke prijzen) steeds Synolgy en QNAP opduiken. Enige suggestie wat ik best kies gebaseerd op:
- Softwareondersteuning? Specifiek het beste voor sync backups?
- Schijven in mirror zal iedere NAS wel kunnen veronderstel ik
- Web-user interface maar ook ssh toegang mocht ik iets willen scripten. Mogelijkheid om scherm en keyboard aan te sluiten is leuke extra maar niet nodig.
- Betrouwbare snelheid: heb er niets aan als de NAS meteen begint te "bottlenecken".
- Stroomverbruik: zou ze liefst laten aanstaan, maar dan moet ze wel idle een minimaal verbruik hebben (slaapstand met automatische wake-up?)
- Kwaliteit/support/garantie speelt mee. Ik betaal liever iets meer hiervoor dan na twee jaar een nieuwe te moeten kopen.

[MAX3400]

Kangerm00se schreef op maandag 5 oktober 2020 @ 08:51:

Misschien iets verduidelijken: de reden dat ik denk aan twee schvijven in mirror is het klassieke "wat als één schijf stuk gaat". Stel dat de NAS het begeeft wil ik ook gewoon een schijf er uit kunnen halen en ergens anders insteken (zolang encryptie niet opstaat is dat geen probleem veronderstel ik?).

Nee. Zoals ik eerder schetste: bitje A op disk 1 kapot is automatisch bitje A op disk 2 kapot. Als dan disk 1 ooit defect raakt, weet je zeker dat disk 2 geen correcte bitje A heeft. Bitje A zal maar net de header zijn van een bestand van 41GB; kan je zo 41GB nooit meer restoren en dus weggooien.

[Ben(V)]

Zo werkt het niet helemaal.
Dit gaat alleen op als zo'n bitje corrupt is voor je hem naar disk schrijft.
Als hij kapot gaat als hij al op een disk staat (bitrot) dan heeft de andere disk nog de juiste informatie.

Reden te meer om voor Raid 5 te gaan in plaats van een mirror.
Als bij een mirror een bit omvalt op een disk kan het zijn dat het systeem niet kan bepalen welke van de twee disken de juiste informatie heeft.
Als je een Raid 5 systeem hebt kan hij met behulp van de parity informatie altijd de juiste data reconstrueren.

[Admiral Freebee]

Ben(V) schreef op maandag 5 oktober 2020 @ 10:31:
Zo werkt het niet helemaal.
Dit gaat alleen op als zo'n bitje corrupt is voor je hem naar disk schrijft.
Als hij kapot gaat als hij al op een disk staat (bitrot) dan heeft de andere disk nog de juiste informatie.

Reden te meer om voor Raid 5 te gaan in plaats van een mirror.
Als bij een mirror een bit omvalt op een disk kan het zijn dat het systeem niet kan bepalen welke van de twee disken de juiste informatie heeft.
Als je een Raid 5 systeem hebt kan hij met behulp van de parity informatie altijd de juiste data reconstrueren.

Met een bestandssysteem zoals BTRFS of ZFS kan het systeem wel weten welke kopie de juiste is. Eenvoudigste lijkt mij dan een Synology NAS met BTRFS en scrubbing aan.

[Kangerm00se]

MAX3400 schreef op maandag 5 oktober 2020 @ 09:55:
[...]

Nee. Zoals ik eerder schetste: bitje A op disk 1 kapot is automatisch bitje A op disk 2 kapot. Als dan disk 1 ooit defect raakt, weet je zeker dat disk 2 geen correcte bitje A heeft. Bitje A zal maar net de header zijn van een bestand van 41GB; kan je zo 41GB nooit meer restoren en dus weggooien.

Dus als ik het goed begrijp schrijf je naar A, en kopieert de NAS op de achtergrond van A naar B. In dat geval kan je inderdaad een corrupt bestand hebben. Echter, je bent toch nog altijd beschermd tegen totale uitval van een schijf (los van dat ene corrupte bestand dan)?

Wat ik dacht is dat je parallel naar A en B schrijft.

[Ben(V)]

Admiral Freebee schreef op maandag 5 oktober 2020 @ 10:35:
[...]

Met een bestandssysteem zoals BTRFS of ZFS kan het systeem wel weten welke kopie de juiste is. Eenvoudigste lijkt mij dan een Synology NAS met BTRFS en scrubbing aan.

Ook Btfrs kan dit niet voor je oplossen in een mirror set..
Die kan ook enkel maar detecteren dat er een verschil is maar weet niet welke disk de juiste is.

Vergeet niet dat het raidsystem van Btrfs niet bugvrij is en dat dus alle NAS fabrikanten(inclusief Synology) dan ook mdadm als Raid system gebruiken onder Btfrs en niet het Btfs raidsystem.

[ Voor 17% gewijzigd door Ben(V) op 05-10-2020 11:16 ]

[Admiral Freebee]

Ben(V) schreef op maandag 5 oktober 2020 @ 11:13:
[...]


Ook Btfrs kan dit niet voor je oplossen in een mirror set..
Die kan ook enkel maar detecteren dat er een verschil is maar weet niet welke disk de juiste is.

Vergeet niet dat het raidsystem van Btrfs niet bugvrij is en dat dus alle NAS fabrikanten(inclusief Synology) dan ook mdadm als Raid system gebruiken onder Btfrs en niet het Btfs raidsystem.

Ik heb eerder al gehoord van issues daarmee maar de Synology white paper on data protection vermeldt toch dat het gebruik van BTFRS self healing is bij gebruik van RAID 1, 5, 6, 10, F1, of SHR. Hoe werkt dat dan?

[Ben(V)]

Dat werkt via marketing.

Het is niets meer of minder self healing dan het Ext4 filesystem.
De self healing moet van het raidsysteem komen en zoals al gezegd is dat voor beiden mdadm op Synology.

Voordelen van BTFRS liggen voornamelijk in het kunnen maken van snapshots, niet in hogere betrouwbaarheid.