[Synology] SHR of RAID-5 en Kopiëersnelheid

[Klevertje]

Beste mede-tweakers,

Momenteel ben ik uit aan het zoeken welke RAID configuratie ik het beste kan gebruiken. Allereerst zal ik de situatie omschrijven en naar welke situatie het naartoe moet gaan.

Huidige situatie:
1x LaCie (NAS)
1x Buffalo Station (NAS)

Deze 2 storage units wil ik graag vervangen (i.v.m. ouderdom) voor 1 enkele NAS.
De reden is als volgt: Momenteel worden alle RAW foto's opgeslagen op de LaCie en alle bewerkte foto's komen vervolgens op de Buffalo Station. Beiden storage units worden dus gebruikt puur alleen voor opslag van foto's.

Nieuwe situatie:
1x Nieuwe Synology (NAS)

Welke het nog gaat worden is nog niet zeker, echter twijfel ik tussen een 4-bay en een 8-bay.
De volgende modellen spreken mij namelijk wel aan: https://tweakers.net/pric...station-ds916+-(8gb).html en de https://tweakers.net/pric...-diskstation-ds1815+.html.

Nu zit ik echter met enkele vragen:
- Klopt het wanneer ik alle RAW foto's worden opgeslagen op de Synology, ik ga deze vervolgens bewerken en sla deze ook weer op dezelfde Synology op dan dit dan sneller gaat omdat hij dan niet over het netwerk hoeft te kopiëren?

- Tevens heb ik de RAID-rekenmachine op de Synology site gebruikt (https://www.synology.com/nl-nl/support/RAID_calculator) en lijkt mij de juiste RAID configuratie namelijk RAID-5. 1 schijf voor failover en de mogelijkheid tot uitbreiden van de schijven. Vooral belangrijk voor de 8-bay omdat deze in het begin nog geen 8 schijven gaat bevatten. Echter zie ik ook het Synology Hybrid RAID en heb dit nooit eerder gebruikt. Wat is hier het voordeel van en waarvoor zou ik dan in mijn situatie voor moeten kiezen?

Hopende jullie van voldoende informatie te hebben voorzien.

[Orion84]

Klevertje schreef op dinsdag 20 september 2016 @ 12:07:
Nu zit ik echter met enkele vragen:
- Klopt het wanneer ik alle RAW foto's worden opgeslagen op de Synology, ik ga deze vervolgens bewerken en sla deze ook weer op dezelfde Synology op dan dit dan sneller gaat omdat hij dan niet over het netwerk hoeft te kopiëren?

Dat bewerken doe je neem ik aan op een computer. Die zal dus de RAW file over het netwerk van je Synology halen, daarna doe jij je bewerkingen en vervolgens exporteer je de jpeg weer terug naar een locatie op de NAS (gok ik?). Dat maakt dus weinig uit of dat van dezelfde NAS komt of dat de RAW op de ene NAS staat en de bewerkte resultaten op een andere NAS.

[Klevertje]

Orion84 schreef op dinsdag 20 september 2016 @ 12:10:
[...]

Dat bewerken doe je neem ik aan op een computer. Die zal dus de RAW file over het netwerk van je Synology halen, daarna doe jij je bewerkingen en vervolgens exporteer je de jpeg weer terug naar een locatie op de NAS (gok ik?). Dat maakt dus weinig uit of dat van dezelfde NAS komt of dat de RAW op de ene NAS staat en de bewerkte resultaten op een andere NAS.

Oke dan is mij dit ook duidelijk. Ik dacht misschien word de foto in het cache geheugen geladen en krijgt hij een schrijfopdracht naar de NAS wanneer deze foto bewerkt is.

[redfoxert]

Waar maak je je backups met dergelijke hoeveelheden data? RAID is GEEN backup ... Het kan niet vaak genoeg herhaalt worden ...

[Klevertje]

redfoxert schreef op dinsdag 20 september 2016 @ 12:14:
Waar maak je je backups met dergelijke hoeveelheden data? RAID is GEEN backup ... Het kan niet vaak genoeg herhaalt worden ...

2x de aanschafprijs om alles qua grootte te kunnen back-uppen zit denk ik niet in het budget... Wanneer ik het instel als RAID-1 dus als ik het spiegel, heb ik dan wel een back-up? Uiteraard wel minder opslag, maar wel de mogelijkheid tot een uitbreiding naar een DX-series.

[Orion84]

RAID beschermt alleen tegen uitval van een (of meerdere afhankelijk van het soort RAID) disk(en). RAID beschermt niet tegen per ongeluk verwijderen van bestanden, cryptolocker virussen, diefstal/brand waarbij je hele NAS verloren is, andere situaties waarbij er meer stuk is dan hersteld kan worden middels RAID.

[redfoxert]

Klevertje schreef op dinsdag 20 september 2016 @ 12:16:
[...]


2x de aanschafprijs om alles qua grootte te kunnen back-uppen zit denk ik niet in het budget... Wanneer ik het instel als RAID-1 dus als ik het spiegel, heb ik dan wel een back-up? Uiteraard wel minder opslag, maar wel de mogelijkheid tot een uitbreiding naar een DX-series.

Nee, een backup moet je los zien van de bron. Bij RAID-1 wordt elk bitje direct naar de andere disk(en) gekopieerd. Maw, een virus, user error, fuckup kost je je direct al je data. RAID (behalve RAID-0) vangt enkel en alleen uitval van 1 (of meerdere) schijven op. Hardware falen dus. En dan hebben we het nog niet over het falen van de NAS an sich of controller besproken ...

Een backup is dus een medium dat niet direct gekoppeld is met je bron bestanden en heeft in de regel ook meerdere restore punten (versioning desnoods).

[Klevertje]

Orion84 schreef op dinsdag 20 september 2016 @ 12:19:
RAID beschermt alleen tegen uitval van een (of meerdere afhankelijk van het soort RAID) disk(en). RAID beschermt niet tegen per ongeluk verwijderen van bestanden, cryptolocker virussen, diefstal/brand waarbij je hele NAS verloren is, andere situaties waarbij er meer stuk is dan hersteld kan worden middels RAID.

Duidelijk. Echter iemand een idee hoe ik dit allemaal ga back-uppen?
Misschien een idee om de twee oude nassen als back-up te gebruiken? Dus de LaCie en de Buffalo station?

[redfoxert]

Klevertje schreef op dinsdag 20 september 2016 @ 12:21:
[...]


Duidelijk. Echter iemand een idee hoe ik dit allemaal ga back-uppen?
Misschien een idee om de twee oude nassen als back-up te gebruiken? Dus de LaCie en de Buffalo station?

Zou zeer goed kunnen! Je kunt ook kijken naar online backup oplossingen. Er worden er in diverse topics genoeg benoemd.

[Klevertje]

redfoxert schreef op dinsdag 20 september 2016 @ 12:22:
[...]


Zou zeer goed kunnen! Je kunt ook kijken naar online backup oplossingen. Er worden er in diverse topics genoeg benoemd.

Online back-up van meer dan 10TB is dat niet wat overdreven?

[Orion84]

Over hoeveel data hebben we het? Meer dan 10TB dus?

En ja, de oude NAS apparaten gebruiken voor backups is een optie (al dan niet via het internet terwijl ze op een andere locatie staan). Er zijn ook allerlei cloud diensten beschikbaar tegenwoordig.

En als het echt te duur wordt dan zal je keuzes moeten maken in wat je wel en wat je niet backupt. Bijvoorbeeld alleen de bewerkte resultaten en niet het ruwe materiaal, of juist andersom.

[redfoxert]

Klevertje schreef op dinsdag 20 september 2016 @ 12:23:
[...]


Online back-up van meer dan 10TB is dat niet wat overdreven?

Die beslissing maak je natuurlijk helemaal zelf Het is niet mijn data maar die van jou. Hoe belangrijk die data is kan alleen jij beoordelen.

[Webaccess]

Advies geven rondom het gebruik is meer je persoonlijke mening geven. Er zijn diverse zaken welke je kan overwegen maar het belangrijkste, zoals eerder aangegeven, RAID != Backup.

Mijn persoonlijke advies:
Ben je bekend met RAID, de beperkingen en mogelijkheden: Stel het handmatig in zoals jij wilt
Ben je niet/onvoldoende bekend met RAID: Gebruik SHR
Aanvullend: Overweeg Synology Hybrid RAID met 2-schijvenredundantie
- Je koopt de eerste set met HDD's tegelijk, als er een defect raakt is de kans aanwezig dat andere snel volgen. met 2-schrijvenredundantie 'koop' je wat tijd om je defecte schijf te vervangen.

Stel op je folders een prullenbak in zodat per ongeluk verwijderde of door een virus aangepaste bestanden voor bijvoorbeeld 7 of 30 dagen nog terug te halen zijn.

Log niet in met een admin account maar maak voor jezelf een 'normaal' account aan om bij je bestanden te komen. Je kan eventueel dan een backup (copy) van je data elders op je NAS plaatsen waar jij en virussen standaard niet bij kunnen komen.

Kijk of er mogelijkheden zijn om een back-up (buitenhuis) te maken. In mijn situatie betekend dit een copy van mijn data (!= alles op mijn NAS) naar de NAS bij mij ouders thuis en vise versa.

Nog even een reactie op je vraag: Een back-up van 10TB aan data is dat niet overdreven:
- Wat als je het kwijt raakt
- Is het een mogelijkheid om alleen back-up van de JPG bestanden te maken
- Backup naar je oude NAS is een optie maar als deze naast je nieuwe NAS staat
-- Bij brand zijn beide weg
-- Bij diefstal zijn beide weg
-- Bij blikseminslag is onduidelijk of een NAS dit overleeft.

Mijn huidige setup:
- Synology DS 1812+
- 8 * 4TB HDD
- SHR geconfigureerd
- Prullenbak actief ingesteld op 30 Dagen (alle folders)
- Back-up Extern naar andere Synology NAS

[Orion84]

Webaccess schreef op dinsdag 20 september 2016 @ 12:44:
Stel op je folders een prullenbak in zodat per ongeluk verwijderde of door een virus aangepaste bestanden voor bijvoorbeeld 7 of 30 dagen nog terug te halen zijn.

Hoe helpt de recyclebin tegen cryptolocker en dergelijke?

[Verwijderd]

Update: excuus, ik ben in verwarring met dit topic: Data/Media server kopen. Dit bericht verliest daardoor zijn waarde. Mocht je het toch interessant vinden, laat ik hem nog even staan.

RAID is geen backup, wordt vaak gezegd. Dat klopt natuurlijk. Maar de situatie wordt ingewikkelder als je ook ZFS in beschouwing neemt. Want ZFS is geen RAID. ZFS beschermt ook tegen enkele risico's waar traditioneel alleen een backup tegen beschermt.

User error
Een goed voorbeeld hiervoor zijn foutjes die je als gebruiker maakt; de verkeerde directory verwijderen, perongeluk een file overschrijven of andere dingen die jij doet die je terug wilt draaien. Normaliter heb je daar een backup voor, dat kan ZFS voor je doen zonder backup middels snapshots - een zeer leuke feature voor een NAS. Snapshots zijn niet exclusief voor ZFS, maar werken wel zeer goed omdat het geen extra ruimte kost, alleen de wijzingen (surplus) moet je opslaan.

Virussen en ransomware
Ook als een virus of bijvoorbeeld ransomware aan je bestanden knaagt, zoals deze encrypt en jou om een lading bitcoins vraagt. In dat geval zijn snapshots je vriend en kun je dat in één klap ongedaan maken. Als je je backup ook had aangekoppeld, was het mogelijk dat ook deze was geïnfecteerd. Met ZFS snapshots kan dat niet.

Corruptie
Als een bestand op je RAID5 legacy volume corrupt raakt, kun je die herstellen van backup. ZFS heeft het voordeel dat het corruptie detecteert en automatisch repareert. Maar vooral de detectie is supernuttig; weten dat je data intact is, is een groot goed.


Kortom, als je zoals velen een grote thuis NAS draait en het niet loont om 1:1 backups te maken, heeft ZFS wel (extra) toegevoegde waarde boven een traditionele setup van RAID+legacy filesystem. De uitspraak RAID is geen backup, behoeft daardoor wel een iets genuanceerdere uitleg. We vinden niet al onze data het waard om dubbel zoveel aan uit te geven qua opslag. Maar met ZFS kan dat worden voorkomen terwijl die enkelvoudig opgeslagen data toch zeer goede bescherming geniet, waarvan een deel overlapt met de bescherming die een backup geeft. ZFS mét een backup is natuurlijk nóg beter. Maar voor bulkdata zoals dingen die je downloadt, is dat vaak niet nodig. Alleen de allerbelangrijkste data wil je zeker wel echt backuppen, liefst in combinatie met ZFS zodat je weet dat je geen corrupte data aan het backuppen bent.

Los van bovenstaande discussie is of je voor een kant-en-klare werkende 'off-the-shelf' oplossing wilt gaan, zoals Synology, of dat je het leuk lijkt meer tijd uit te trekken voor een leerzame ervaring en met ZFS wilt stoeien. ZFS biedt je meer bescherming en features, maar kost je wel tijd om dat te leren en werkend te krijgen. Dus dat is een overweging die je denk ik los van bovenstaande kwestie dient te maken.

[ Voor 4% gewijzigd door Verwijderd op 20-09-2016 12:58 ]

[Webaccess]

Orion84 schreef op dinsdag 20 september 2016 @ 12:53:
[...]

Hoe helpt de recyclebin tegen cryptolocker en dergelijke?

Excuus, je hebt gelijk dat doet dit niet.
Ik heb mijn back-up ingesteld zodat deze meerdere dagen beschikbaar blijven en heb op die wijze verschillende versies beschikbaar. Op deze wijze kan ik herstellen van User-errors en virussen.

Een nieuwe of aanvullende methode, niet bij mij ingesteld, is het gebruik van Snapshots. Ik kan mijn bestaande configuratie niet aanpassen op dit punt maar nieuwe installaties kunnen hier wel gebruik van maken.

[ Voor 9% gewijzigd door Webaccess op 20-09-2016 13:25 ]