NAS VS DAS budget

[Maarten_B13]

Beste mede tweakers,

Ik ben al een tijdje bezig met het zoeken aar een goede oplossing voor mijn opslag probleem. Voor dat ik je daarmee lastig val zal ik eerst even de situatie uitleggen.

Moment werk als fotograaf en studeer ik. Dit zorgt er voor dat ik veel data produceer. Dit heeft er tot nu toe tot geleid dat ik meerdere externe hdd's heb voor de opslag en een samsung t5 om vanaf te werken. Nu loop ik tegen het probleem aan dat de hdd's vol beginnen te raken. Wat ik wil voorkomen is om een hele stapel hdd's in de kast te hebben liggen waardoor ik niet meer weet wat waar is. Daarnaast is de bereikbaarheid van de oude projecten op de hdd's ook niet altijd even goed. Als ik nu moet zoeken in grote oude projecten wil ik nog wel eens het hele project over moeten zetten naar de t5 om fatsoenlijk er door heen te kunnen lopen.

Waar ik naar op zoek ben is een mogelijkheid om veel data op te kunnen slaan met een relatief hoge snelheid (zat aan zo'n 300mb/s te denken) waarbij niet alle data verloren gaat als er een drive uitvalt.

Gear
Momenteel werk ik veel on te go en werk ik vanaf een Laptop (15'' MacBook Pro 2017) Als ik on the go ben zal ik geen toegang nodig hebben tot een storage oplossing.
Thuis hang ik mijn MacBook aan de Caldigit TS3+. Hier is nog een 10gb/s usb-c port over.


Na lang zoeken kwam ik op de volgende mogelijkheden uit.
- DAS
- NAS
- DIY NAS/Server

Zelf denk ik dat ik sowieso op zoek moet gaan naar een van deze drie met een ssd als cache voor de hdd's. Maar waar ik tegen aanloop is dat alle opties relatief duur zijn. Een DAS/NAS enclosure is toch al gouw 400+.

Een mogelijk probleem waar ik tegen aan ga lopen bij een oplossing over het netwerk is dat het netwerk relatief saturated is. Daardoor denk ik dat hierdoor al een deel uit gesloten is.

Nu is mijn vraag aan u "Wat denkt u dat een goede oplossing is?"

[Q]

Hoe groot is je huidige dataset en wat voor groei verwacht je voor de toekomst?

Mijn eerste gedachte is om alle data te consolideren op een paar hele grote 14+ TB schijven. Je moet dan wel een goede discipline hebben om twee van die grote schijven in sync te houden, met bijvoorbeeld superduper.

Met USB-C heb je dan goede doorvoer en het is een simpele oplossing. Geen DAS, geen NAS.

Het gaat heel erg om hoe je werkwijze er uit ziet en hoe je graag wilt werken. Voor actieve projecten is van SSD werken natuurlijk de mooiste oplosssing en volgend mij doe je dat al. De HDDs zijn dus voornamelijk voor archivering.

Met geld is er geen probleem, maar als je het financieel binnen de perken wilt houden, welke consessies zijn acceptabel. Moet je echt alles bewaren. Wanneer is een project echt klaar. En hoef je dan alleen het eindresultaat te bewaren of ook alle 'RAW' footage?

Tenzij je technisch goed onderlegd bent zou ik sowieso de optie om zelf iets te bouwen even parkeren, tenzij je ambities hebt om ook part-time systeembeheerder te worden. Iets neerzetten is makkelijk. Een storing oplossen.... ik verwacht een nieuw topic hier in de toekomst dat start met 'help!'.

We zitten hier op Tweakers, dus dat klinkt misschien als een vreemd advies, maar de vraag is wat bij jou past

Een ander verhaal wat ik nog mis in jouw werkwijze: backups (meerdere kopieen van de data op verschillende media) --> heb je van een project meerdere kopieën op meerdere media? Het is dus een totaalplaatje van je workflow + backup proces.

[ Voor 7% gewijzigd door Q op 15-03-2020 16:33 ]

[Maarten_B13]

Bedankt voor de snelle reactie

Q schreef op zondag 15 maart 2020 @ 16:28:
Hoe groot is je huidige dataset en wat voor groei verwacht je voor de toekomst?

Mijn huidige dataset is zo'n 2 TB, maar dit groeit exponentieel. Dit jaar verwacht ik op zo'n 300-400gb uit te komen aan nieuwe data, maar voor volgend jaar staat er een project op de planning dat op zich zelf al 300-400gb is.

Q schreef op zondag 15 maart 2020 @ 16:28:
Mijn eerste gedachte is om alle data te consolideren op een paar hele grote 14+ TB schijven. Je moet dan wel een goede discipline hebben om twee van die grote schijven in sync te houden, met bijvoorbeeld superduper.

Zelf zat ik hier ook aan te denken, maar ik vroeg mij af of het risico dan niet erg groot is op data verliezen?

Q schreef op zondag 15 maart 2020 @ 16:28:
Met geld is er geen probleem, maar als je het financieel binnen de perken wilt houden, welke consessies zijn acceptabel. Moet je echt alles bewaren. Wanneer is een project echt klaar. En hoef je dan alleen het eindresultaat te bewaren of ook alle 'RAW' footage?

Eigenlijk wel. Ik heb regelmatig dat ik nog terug moet naar de RAW bestanden. Natuurlijk gaan de echt slechte foto's wel weg, maar dat is redelijk beperkt.

Q schreef op zondag 15 maart 2020 @ 16:28:
Tenzij je technisch goed onderlegd bent zou ik sowieso de optie om zelf iets te bouwen even parkeren, tenzij je ambities hebt om ook part-time systeembeheerder te worden. Iets neerzetten is makkelijk. Een storing oplossen.... ik verwacht een nieuw topic hier in de toekomst dat start met 'help!'.

We zitten hier op Tweakers, dus dat klinkt misschien als een vreemd advies, maar de vraag is wat bij jou past

Dat is ook zeker niet de bedoeling, daarom stel ik nu ook de vraag en doe ik nu veel onderzoek om dit te voorkomen. De reden waarom ik hier nu mee aan de gang ga is zodat ik er tijdig bij ben en daardoor in de toekomst uit kan bereiden.

Q schreef op zondag 15 maart 2020 @ 16:28:
Een ander verhaal wat ik nog mis in jouw werkwijze: backups (meerdere kopieen van de data op verschillende media) --> heb je van een project meerdere kopieën op meerdere media? Het is dus een totaalplaatje van je workflow + backup proces.

Momenteel maak ik alleen van mijn huidige projecten een backup. Heel af en toe backup ik wat bestanden op de NAS die thuis staat, maar dit is erg traag (zowel het ernaar toe plaatsen als de toegang tot de data) Dit is iets waar ik mij ook wel zorgen om maak.


Zojuist vond ik het volgende:
https://www.allekabels.nl...84/1439324/backplane.html
https://www.alternate.nl/...1OrwuBEAQYBSABEgJ8Q_D_BwE
Kan ik dit niet gebruiken met een verloopje en iets van raid software?

[ Voor 3% gewijzigd door Maarten_B13 op 15-03-2020 17:11 ]

[DarkSide]

Ben bewust dat RAID geen backup is.
RAID zorgt er voor dat een (of meerdere (afhankelijk van je versie)) disk uit kan vallen en je nog bij je data kan.

RAID houdt geen crypto tegen. Of als je perongeluk iets weggooit, dan wel overschrijft.

Bedenk dat je naast je storage oplossing ook moet kijken wat je Data je waard is,
En die data (offsite) backupped. Met versie beheer zodat je netjes terug in de tijd kan.

Mijn Photos staan gewoon op een Synoloy. En omdat dit prive is heb ik geen RAID draaien.
heb liever pure storage dan een disk "weggooien"
Maar al mijn RAW bestanden worden netjes gebackupped. Ik kan daar altijd weer JPG's van maken.

Een offsite backup is aan te raden. Een blikseminslag bv kan zorgen dat je backup disk stuk gaat.
Of erger nog een brand oid.

[webfreakz.nl]

Stel je koopt zoiets: pricewatch: Synology DiskStation DS918+ (WD Red schijven) 8TB

Dat is grofweg 1000 euro en eenmalig inderdaad een stevig bedrag.

Aan de andere kant.. stel je schrijft dat financieel af in 5 jaar tijd, dan is het 200 euro per jaar en ~15 euro per maand. Je krijgt er dan 3x 8TB ~= 22TB diskspace voor. Je hebt nu 2TB in gebruik en komende 12 maanden verwacht je nog 1TB toe te voegen. Dus 22TB - 3TB = 19TB te gaan in een technische afschrijving van 5 - 10 jaren. Dan kan je grofweg maximaal 1.9TB per jaar opslaan.

Abonnement erbij voor BackBlaze Business ($60 / jaar) en Synology integratie en klaar?

Je kan VPNs met zo'n Synology draaien. Dus "on the go" kan je er dan ook bij.

Een mogelijk probleem waar ik tegen aan ga lopen bij een oplossing over het netwerk is dat het netwerk relatief saturated is. Daardoor denk ik dat hierdoor al een deel uit gesloten is.

10G netwerkje aanleggen? Of 's nachts backuppen? Kan me eerlijk niet voorstellen dat je thuis overdag continue een 1Gbps lijn voltrekt

[Yowzawood]

Elke fatsoenlijke keuze gaat je gewoon flink geld kosten, zonder een fatsoenlijk budget is zoeken naar een oplossing een beetje overbodig. Reken als snel op €500+.

Voor je belangrijke bestanden kun je uitgaan van de 3-2-1 regel (3 x een copie van je data, 2 verschillende apparaten/media waarvan 1 remote). Dan kom je als snel uit op een NAS die een automatische backup maakt van je laptop en waar je met iets van RAID een diskfail kunt voorkomen. Dan nog steeds periodiek backuppen op een ander apparaat/medium en daarvan een copie ergens anders neerleggen.

Roteren met lose schijven vergt zoveel discipline dat werkt in de praktijk slecht. Beter dan niets maar verre van geweldig.

[Q]

Maarten_B13 schreef op zondag 15 maart 2020 @ 17:07:
Bedankt voor de snelle reactie

Mijn huidige dataset is zo'n 2 TB, maar dit groeit exponentieel. Dit jaar verwacht ik op zo'n 300-400gb uit te komen aan nieuwe data, maar voor volgend jaar staat er een project op de planning dat op zich zelf al 300-400gb is.

Twee TB is niet heel veel data. Stel nu dat je 1 TB per jaar gaat genereren, kun je de komende 3 jaar makkelijk uit met een paar schijven van 6-8 TB. Zelfs als je dat verdubbelt: 14 TB schijven zijn ook een optie. Maar je kunt die kosten ook uitstellen naar een periode die mogelijk ook financieel beter uitkomt.

Zelf zat ik hier ook aan te denken, maar ik vroeg mij af of het risico dan niet erg groot is op data verliezen?

Ik denk dat dit wel mee valt. Maar je moet investeren in twee grote externe harde schijven.
Een enkele schijf stuk is alle data weg. Daarom koop je er twee.

Je kunt ze zelfs in een RAID1 set gooien onder MacOS maar om eerlijk te zijn zou ik dat niet doen. Want 1 foute handeling en al je data is van beide schijven weg.

Je schrijft je archival data naar schijf 1 en met superduper maak je een kopie van schijf 1 naar schijf 2.

Pas als de data op beide schijven staat mag je de data van je SSD wissen.

Je hebt overigens ook nog een extra kleine portable harde schijf nodig (mogelijk heb je die al). Deze gebruik je om regelmatig een backup van je SSD te maken, misschien met timemachine. Of wat voor jou werkt.

Eigenlijk wel. Ik heb regelmatig dat ik nog terug moet naar de RAW bestanden. Natuurlijk gaan de echt slechte foto's wel weg, maar dat is redelijk beperkt.

Helder. Dan is dit gewoon een vereiste.

Dat is ook zeker niet de bedoeling, daarom stel ik nu ook de vraag en doe ik nu veel onderzoek om dit te voorkomen. De reden waarom ik hier nu mee aan de gang ga is zodat ik er tijdig bij ben en daardoor in de toekomst uit kan bereiden.


[...]

Momenteel maak ik alleen van mijn huidige projecten een backup. Heel af en toe backup ik wat bestanden op de NAS die thuis staat, maar dit is erg traag (zowel het ernaar toe plaatsen als de toegang tot de data) Dit is iets waar ik mij ook wel zorgen om maak.

Als je slechts 1 exemplaar hebt van je huidige projecten, dan loop je serieus risico om een of meer projecten kwijt te raken als een schijf sterft.

Door twee grote schijven te kopen heb je de projecten in ieder geval op twee schijven staan en ga je er flink op vooruit qua veiligheid van je data.

Als je het geld er voor over hebt, kun je zelfs nog een 3e schijf kopen en die buitenshuis neerleggen ivm diefstal en brand. Dit vraagt wel dicipline om 1 x per maand of na een project backups te maken.

Zojuist vond ik het volgende:
https://www.allekabels.nl...84/1439324/backplane.html
https://www.alternate.nl/...1OrwuBEAQYBSABEgJ8Q_D_BwE
Kan ik dit niet gebruiken met een verloopje en iets van raid software?

Nee, dit is bedoeld voor inbouw in een eigen computer.

Een NAS is een prima oplossing, maar je loopt als eerste aan tegen de limiet van 1 Gbit networking. Die gewenste 300+ MB/s ga je nooit halen, het wordt max ~110 MB/s.

Dan kun je een leuk kastje neerzetten, maar ook dan zit je weer met de backup: 1 schijf in de NAS en 1 schijf extern voor backup van de NAS. Of als je nog meer geld er tegenaan wilt gooien: 2 schijven in RAID1 in de NAS en 1 schijf extern voor backup.

En als al het geld op moet: 10Gbit Nic in je NAS en aan je laptop. Dan kun je tot 1000 MB/s of hoe snel de schijven zijn werken.

Cloudbackup
Ik zou serieus overwegen om te denken aan cloud backup, om je een hoop ongemak te besparen: ik gebruik zelf backblaze (geen aandelen). Is wel maandelijks 6 euro voor ongelimiteerde data.

[ Voor 4% gewijzigd door Q op 15-03-2020 18:17 ]

[Renault]

Hierboven wordt een aantal malen een NAS genoemd als oplossing en ik denk dat dat juist is:
- neem een NAS met twee harddisks in RAID 1: dat geeft bij benadering de snelheden die jij zegt nodig te hebben. Gezien de grootte van je data-hoeveelheid en de beperkte groei daarvan die je noemt, volstaat een normale, gangbare NAS met betaalbare harddisks (qua opslagcapaciteit). Reken voor de NAS op een levensduur (afschrijftermijn) van 5 jaar, dan hoeven de schijven helemaal niet zo groot/duur te zijn.
- daarnaast neem je minimaal 1 grote externe harddisk (liefst 2) waarop je periodiek (elk kwartaal) een volledige databachup maakt vanaf je NAS: daarvoor sluit je de externe harddisk rechtstreeks aan op je NAS, over USB3 of USBC gaat het maken van een backup rap genoeg. Deze externe harddisk bewaar je NIER thuis, maar op een veilige plek elders (bv. op je werk in je persoonlijke locker of zo).
- daarnaast maak je x keer per dag (meestal volstaat 1 x per dag) een incremental backup naar een gratis/betaalde cloudopslag: programma's al het gratis Duplicati2, Veeam enz. kunnen dit gemakkelijk: in geval van Duplicati2 verlaat de data zelfs je netwerk geheel versleuteld en blijft extern versleuteld als je dat wenst.
- ook als je netwerk "verzadigd" is kan dit er allemaal best bij: het online backuppen kost bijna geen bandbreedte en de full backup zelfs helemaal niets.
Je wens om snelle access te hebben tot de data kan met een Gigabyte netwerk naar de NAS een heel eind worden ingewilligd.
- Ik zou eens vooraf uitproberen of e.e.a. voldoet in een testopstelling met een 1 GB netwerk.

[Maarten_B13]

Bedankt voor alle reacties. Ik ga er nog even rustig over nadenken.

Betreft de NAS adviezen. Zelf ben ik niet zo'n fan van het idee dat alles over mijn thuis netwerk gaat. Ik woon in een gezin met 5 mensen waarvan er 2 fanatieke gamers zijn en een ook relatief veel bandbreedte vraagt van het netwerk.

[Giesber]

Maarten_B13 schreef op maandag 16 maart 2020 @ 19:06:
Betreft de NAS adviezen. Zelf ben ik niet zo'n fan van het idee dat alles over mijn thuis netwerk gaat. Ik woon in een gezin met 5 mensen waarvan er 2 fanatieke gamers zijn en een ook relatief veel bandbreedte vraagt van het netwerk.

Ik heb de hele discussie niet gevolgd, maar als dat je tegenhoudt om een NAS te kiezen zijn daar wel oplossingen voor.

Ten eerste vraagt online gaming niet veel bandbreedte van het netwerk, voor online gaming moet het netwerk vooral snel en stabiel zijn. Om echt geen problemen te krijgen met bandbreedte kan je je transfers eventueel in snelheid beperken (bv een FTP client gebruiken, daar kan je meestal de snelheid beperken), of met QoS is er ook een en ander mogelijk (daarmee kan je bv het netwerkverkeer voor online gaming voorrang geven op je uploads).

Wat bedoel je met dat het netwerk redelijk saturated is? Is er 5 man tegelijk aan het Netflixen in 4k? Of gaat het om de 2 gamers? Heb je al gemeten of je netwerk wel degelijk redelijk saturated is, of is dat een gok/gevoel?

[Q]

Maarten_B13 schreef op maandag 16 maart 2020 @ 19:06:
Bedankt voor alle reacties. Ik ga er nog even rustig over nadenken.

Betreft de NAS adviezen. Zelf ben ik niet zo'n fan van het idee dat alles over mijn thuis netwerk gaat. Ik woon in een gezin met 5 mensen waarvan er 2 fanatieke gamers zijn en een ook relatief veel bandbreedte vraagt van het netwerk.

Beste Maarten_B13, het zou voor ons leuk zijn als je even kort hier vertelt - als je een keuze hebt gemaakt - wat je uiteindelijke keuze is geworden en waarom je die keuze hebt gemaakt.

[M2M]

Maarten_B13 schreef op maandag 16 maart 2020 @ 19:06:
Bedankt voor alle reacties. Ik ga er nog even rustig over nadenken.

Betreft de NAS adviezen. Zelf ben ik niet zo'n fan van het idee dat alles over mijn thuis netwerk gaat. Ik woon in een gezin met 5 mensen waarvan er 2 fanatieke gamers zijn en een ook relatief veel bandbreedte vraagt van het netwerk.

Ook daar zijn oplossingen voor zoals QoS (quality of service) of scheduling (taakbeheer op basis van tijd).

Ik zou gewoon zo'n synology ding halen en een abbo'tje bij backblaze nemen. Synology is eenvoudig in te stellen en genoeg terabytes tot het eind der levensduur van het ding.

[SadisticPanda]

Maarten_B13 schreef op maandag 16 maart 2020 @ 19:06:
Bedankt voor alle reacties. Ik ga er nog even rustig over nadenken.

Betreft de NAS adviezen. Zelf ben ik niet zo'n fan van het idee dat alles over mijn thuis netwerk gaat. Ik woon in een gezin met 5 mensen waarvan er 2 fanatieke gamers zijn en een ook relatief veel bandbreedte vraagt van het netwerk.

Gametraffiek is verwaarloosbaar op een bedraad netwerk. Game downloaden is intensief maar gamen....nope.

[Maarten_B13]

Ik denk dat ik er uit ben. Ik ga op zoek naar twee 4tb schijven. Deze ga ik met een programma synchroniseren. Als backup/archief. Hiermee kan ik voorlopig uit de voeten.

Dan kan ik als ik het mij kan veroorloven overstappen op een nas.