Offsite backup voor grote hoeveelheid data

[sus]

Hi,

Ik heb een klant die een serieuze berg data op een Synology NAS heeft staan. Zijn 5 Ironwolf schijven van 10TB, effectief 30TB in gebruik. In gebruik is nu 20TB aan data.

Zijn grootste issue waar hij nu tegenaan loopt, hoe regel je met dit soort volumes een offsite backup. Het enige waar ik aan zit te denken is eenzelfde NAS eerst op locatie neer te zetten, die als een backup in te stellen en wanneer de eerste backup gelukt is, hem daarna via internet te laten backuppen. De upload is op dit moment 100Mbit, maar er komt op korte termijn glas, dan gaat het naar 1Gbit.

Hebben jullie nog andere ideeen of oplossingen die ik zou kunnen inzetten? Ik heb gekeken naar cloud-oplossingen, maar dat gaat met dit soort aantallen om echt serieuze bedragen per maand, dan vermoed ik dat een stukje fysieke techniek al snel goedkoper gaat zijn.

[DaWizza]

De upload is inderdaad de limiterende factor, dat is stap 1.
Is er evt een mogelijkheid voor een 2e lijn?

[sus]

Ik kan de initiele 20TB op locatie doen, daarna groeit het per dag met +/- 5-10GB

[joca]

Er zijn partijen die voor dit soort situaties oplossingen hebben, je maakt lokaal een mirror en deze hangen ze vervolgens in een offerte site datacenter. Daarna een incrementele backup.

nextstep24 is iig zo'n partij, bij een calamiteit komen ze volgens mij met de fysieke mirror weer op locatie zodat je snel weer online bent.
Ken deze club toevallig maar er zijn vast vergelijkbare aanbieders

[jnr24]

Heb je naar de Amazon Glacier bedragen gekeken? Die opslag is gemaakt 'als archief' dus niet om dagelijks kleine bestandjes weer terug te zettten. Doorgaans dus heel geschikt als offsite backup en zij kunnen dat dan voordeliger aanbieden als S3 storage.

Met 10MB/s kom ik uit op 555 uur, zeg een maandje uploaden. Daar kan je vast wat aan schroeven door bijvoorbeeld wat data vanaf je eigen kantoor te uploaden.

Kijk ook eens naar opensource SyncThing, daar kan je mooi mappen mee synchroniseren, al dan niet encrypted. Apparaten/folders worden op ID herkent dus het is makkelijk om dan via een laptop/externe schijf toch een complete sync te krijgen.

Zeker met dit soort volumes aan data: Doe recovery tests! En maak draaiboeken, wat doe je als het pand afbrand, wat doe je bij ransomware. 20TB staat namelijk niet 2 uur later klaar op een nieuwe NAS/Server.

edit: Ik heb even gekeken voor je : $0.0036 per GB / month bij Amazon, 20 TB is dus $72/maand maar er komt nog wel wat datatransfer kosten bij (tenzij er nu nog maar enkele GB per maand bij druppelt)

[ Voor 10% gewijzigd door jnr24 op 02-05-2024 18:30 ]

[lasharor]

Eenzelfde NAS inrichten en vervolgens Hyperbackup gebruiken?

[RudolfR]

Misschien kijken of de data gededupliceerd kan worden?

[Tweakert2020]

sus schreef op donderdag 2 mei 2024 @ 18:00:
Ik kan de initiele 20TB op locatie doen, daarna groeit het per dag met +/- 5-10GB

Is dit statische data?

[DDX]

jnr24 schreef op donderdag 2 mei 2024 @ 18:15:
Met 10MB/s kom ik uit op 555 uur, zeg een maandje uploaden. Daar kan je vast wat aan schroeven door bijvoorbeeld wat data vanaf je eigen kantoor te uploaden.

Moet je dan alleen wel afvragen wat je gaat doen als je die backup nodig hebt.
Ga je dan weer een maandje wachten tot je alle data weer hebt ?

[sus]

Tweakert2020 schreef op vrijdag 3 mei 2024 @ 16:57:
[...]

Is dit statische data?

Ja, de data veranderd in principe niet meer na een aantal dagen en is daarna vooral een archief

[Tweakert2020]

Heb je ook al eens naar C2 gekeken of dat interessant is?

[sus]

Nog niet, die gaat nu op het lijstje. Daarom dus dit topic

[jnr24]

DDX schreef op vrijdag 3 mei 2024 @ 17:00:
[...]


Moet je dan alleen wel afvragen wat je gaat doen als je die backup nodig hebt.
Ga je dan weer een maandje wachten tot je alle data weer hebt ?

Dat is een heel goed punt en daar komt een goede backup- restore-strategie bij kijken.

Een archief voor een fotograaf is bijvoorbeeld redelijk overzichtelijk, 1000 projecten 20GB per stuk. Als alles afbrand dan is de klant die nog een trouwfoto wil bestellen van 5 jaar geleden sowieso al niet het grootste probleem, maar bij wijze van spreken kan je binnen een uurtje de juiste 20 GB downloaden en de juiste foto's eruit pikken.

Is het een complexe bulk van dossiers en zware grafische documenten, of een database met allerlei interne verbanden, waar onverwacht ineens een heel team toegang toe moet hebben vanwege dure afspraken dan is het eigenlijk al niet meer een archief en wil je de data meer online houden. Eventueel op twee locaties fysiek en het 'glacier archief' achter de hand houden voor wanneer ransomware de twee locaties plat legt.

Met een 'disaster recovery plan' bepaal je dan waar je gaat werken en hoe je de zaken aanpakt. Heeft bij ransomware iedereen nog een laptop die betrouwbaar is of zijn laptops verloren gegaan bij brand- of waterschade (tijdens kantoortijden)? Kan IT en management beginnen met communiceren naar collega's wat te doen, uitwijkkantoor met (IT) infra, thuiswerkers van nieuwe apparatuur voorzien. Ook moeten diverse mensen weten hoe de restore aangepakt moet worden, hoe ze kunnen werken zonder de 'X: drive' waar normaal altijd alle mappen staan, ze moeten ook recente wachtwoorden hebben etc..

Binnen bovenstaand plaatje staat het 20TB archief misschien op plaats 50 in het stappenplan. Als het gemis echter duizenden euro's per dag kost dan is het misschien wel goed om iets harder na te denken over de huidige NAS oplossing

Ik heb het ook nog even bij de Google cloud diensten bekeken, die hebben ook zo'n slow storage. 20TB statisch bewaren is echt tientjes werk per maand. Het up- en downloaden kost iets, maar ik geloof niet dat je met de eerste upload erbij meer dan €500 kwijt bent voor het eerste jaar, voordeliger dan Amazon denk ik.

Letop! als je een leuke opensource client opstart en in een weekend even 3 miljoen bestandjes in losse containers upload dan kan het snel prijzig worden. (kosten per transactie) Ik zou dus zeker ook de 'billing' testen, ook qua volume, als een locatie wat duurder uitvalt of je misrekent je dan wil je niet €100 aan de klant beloven en €500 bij de cloudprovider op de factuur zien)

[vanputten80]

jnr24 schreef op donderdag 2 mei 2024 @ 18:15:
Heb je naar de Amazon Glacier bedragen gekeken? Die opslag is gemaakt 'als archief' dus niet om dagelijks kleine bestandjes weer terug te zettten. Doorgaans dus heel geschikt als offsite backup en zij kunnen dat dan voordeliger aanbieden als S3 storage.

Met 10MB/s kom ik uit op 555 uur, zeg een maandje uploaden. Daar kan je vast wat aan schroeven door bijvoorbeeld wat data vanaf je eigen kantoor te uploaden.

Kijk ook eens naar opensource SyncThing, daar kan je mooi mappen mee synchroniseren, al dan niet encrypted. Apparaten/folders worden op ID herkent dus het is makkelijk om dan via een laptop/externe schijf toch een complete sync te krijgen.

Zeker met dit soort volumes aan data: Doe recovery tests! En maak draaiboeken, wat doe je als het pand afbrand, wat doe je bij ransomware. 20TB staat namelijk niet 2 uur later klaar op een nieuwe NAS/Server.

edit: Ik heb even gekeken voor je : $0.0036 per GB / month bij Amazon, 20 TB is dus $72/maand maar er komt nog wel wat datatransfer kosten bij (tenzij er nu nog maar enkele GB per maand bij druppelt)

Ik gebruik Glacier deep Archive (in combi met. Synology) voor ongeveer 1.5TB en betaal 1.05 Euro per maand.
Initiële upload heeft met iets van 7 of 8 Euro gekost. Heb veel foto's en losse bestanden , als je dat beperkt kan het volgens mij goedkoper omdat ze per request rekenen.
Wat het kost om het te downloaden weet ik niet, gebruik het echt alleen voor nood.