Veilig backups/syncen met mijn thuisserver

Pagina: 1
Acties:

Vraag


Acties:
  • 0 Henk 'm!

  • HollowGamer
  • Registratie: Februari 2009
  • Niet online
Mijn vraag
Voor mijn VPS zou ik graag dagelijks zijn data willen rsyncen met mijn NAS, zodat ik altijd een backup heb mocht mijn VPS ermee stoppen.

Nu ben ik aan het denken wat de beste optie zou zijn:
- OpenVPN connectie maken tussen de NAS en VPN, daarna mount-point via sshfs
- Syncthing over HTTPS (Let's Encrypt), maar zonder VPN er tussen.

Relevante software en hardware die ik gebruik
- Thuisserver (24/7) met Linux, genoeg space en RAM.
- Ziggo 300/30
- VPS bij provider

Wat ik al gevonden of geprobeerd heb
Nog niks, want ik wil eigenlijk meer info hoe ik dit het beste kan doen. :)
Normaal zou ik kiezen voor een VPN tussen twee servers - enkel wil ik alleen een service voor een sync, verder zou ik de VPS geen toegang willen geven tot mijn thuisnetwerk.

Beste antwoord (via HollowGamer op 04-08-2017 09:38)


  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 14:43
In plaats van tar's, zou je ook eens hier naar kunnen kijken:
http://borgbackup.readthedocs.io

Op die manier heb je in plaats van een zelf bedacht iets een systeem wat veel meer kan en waarschijnlijk een stuk efficiënter en betrouwbaarder is.

Alle zaken die hier genoemd worden, zijn ondersteund en het is niet afhankelijk van het soort filesystem.
Met de voorbeeldcommando's op de wiki heb je binnen no-time een oplossing met encryptie, deduplicatie, incrementele backups, automatisch opruimen van oude backups, etc..
Wat ik zelf ook ideaal vind is dat het systeem remote repositories ondersteund via SSH.
Het feit dat je elke backup simpelweg kan mounten als filesystem is ook echt een uitkomst.

[ Voor 92% gewijzigd door ikke26 op 30-07-2017 18:08 ]

Alle reacties


Acties:
  • 0 Henk 'm!

  • RGAT
  • Registratie: Augustus 2011
  • Niet online
Sync is geen backup, een fout aan een kant, bestand verwijderen of virus en je hebt dus een kopie van nutteloze data :+
Je kan een daadwerkelijke backup maken en dan dagelijks incremental backups bijvoorbeeld, waarom niet gewoon een VPN btw?

Fixing things to the breaking point...


Acties:
  • 0 Henk 'm!

  • unezra
  • Registratie: Maart 2001
  • Laatst online: 22-09 08:23

unezra

Ceci n'est pas un sous-titre.

Heb je al eens gekeken naar een ZFS onderlaag aan beide kanten?

Dat kan data bit-wise synchen en snapshots maken.

Kijk bijvoorbeeld eens naar:
https://github.com/jimsalterjrs/sanoid

Ná Scaoll. - Don’t Panic.


Acties:
  • 0 Henk 'm!

  • Switchie
  • Registratie: April 2009
  • Niet online

Switchie

Mr. Evil Genius

HollowGamer schreef op vrijdag 28 juli 2017 @ 21:20:
mocht mijn VPS ermee stoppen.
....
verder zou ik de VPS geen toegang willen geven tot mijn thuisnetwerk.
Als je dermate weinig "vertrouwen" hebt. Zou je dan niet beter beginnen met een andere VPS aanbieder te zoeken?

Elk fatsoenlijk bedrijf zal, gebruikers (ruimschoots) van te voren informeren als ze willen stoppen met een dienst. Als je dit vertrouwen al niet hebt, had ik het wel geweten :)

[ Voor 21% gewijzigd door Switchie op 28-07-2017 21:40 ]

'Future proof' (de; v) Verschijnsel waarbij men een dure aankoop rechtvaardigt door innovatie te negeren


Acties:
  • 0 Henk 'm!

  • HollowGamer
  • Registratie: Februari 2009
  • Niet online
RGAT schreef op vrijdag 28 juli 2017 @ 21:26:
Sync is geen backup, een fout aan een kant, bestand verwijderen of virus en je hebt dus een kopie van nutteloze data :+
Je kan een daadwerkelijke backup maken en dan dagelijks incremental backups bijvoorbeeld, waarom niet gewoon een VPN btw?
Daar heb je inderdaad gelijk in, kan misschien beter met tar-scrips aan de slag. :)

Met VPN maak ik een directe verbinding naar huisnetwerk, waardoor deze ook zou kunnen kloppen aan services in mijn huidige thuisnetwerk. Met een directe HTTPS verbinding heb ik zo bedenk ik mij die issues niet, en heb geen overhead met VPN.
Switchie schreef op vrijdag 28 juli 2017 @ 21:39:
[...]

Als je dermate weinig "vertrouwen" hebt. Zou je dan niet beter beginnen met een andere VPS aanbieder te zoeken?
Mijn nieuwe provider maakt geen backups, voor mij is het fijn dagelijks een backup te hebben (voor 7 dagen bijv.) en deze staat dan ook nog buiten de huidige provider zodat ik altijd bij mijn data kom.

Tevens heb ik genoeg verhalen gelezen over providers die werden gehackt, of door een ex-medewerker werden gewist. ;)
Ik heb vertrouwen in de mens hoor, maar het is voor mij prima dit toch te backuppen naar mijn NAS als ik daar genoeg ruimte op heb.

En ja, je hebt helemaal gelijk, ik zit nog bij een beginnende provider, maar werkt tot nu toe prima. Op dit moment is vooral testing/hobby projecten van mijzelf, als ik tevreden ben blijf ik, bij meer professioneel gebruik verkies ik altijd een partij met meer reviews. Maar dit geeft mij een kans om een andere partij een kans te geven, tegen een goed tarief en deze goed aan de tand te voelen. :)
unezra schreef op vrijdag 28 juli 2017 @ 21:31:
Heb je al eens gekeken naar een ZFS onderlaag aan beide kanten?

Dat kan data bit-wise synchen en snapshots maken.

Kijk bijvoorbeeld eens naar:
https://github.com/jimsalterjrs/sanoid
Ziet er goed uit, nog nooit van gehoord. :)
Helaas heb ik op mijn NAS btrfs en op mijn VPS ext4 - waardoor het wat moeilijke wordt tenzij ik het omgooi. ;)

[ Voor 9% gewijzigd door HollowGamer op 28-07-2017 21:50 ]


Acties:
  • +1 Henk 'm!

  • RGAT
  • Registratie: Augustus 2011
  • Niet online
Als jij je VPN/firewall goed instelt kan er niks door komen naar de rest van je netwerk bijvoorbeeld ;)
En die overhead is ook te verwaarlozen tenzij je over een inbellijn gaat oid.
Sowieso altijd een backup hebben, data die geen backup waard is..... Of je nou vertrouwen hebt in de VPS of niet idd.

Fixing things to the breaking point...


Acties:
  • 0 Henk 'm!

  • vso
  • Registratie: Augustus 2001
  • Niet online

vso

tja...

ik sluit me wel aan bij @RGAT sync is geen backup.

tja openvpn,ssh of een ander "transport" medium tja wat heeft het minste overhead ?

ik snap wel dat je een sync wilt puur omdat je dan de data 1:1 hebt staan, alleen zoals RGAT terecht aangeeft is dat je corruptie/hack meesynct naar de "overkant" en je dus alsnog alles kwijtbent.

Backula is een backup medium waarbij je 1x per (week?) tijd een full backup maakt en tussentijds incrementels kan maken. .. niet alleen houd je de wijzigigen bij maar je selectiever de data restoren. Mits je server dit ook ondersteunt.

Wat je alleen niet vermeld is dat het om "data" of "database" gaat, een database heeft als nadeel dat je data eigenlijk na 24 uur waardeloos kan zijn, (lees inmens veel werk om het redelijk in goeie staat te krijgen)
Hierom zijn het testen van je restore mogelijkheden ook cruciaal .. een backup van je database doe je alleen om bij permanente uitval (zoals je zelf zegt het wissen van een vps door boze werknemer) de schade te minimaliseren. maar ja kapote sync/backup is alsnog einde oefening.

Tja vanalles


Acties:
  • 0 Henk 'm!

  • unezra
  • Registratie: Maart 2001
  • Laatst online: 22-09 08:23

unezra

Ceci n'est pas un sous-titre.

HollowGamer schreef op vrijdag 28 juli 2017 @ 21:46:
[...]
Daar heb je inderdaad gelijk in, kan misschien beter met tar-scrips aan de slag. :)

Met VPN maak ik een directe verbinding naar huisnetwerk, waardoor deze ook zou kunnen kloppen aan services in mijn huidige thuisnetwerk. Met een directe HTTPS verbinding heb ik zo bedenk ik mij die issues niet, en heb geen overhead met VPN.
Dat is prima te ondervangen en niet noodzakelijkerwijs veiliger of onveiliger dan een https of ssh verbinding.
Overigens draait de door mij aangehaalde tool gewoon via ssh. :)

Qua overhead: https en ssh hebben ook CPU cycles nodig, ik denk niet dat je het verschil gaat merken.
[...]
Ziet er goed uit, nog nooit van gehoord. :)
Helaas heb ik op mijn NAS btrfs en op mijn VPS ext4 - waardoor het wat moeilijke wordt tenzij ik het omgooi. ;)
Prima moment om de zooi om te bouwen dus. :)
ZFS heeft heel veel voordelen die onder andere belangrijk zijn voor wat anderen zeggen: Alleen met een sync ben je er niet. Je wilt snapshots.
vso schreef op zaterdag 29 juli 2017 @ 00:02:
ik sluit me wel aan bij @RGAT sync is geen backup.
Ik ben het daar niet helemaal mee eens. Backups maak je namelijk niet alleen voor user f*ckup en voor datacorruptie, maar ook voor totale uitval of verlies (brand, diefstal) van een systeem en *dan* is een enkele sync van je data voldoende. Het is hetzelfde waarom je RAID gebruikt. RAID is geen backup, maar het is wel onderdeel van je DR strategie. Combineer je RAID met snapshots, ben je lokaal goed beveiligd tegen malware, user f*ckup en disk falen. Wil je je dan ook nog beschermen tegen falen van het hele systeem, dan ga je naar offsite replicatie.

Wil je het nog mooier/beter: tape

Maar da's minder geschikt voor thuis. :) (Het is per opgeslagen T erg goedkoop maar ook relatief bewerkelijk, zeker als je de tapes buiten de deur wilt hebben. Kortom, meer voor bedrijfssituaties.)
Backula is een backup medium waarbij je 1x per (week?) tijd een full backup maakt en tussentijds incrementels kan maken. .. niet alleen houd je de wijzigigen bij maar je selectiever de data restoren. Mits je server dit ook ondersteunt.
Een interessant alternatief is BackupPC:
http://backuppc.sourceforge.net/

Werkt met standaard oplossingen als rsync en als ZFS toch een brug te ver is voor TS, is BackupPC wellicht wel een interessante. (Juist omdat het retentie heeft.)

Pré: Het heeft een goed bruikbare web GUI.

Ná Scaoll. - Don’t Panic.


Acties:
  • 0 Henk 'm!

  • RGAT
  • Registratie: Augustus 2011
  • Niet online
unezra schreef op zaterdag 29 juli 2017 @ 06:51:
[...]

Ik ben het daar niet helemaal mee eens. Backups maak je namelijk niet alleen voor user f*ckup en voor datacorruptie, maar ook voor totale uitval of verlies (brand, diefstal) van een systeem en *dan* is een enkele sync van je data voldoende. Het is hetzelfde waarom je RAID gebruikt. RAID is geen backup, maar het is wel onderdeel van je DR strategie. Combineer je RAID met snapshots, ben je lokaal goed beveiligd tegen malware, user f*ckup en disk falen. Wil je je dan ook nog beschermen tegen falen van het hele systeem, dan ga je naar offsite replicatie.

Wil je het nog mooier/beter: tape

Maar da's minder geschikt voor thuis. :) (Het is per opgeslagen T erg goedkoop maar ook relatief bewerkelijk, zeker als je de tapes buiten de deur wilt hebben. Kortom, meer voor bedrijfssituaties.)
Als jij die RAID met snapshots vervolgens synct naar online storage zal die malware daar ook gewoon de boel verzieken ;)
Pas als je een kopie van de data offline houdt (backup dus) ben je daar tegen beschermd.
Anyway, zoals je al zegt is een kopie voor totale uitval/verlies een onderdeel van backup, daarmee kan sync nooit een echte backup zijn, hooguit een onderdeel van een backup plan.
Verder is een goed, snel en getest! recovery plan ook onderdeel van de backup.

Fixing things to the breaking point...


Acties:
  • 0 Henk 'm!

  • unezra
  • Registratie: Maart 2001
  • Laatst online: 22-09 08:23

unezra

Ceci n'est pas un sous-titre.

RGAT schreef op zaterdag 29 juli 2017 @ 11:03:
[...]
Als jij die RAID met snapshots vervolgens synct naar online storage zal die malware daar ook gewoon de boel verzieken ;)
Snapshots zijn immutable, dus nee.
Je actuele snapshot zal verziekt zijn maar dat is dus waarom je snapshots maakt, daarmee kun je terug in de tijd. :) Zet je een snapshot terug van voor de uitbraak en *tadaa*.
Pas als je een kopie van de data offline houdt (backup dus) ben je daar tegen beschermd.
Helaas, dat is niet waar.

Bij een malware uitbraak is een snapshot terug zetten precies wat je doet. Malware heeft geen invloed op je snapshots en staan die offsite (dus niet offline) ben je ook nog eens beschermd tegen volledig verlies van je server.
Anyway, zoals je al zegt is een kopie voor totale uitval/verlies een onderdeel van backup, daarmee kan sync nooit een echte backup zijn, hooguit een onderdeel van een backup plan.
Verder is een goed, snel en getest! recovery plan ook onderdeel van de backup.
Snapshots, gecombineerd met RAID en offsite replicatie is in principe een volledig valide backup strategie die je beschermt tegen zo goed als alles, inclusief malware en user f*ckup.

Wil je NOG beter, is er maar 1 echte optie: Backup naar tape. Maar dat is voor de gemiddelde privé gebruiker veel te omslachtig, foutgevoelig en duur. (De prijs per T van tape is onovertroffen laag. Helaas heb je ook nog software en een tapestreamer nodig en moet je iedere dag, week, maand, tapes wisselen. Met een beetje pech past je data niet op 1 tape en dan moet je meteen een library kopen of tapes wisselen. Zinvol voor een bedrijf, niet voor de gemiddelde thuis hobbyist.)

Ná Scaoll. - Don’t Panic.


Acties:
  • 0 Henk 'm!

  • RGAT
  • Registratie: Augustus 2011
  • Niet online
Zie niet helemaal hoe je snapshots veilig zijn voor malware?
Zolang je die opslaat op een hardeschrijf (of ssd...) kan de malware er gewoon bij, NTFS permissies instellen helpt ook weinig tegen een degelijk virus.
Kan de data in jouw snapshots wel leuk met checksums kloppen, alleen jammer dat het als geheel encrypted is door ransomware...

Fixing things to the breaking point...


Acties:
  • 0 Henk 'm!

  • rtenklooster
  • Registratie: Juli 2008
  • Laatst online: 23-04 18:11
Ik zou eens kijken naar crashplan.

Deze software kan je installeren op je Linux bak en je pc’s servers etc thuis. De software stelt je in staat vrienden naar je te laten backuppen. Inclusief encryptie en versiebeheer.

Goede ervaring mee.

Acties:
  • 0 Henk 'm!

  • unezra
  • Registratie: Maart 2001
  • Laatst online: 22-09 08:23

unezra

Ceci n'est pas un sous-titre.

RGAT schreef op zaterdag 29 juli 2017 @ 15:03:
Zie niet helemaal hoe je snapshots veilig zijn voor malware?
Zolang je die opslaat op een hardeschrijf (of ssd...) kan de malware er gewoon bij, NTFS permissies instellen helpt ook weinig tegen een degelijk virus.
Kan de data in jouw snapshots wel leuk met checksums kloppen, alleen jammer dat het als geheel encrypted is door ransomware...
Alleen jammer dat ook de beste malware, geen fluit kan met snapshots die worden gemaakt dmv een onderliggend filesystem waar het geen weet van heeft en domweg niet bij kan.

Probeer maar eens een WAFL of ZFS snapshot te infecten.

Dus nee, die malware kan daar niet gewoon bij. Die kan de bestanden lezen (je kunt er vanaf het OS bij), maar ze zijn volledig immutable.

Overigens werkt de meeste malware op bestandsniveau. Niet op filesystem niveau. Daar helpen snapshots wel tegen. Pas als het het filesystem aan pakt kun je een probleem hebben, als het op 1 systeem staat en het onderliggende OS WIndows is. Met centrale storage (ofwel, een NAS) heb je daar dus ook geen last van.

[ Voor 16% gewijzigd door unezra op 29-07-2017 20:18 ]

Ná Scaoll. - Don’t Panic.


Acties:
  • 0 Henk 'm!

  • RGAT
  • Registratie: Augustus 2011
  • Niet online
Dan moet je die stap er natuurlijk wel specifiek bij vermelden :p
Snapshots zelf doen daar weinig aan dus tenzij je een onderliggend systeem ervoor hebt wat er wel tegen beschermd.

Fixing things to the breaking point...


Acties:
  • 0 Henk 'm!

  • unezra
  • Registratie: Maart 2001
  • Laatst online: 22-09 08:23

unezra

Ceci n'est pas un sous-titre.

RGAT schreef op zaterdag 29 juli 2017 @ 20:39:
Dan moet je die stap er natuurlijk wel specifiek bij vermelden :p
Snapshots zelf doen daar weinig aan dus tenzij je een onderliggend systeem ervoor hebt wat er wel tegen beschermd.
In de TS staat dit:
Voor mijn VPS zou ik graag dagelijks zijn data willen rsyncen met mijn NAS
En precies dat is de situatie waarin snapshots *prima* beschermen tegen malware. :)

Ná Scaoll. - Don’t Panic.


Acties:
  • 0 Henk 'm!

  • RGAT
  • Registratie: Augustus 2011
  • Niet online
Als hij zijn snapshots op NTFS opslaat en ransomware die verpest heb je weinig aan een rsync tenzij je op tijd die stopt...

Fixing things to the breaking point...


Acties:
  • 0 Henk 'm!

  • vso
  • Registratie: Augustus 2001
  • Niet online

vso

tja...

unezra schreef op zaterdag 29 juli 2017 @ 06:51:
Ik ben het daar niet helemaal mee eens. Backups maak je namelijk niet alleen voor user f*ckup en voor datacorruptie, maar ook voor totale uitval of verlies (brand, diefstal) van een systeem en *dan* is een enkele sync van je data voldoende. Het is hetzelfde waarom je RAID gebruikt. RAID is geen backup, maar het is wel onderdeel van je DR strategie. Combineer je RAID met snapshots, ben je lokaal goed beveiligd tegen malware, user f*ckup en disk falen. Wil je je dan ook nog beschermen tegen falen van het hele systeem, dan ga je naar offsite replicatie.
NOFI Als je iemand voorlicht doe dan dat met gegronde goeie informatie niet halve meuk waar niemand wat aan heeft.

Waarom denk je dat de rotterdamse haven zo lang offline heeft gelegen ? omdat halfbakken beheerders/architecht exact dit bedacht hadden.


RAID is GEEN backup, OF onderdeel van je DR stratagie .. het is gewoon verkeerd beheer.
een backup doe je op een ander medium (lees ander systeem) waarbij offsite een voorkeur is.
Snapshotten is daarom ook geen backup

RAID staat voor Redundant Array (of) Inexpensive Disks waar zie je in die afkorting dan "DR" staan ?
De redundancy is meer tegen het feit dat een goedkope disk faalt.

Daarnaast brand/diefstal .. je vergat nog een "bom" en zal ik nog wat natuur rampen erbij noemen of is dat gezever over exacte omschrijfing bij deze be-eindigd ?

Tape/disk who cares
Snapshots, gecombineerd met RAID en offsite replicatie is in principe een volledig valide backup strategie die je beschermt tegen zo goed als alles, inclusief malware en user f*ckup.
dit is dus gewoon slecht,
- RAID zie eerder opmerking

Een snapshot is bedoelt om een fixed moment in tijd, het feit dat een write naar disk commit is wil niet zeggen dat de data bruikbaar is. dit is bij active databases nog gevaarlijker .. replicatie van een snapshot zegt dus niks. hoewel steeds meer databases snapshotting ondersteunen wil niet zeggen dat jou (werk)omgeving ook hier reeds actief gebruik van maakt. En dit volledig restorebaar is.

En zonder testen van je backup heb je gewoon geen goeie DR stratagie dit moet je regelmatig at-random doen

edit:

vergat dat offline backup bewaren ook nog belangrijk is :)

Tja vanalles


Acties:
  • 0 Henk 'm!

  • unezra
  • Registratie: Maart 2001
  • Laatst online: 22-09 08:23

unezra

Ceci n'est pas un sous-titre.

vso schreef op zaterdag 29 juli 2017 @ 21:21:
[...]

NOFI Als je iemand voorlicht doe dan dat met gegronde goeie informatie niet halve meuk waar niemand wat aan heeft.

Waarom denk je dat de rotterdamse haven zo lang offline heeft gelegen ? omdat halfbakken beheerders/architecht exact dit bedacht hadden.


RAID is GEEN backup, OF onderdeel van je DR stratagie .. het is gewoon verkeerd beheer.
een backup doe je op een ander medium (lees ander systeem) waarbij offsite een voorkeur is.
Snapshotten is daarom ook geen backup

RAID staat voor Redundant Array (of) Inexpensive Disks waar zie je in die afkorting dan "DR" staan ?
De redundancy is meer tegen het feit dat een goedkope disk faalt.
Waarom denk je dat RAID en snapshots geen onderdeel vormen van je DR?

Er zijn meer scenario's dan "mijn complete opslag is weg" en in een een aantal van die scenario's, maken RAID en snapshots het leven heel wat makkelijker.

Dat RAID geen backup is staat buiten kijf, dat het geen onderdeel is van je DR strategie, not so much.

Het begint altijd met snapshots en RAID, da's de basis, alles daarna is extra en sommige delen daarvan zijn in gevallen meer of minder noodzakelijk. Ik denk wel dat je tenminste ook altijd moet streven naar offsite backups. Replicatie of tape dus, waarbij replicatie voor MKB en thuisgebruikers makkelijker is dan tape. Wil je het echt goed doen, pas je dat allemaal en nog wat andere technieken toe.
Daarnaast brand/diefstal .. je vergat nog een "bom" en zal ik nog wat natuur rampen erbij noemen of is dat gezever over exacte omschrijfing bij deze be-eindigd ?

Tape/disk who cares
De discussie disk vs tape is best een interessante.
Disk is namelijk zelden of nooit offline, hooguit offsite. Juist offline is in situaties belangrijk en de prijs per opgeslagen T van tape is veel beter dan die van disk.

Kortom, tape vs disk is relevant en tape is relevant.
[...]

dit is dus gewoon slecht,
- RAID zie eerder opmerking

Een snapshot is bedoelt om een fixed moment in tijd, het feit dat een write naar disk commit is wil niet zeggen dat de data bruikbaar is. dit is bij active databases nog gevaarlijker .. replicatie van een snapshot zegt dus niks. hoewel steeds meer databases snapshotting ondersteunen wil niet zeggen dat jou (werk)omgeving ook hier reeds actief gebruik van maakt. En dit volledig restorebaar is.
Met databases moet je voorzorgsmaatregelen treffen. Eens.
Alleen staat vaak lang niet alle data in een een database.

Hele vm's zijn over het algemeen prima van een snapshot terug te halen, losse bestanden (SMB shares) same shit. Ook databases kunnen goed gaan.
En zonder testen van je backup heb je gewoon geen goeie DR stratagie dit moet je regelmatig at-random doen

edit:

vergat dat offline backup bewaren ook nog belangrijk is :)
Juist. Dus is het relevant of je backupt naar disk of naar tape. :)
Alleen in een thuissituatie zou ik niet snel naar tape grijpen. Bedrijfsmatig absoluut wel. Voordat je bedrijfsmatig besluit niet naar tape te grijpen moet je echt heel erg goed nadenken. Je hoort nog wel eens van "tape is ouderwets", da's natuurlijk klets, tape is modern en nog altijd een zinvol en vaak noodzakelijk medium.

Ná Scaoll. - Don’t Panic.


Acties:
  • 0 Henk 'm!

  • vso
  • Registratie: Augustus 2001
  • Niet online

vso

tja...

unezra schreef op zaterdag 29 juli 2017 @ 21:35:
Waarom denk je dat RAID en snapshots geen onderdeel vormen van je DR?
Wat snap je niet aan goedkope disks en de snapshot technologie wat ik uiteenzet in mijn vorige post ?
Er zijn meer scenario's dan "mijn complete opslag is weg" en in een een aantal van die scenario's, maken RAID en snapshots het leven heel wat makkelijker.
Dat ontken ik ook niet, en wellicht zijn deze scenario's wat je bedenkt onder andere de
- falende disk
- F*ck up van een upgrade
ja dan kan een snapshot en RAID erg prettig zijn omdat je dan niet met downtime zit of minder .. downtime.

Maar zonder goeie backup:
- kan een raid plat gaan (bij het insert-en van disk)
- snapshot corruptie introduceren ipv weghalen/ontwijken.

Dan ben je blij dat een je vooraf in je procedure hebt staan dat een een FULL backup is geweest van je systeem :)
Dat RAID geen backup is staat buiten kijf, dat het geen onderdeel is van je DR strategie, not so much.
Het begint altijd met snapshots en RAID, da's de basis,
Dit is gewoon te sneu voor woorden .. ik zou je digitale mond moeten spoelen met zeep voor deze belediging :(

Wat jij verward is uptime en downtime stratigie-en
Een Disaster Recovery (DR) en dus downtime betekend dat je voorbij het punt bent dat je kan herstellen, in het geval van RAID betekend dit dat je hele Array eruit geklapt is. EN/OF je snapshot zodannig onbruikbaar is dat je systeem niet bruikbaar is voor het bedoelde doeleinde.
Maar ja een snapshot restore van een productie financiele administratie is ook niet erg wenselijk of wel ??
stel dat men net met jou salaris aan het "knoeien' waren .. tja ..

RAID is onderdeel van je uptime stratigie, en zorgt ervoor dat je niet uit je bedrijf door kan draaien terwijl een disk defect raakt,

Snapshots stellen je in staat mits goed toegepast dingen te testen bv upgrade van software.
maar op een productie fileserver een 2 weken oude snapshot restoren ??? waarbij een groeie van 1gb per week aan data is ?? nee dankje ik kijk 100x uit dat betekend effectief dat je 2gb vernietigd.
Hele vm's zijn over het algemeen prima van een snapshot terug te halen, losse bestanden (SMB shares) same shit. Ook databases kunnen goed gaan.
juist "kunnen" ,,, dat is het sleutelwoord, ik ga liever op veilig dan "het kan'

De tijdswinst met snapshot bij een DR is marginaal, maar de kans van corruptie is enorm. en backup is een geverifeerd proces daarom duurt het ook langer. Het kan enorm lang duren bij restores van snapshots voordat de corruptie opduikt.

Voor mkb/thuisgebruik
hoe waardevol is je informatie ? ik brand van tijd tot tijd de data gewoon op een dvd of ander medium

Er is geen discussie nodig voor tape vs disk, beide hebben unieke voordelen alleen voor consument zou ik gewoon een online disk/backup provider zoeken die aan versioning doet.

Tja vanalles


Acties:
  • 0 Henk 'm!

  • unezra
  • Registratie: Maart 2001
  • Laatst online: 22-09 08:23

unezra

Ceci n'est pas un sous-titre.

vso schreef op zaterdag 29 juli 2017 @ 22:48:
[...]
Wat snap je niet aan goedkope disks en de snapshot technologie wat ik uiteenzet in mijn vorige post ?
De I in RAID staat niet voor niet op Inexpensive, maar voor independent .
Wikipedia: RAID

Oorspronkelijk ging het inderdaad om (relatief) goedkope disks en stond de I voor Inexpensive, maar dat is al heel lang niet meer zo. RAID word juist ook toegepast in situaties waar high-end disks worden ingezet. De betekenis van de I is dus veranderd en daarmee klopt jouw argument van "goedkope disks" niet meer.

Qua snapshots, zoals gezegd, die zijn inherent immutable. Je kunt niet een bestand in een eerder gemaakt snapshot aanpassen, ook niet als dat bestand op hetzelfde systeem staat. Het enige wat malware zou kunnen doen, is het complete onderliggende filesystem corrumperen maar dat zie je voor zover ik weet eigenlijk nooit gebeuren. De focus ligt op de actuele bestanden.

In de meeste gevallen zet je na lokalisatie, isolatie en stoppen van de malware, je snapshots terug en gaat verder tot de orde van de dag. (Evengoed een flink karwij, maar juist als je je snapshot strategie goed op orde hebt, hoef je niet terug naar je tape backups.)
[...]
Dat ontken ik ook niet, en wellicht zijn deze scenario's wat je bedenkt onder andere de
- falende disk
- F*ck up van een upgrade
ja dan kan een snapshot en RAID erg prettig zijn omdat je dan niet met downtime zit of minder .. downtime.

Maar zonder goeie backup:
- kan een raid plat gaan (bij het insert-en van disk)
- snapshot corruptie introduceren ipv weghalen/ontwijken.

Dan ben je blij dat een je vooraf in je procedure hebt staan dat een een FULL backup is geweest van je systeem :)
Je ziet mij toch nergens bewerend dat het niet aan te raden is offsite backups te maken? Die beschermen tegen al het bovenstaande, inclusief andere ellende als brand en diefstal. Ofwel, alle scenario's waarbij compleet verlies van je opslag het geval is en precies dat heb ik al benoemd.

EDIT:
Overigens kun je snapshots op meerdere niveau's maken en ieder heeft zijn eigen toepassingsgebied. Je kunt ze al dan niet combineren. In een bedrijfssituatie heb je heel snel te maken met 3 lagen. Van beneden naar "boven":

Storagelaag (NAS, SAN)
Virtualisatielaag (Hypervisor)
OSlaag (binnen de vm)

Snapshots op de storagelaag werken niet altijd of niet altijd volledig op bestandsniveau en zijn vooral voor het restoren van complete volumes. Voordeel: ze liggen heel erg ver af van de eventuele malware en datacorruptie waar ze tegen moeten beschermen.

Snapshots op de hypervisor laag zijn handig bij upgrades of als je grote wijzigingen aan een systeem gaat doorvoeren. Je maakt een snapshot, voert de upgrade door. Gaat dat goed, verwijder je het snapshot. Gaat het niet goed, doe je een rollback en heb je exact de situatie waar je mee begon. (Ook dit beschermt overigens prima tegen malware, die kan er totaal niet bij.)

Snapshots binnen de vm zijn op hun eigen manier weer handig. Dit is bijvoorbeeld hoe, als je een Windows vm als fileshare hebt, dit praktisch in te zetten is. Mensen zien snapshots in hun "previous versions" tab en kunnen zelf eenvoudig terug naar een vorige versie. Kan ook handig zijn bijvoorbeeld wijzigingen op databases. Databases op een apart filesystem, snapshot maken, grote wijziging doorvoeren en gaat dat niet goed, snapshot terug rollen. Het nadeel is dat dit nu net een scenario is waarbij malware in principe bij het filesystem kan en op dit niveau data kan corrumperen.

Welke van die 3 je moet gebruiken en wanneer is niet echt een wet van meden en perzen en nogal situatie afhankelijk. Wel beschermt de bovenste (snapshots op je storagelaag), het beste tegen malware. (Het grappige is dan wel weer dat een beetje NAS, zelf SMB kan aanbieden en zijn snapshots ook weer als "previous versions" kan tonen aan een client. Handig bij een snelle restore en malware kan d'r helemaal niets mee. Dat kan hooguit een actief bestand corrumperen, nooit het snapshot.)
[...]
Dit is gewoon te sneu voor woorden .. ik zou je digitale mond moeten spoelen met zeep voor deze belediging :(

Wat jij verward is uptime en downtime stratigie-en
Een Disaster Recovery (DR) en dus downtime betekend dat je voorbij het punt bent dat je kan herstellen, in het geval van RAID betekend dit dat je hele Array eruit geklapt is. EN/OF je snapshot zodannig onbruikbaar is dat je systeem niet bruikbaar is voor het bedoelde doeleinde.
Maar ja een snapshot restore van een productie financiele administratie is ook niet erg wenselijk of wel ??
stel dat men net met jou salaris aan het "knoeien' waren .. tja ..

RAID is onderdeel van je uptime stratigie, en zorgt ervoor dat je niet uit je bedrijf door kan draaien terwijl een disk defect raakt,
Wikipedia: Disaster recovery
In addition to preparing for the need to recover systems, organizations also implement precautionary measures with the objective of preventing a disaster in the first place. These may include:
  • local mirrors of systems and/or data and use of disk protection technology such as RAID
Dat maakt dingen als snapshot en RAID toch gewoon onderdeel van je totale DR strategie? Je wil namelijk in eerste instantie een "disaster" voorkomen en dus gebruik je technieken die dat doen.
Snapshots stellen je in staat mits goed toegepast dingen te testen bv upgrade van software.
maar op een productie fileserver een 2 weken oude snapshot restoren ??? waarbij een groeie van 1gb per week aan data is ?? nee dankje ik kijk 100x uit dat betekend effectief dat je 2gb vernietigd.
Een snapshot van 2 weken restoren vind je geen goed idee, maar een backup van tape van 2 weken geleden wel?
[...]
juist "kunnen" ,,, dat is het sleutelwoord, ik ga liever op veilig dan "het kan'

De tijdswinst met snapshot bij een DR is marginaal, maar de kans van corruptie is enorm. en backup is een geverifeerd proces daarom duurt het ook langer. Het kan enorm lang duren bij restores van snapshots voordat de corruptie opduikt.
De kans op corruptie bij backup naar tape is net zo groot. Je hebt namelijk vrijwel altijd te maken met actieve bestanden. Je kunt niet even een database volledig offline gooien om een uur lang een kopie van dat ding te maken voordat je 'm weer op start. Hooguit wil je even kort de activiteit bevriezen.

Een snapshot heb je in de regel in een paar minuten tot een paar uur wel terug gezet (het maken duurt hooguit seconden), afhankelijk van de hoeveelheid data. Tape is inherent traag dus duurt per te restoren T veel langer. Ook offsite oplossingen zijn over het algemeen relatief traag. Niet iedereen heeft de beschikking over een offsite lokatie verbonden met een 1GBit of hogere datalink. (Ook bedrijven niet. Die lijnen kunnen akelig duur zijn en lang niet altijd nuttig/nodig.)

Kortom, je tijdwinst met lokale snapshots is gigantisch ten opzichte van offsite oplossingen zoals offsite replicatie of tape. In de gevallen waar je gebruik kunt maken van een snapshot, moet je dat doen. Het minimaliseert downtime.
Voor mkb/thuisgebruik
hoe waardevol is je informatie ? ik brand van tijd tot tijd de data gewoon op een dvd of ander medium
Precies dat zou ik dus afraden.
Een DVD heeft een zeer beperkte capaciteit en het is foutgevoelig (je vergeet het). Handmatig moeten wisselen van media is in bedrijfssituaties prima te doen (daar is het immers gewoon onderdeel van je reguliere werk), privé is het veel te omslachtig. Natuurlijk zijn er mensen die het doen, maar unattended werkt veel fijner. (Ook bedrijfsmatig trouwens. Je wil zo veel mogelijk zaken unattended doen. Een tapewissel word alleen wat lastig tenzij je gaat werken met grote offsite tape robots.)
Er is geen discussie nodig voor tape vs disk, beide hebben unieke voordelen alleen voor consument zou ik gewoon een online disk/backup provider zoeken die aan versioning doet.
Voor de consument is de discussie eenvoudig: Tape is geen zinvol medium want kosten en handwerk om tape te wisselen. Voor bedrijven is die discussie anders. In principe heeft tape altijd voordelen en zou je ook altijd je data op tape willen hebben. Ik snap alleen dat kleinere bedrijven consessies daarin doen en kiezen voor een backup vorm naar disk.

Je spreekt jezelf overigens een beetje tegen. Je vind snapshots geen goed idee, maar raad wel een backup provider aan die aan versioning doet. Met databases word dat sowieso wat lastig. Met de losse bestanden waar jij het waarschijnlijk over hebt heeft het nagenoeg hetzelfde effect.

Sowieso wil je dat er aan de onderkant deduplicatie en compressie word toegepast en hoewel het technisch heel andere oplossingen zijn, is het effect vrijwel hetzelfde.

Of je nu met BackupPC incrementals (versioning) doet of met ZFS snapshots, in beide gevallen kun je terug in de tijd met je bestand. Maar in beide gevallen worden alleen de wijzigingen opgeslagen. In geval van BackupPC zijn dat wijzigingen op bestandsniveau (word een bestand gewijzigd, word het opnieuw opgeslagen maar de deduplicatie zorgt er wel voor dat als je dat bestand 3x hebt, het maar 1x word opgeslagen), in geval van snapshots zoals ZFS die gebruikt is de delta bit-wise.

In beide gevallen heb je een uitdaging als het onderliggende filesystem corrupt raakt.

Bestandscorruptie niet. Je kunt een snapshot maken op maandag, op woensdag en op vrijdag. Op zaterdag raakt je bestand bit-wise beschadigd (corrupt). Je zet het snapshot van woensdag of maandag terug en je bestand is 100% hersteld naar de situatie van dat moment.

Kortom, in de praktijk zijn beide oplossingen prima bruikbaar. Zowel in bedrijfssituaties als in privé situaties.

Snapshots zijn wel veel efficiënter. Ze zijn sneller te maken (zo goed als instant) en nemen veel minder ruimte in omdat het alleen bit-wise delta's zijn.

[ Voor 11% gewijzigd door unezra op 30-07-2017 07:09 . Reden: Sectie "snapsht niveau's" toegevoegd. Alinea's onder "EDIT" ]

Ná Scaoll. - Don’t Panic.


Acties:
  • 0 Henk 'm!

  • HollowGamer
  • Registratie: Februari 2009
  • Niet online
Wat is hier gebeurd? :D
Zo te zien heb ik genoeg stof om na te lezen. :)

Voor nu kies ik even voor SSHFS over WAN, en stuur ik daar mijn backups overheen als tar's. Het zal nu niet zo groot zijn, en voor mij is het de bedoeling om vooral te spelen met docker, deployers en andere tools, zodat ik kan leren hoe dit het beste te doen. Snapshots, etc. hoeven voor mij op dit moment niet, maar ga er zeker naar kijken *daar is mijn VPS ook niet groot genoeg voor.

Thanks nogmaals, en hoewel ik nog geen tijd heb gevonden om op te discussie te reageren, waardeer ik enorm jullie input. :)

Acties:
  • +1 Henk 'm!

  • unezra
  • Registratie: Maart 2001
  • Laatst online: 22-09 08:23

unezra

Ceci n'est pas un sous-titre.

HollowGamer schreef op zondag 30 juli 2017 @ 16:50:
Wat is hier gebeurd? :D
Zo te zien heb ik genoeg stof om na te lezen. :)
Ik vind het zelf in ieder geval een erg interessante en geanimeerde discussie. :)
Voor nu kies ik even voor SSHFS over WAN, en stuur ik daar mijn backups overheen als tar's. Het zal nu niet zo groot zijn, en voor mij is het de bedoeling om vooral te spelen met docker, deployers en andere tools, zodat ik kan leren hoe dit het beste te doen. Snapshots, etc. hoeven voor mij op dit moment niet, maar ga er zeker naar kijken *daar is mijn VPS ook niet groot genoeg voor.
ZFS snapshots zijn niet zo groot. Nu zeggen onderstaande getallen niet heel erg veel omdat de aangehaalde datasets allemaal verschillende toepassingen kennen, maar toch:

[harmen@vroom ~]$ zfs list -t snapshot | wc -l
1894
[harmen@vroom ~]$ zfs list -o space datapool00/PVE/VM
NAME AVAIL USED USEDSNAP USEDDS USEDREFRESERV USEDCHILD
datapool00/PVE/VM 6.91T 1.68T 382G 1.31T 0 0
[harmen@vroom ~]$ zfs list -o space datapool00/SMB/shared
NAME AVAIL USED USEDSNAP USEDDS USEDREFRESERV USEDCHILD
datapool00/SMB/shared 927G 93.2G 15.9M 93.1G 0 0
[harmen@vroom ~]$ zfs list -o space datapool00/SMB/home/harmen
NAME AVAIL USED USEDSNAP USEDDS USEDREFRESERV USEDCHILD
datapool00/SMB/home/harmen 927G 3.62G 703M 2.94G 0 0


Die VM's in PVE/VM zijn redelijk actief en ik heb een forse retentie er op zitten.

Dit is iets representatiever:

root@bun:~# zfs list -t snapshot | wc -l
724
root@bun:~# zfs list -o space datapool00/Members/Repl
NAME AVAIL USED USEDSNAP USEDDS USEDREFRESERV USEDCHILD
datapool00/Members/Repl 7.65T 309G 49.4G 259G 0 0
root@bun:~# zfs list -o space datapool00/ANMD/Core
NAME AVAIL USED USEDSNAP USEDDS USEDREFRESERV USEDCHILD
datapool00/ANMD/Core 7.65T 3.97G 1.36G 2.61G 0 0


De grap met snapshots is dat ze *alleen* ruimte innemen als data wijzigt. Die extra ruimte is op bit-niveau, dus wanneer je in een bestand van 100MByte, 1MByte veranderd, zal je snapshot met 1MByte groepen.

Het is veel efficienter dan volledige backups. :) BackupPC komt wel een aardig eind, zeker als je meerdere vm's backupt met redelijk eenzelfde hoeveelheid data. Dan dedupliceert 'ie vrij verregaand. Maar zo efficient als snapshots word het nooit.
Thanks nogmaals, en hoewel ik nog geen tijd heb gevonden om op te discussie te reageren, waardeer ik enorm jullie input. :)
Ach, meelezen is vaak ook heel leerzaam...

Ná Scaoll. - Don’t Panic.


Acties:
  • Beste antwoord
  • +1 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 14:43
In plaats van tar's, zou je ook eens hier naar kunnen kijken:
http://borgbackup.readthedocs.io

Op die manier heb je in plaats van een zelf bedacht iets een systeem wat veel meer kan en waarschijnlijk een stuk efficiënter en betrouwbaarder is.

Alle zaken die hier genoemd worden, zijn ondersteund en het is niet afhankelijk van het soort filesystem.
Met de voorbeeldcommando's op de wiki heb je binnen no-time een oplossing met encryptie, deduplicatie, incrementele backups, automatisch opruimen van oude backups, etc..
Wat ik zelf ook ideaal vind is dat het systeem remote repositories ondersteund via SSH.
Het feit dat je elke backup simpelweg kan mounten als filesystem is ook echt een uitkomst.

[ Voor 92% gewijzigd door ikke26 op 30-07-2017 18:08 ]

Pagina: 1