Client side encrypted backup

[Lethalis]

Mijn vraag
Wat is op Linux de betrouwbaarste en meest eenvoudige manier om een backup naar een cloud provider te maken zoals Google Drive, die aan de volgende eisen voldoet?

• Client side encrypted (zowel de inhoud als de bestandsnamen).
• Incrementele backups i.v.m. snelheid (moet 1 TB aan data kunnen backuppen).
• Een web interface waarmee het eenvoudig te bedienen is (zodat ook mijn vriendin bestanden terug kan halen).
• De software hoeft niet per se gratis, maar moet wel betaalbaar blijven (<100 euro).
• Backup naar een cloud dienst die een vast maandbedrag hanteert, zoals Google Drive. Dus liever geen pay per use dienst als S3 of Azure.

Relevante software en hardware die ik gebruik
Een Ubuntu LTS server en een glasvezel lijn (100/100). En ik heb ongeveer 1 TB aan data in ongeveer 500.000 bestanden zitten.

Wat ik al gevonden of geprobeerd heb

CloudBerry Backup
Het meest eenvoudige dat ik heb gevonden, was CloudBerry Backup. Dit leek in eerste instantie aan al mijn eisen te voldoen en heb ik ook gekocht en getest, totdat ik erachter kwam dat de Linux versie de bestandsnamen niet versleutelt De Windows versie kan dit wel (maar ik gebruik liever geen Windows op mijn server).

Hyper Backup op een Synology
De andere optie die ik overweeg, is overstappen op een Synology NAS, bijvoorbeeld een DS218+. Deze heeft 2GB RAM en een Intel processor, waardoor hij voor de basis file server taken niet onderdoet voor mijn Linux server. Voordeel van Synology: deze heeft Hyper Backup aan boord, waarmee ik eenvoudig client side encrypted backups naar diverse cloud providers kan maken (en ook naar andere Synology's van familie / werk).

Nadeel van de Synology is echter dat ik naast een cloud backup, ook graag een encrypted USB backup maak. Op mijn Linux server werkt dit prima met een script, dat LUKS en rsync gebruikt. Hyper Backup op zo'n Synology werkt echter niet lekker met roterende USB schijven, omdat elke Hyper Backup repository uniek is. Om deze reden wordt aangeraden voor elke schijf een aparte backup taak te maken (wat vervelend is, omdat dan altijd de andere taak faalt).

Wel heb ik nog een Mac Mini als applicatieserver draaien, dus die zou ook de USB backups voor mij kunnen doen.

Alternatieven zoals Borg Backup en Restic
Voor de rest heb ik een hoop open source tooltjes voorbij zien komen, zoals Borg Backup en Restic. Deze zijn veelbelovend, maar hebben ten eerste nog geen handige web interfaces, en ten tweede zitten ze nog in versie 0.X. Ik vind het vrij spannend om kritieke backups op deze tools te baseren.

Duplicati
Ook heb ik Duplicati getest, maar hier grote problemen mee gehad met het restoren van backups (liep simpelweg vast).

Ik zit dus erg met wat wijsheid is en ben ook benieuwd wat anderen gebruiken.

Doe ik er goed aan om gewoon een NAS te kopen en be done with it, of is er goede software die ik kan gebruiken / aanschaffen?

Huidige situatie
Ik vertrouw momenteel puur op encrypted USB backups voor off site backup. Ik heb 2 USB drives, waarvan er altijd 1 op mijn werk ligt en 1 thuis aan de server. Elke nacht wordt automatisch een backup met LUKS en rsync gemaakt, waarvan ik een status mailtje krijg. Ongeveer 1 keer per maand wissel ik de schijven om.

Daarnaast maak ik dagelijks met rsync backups naar een aparte interne schijf op de server.

Worst case scenario raak ik dus een maand aan data kwijt. Dit is momenteel nog acceptabel voor thuis, maar zodra mijn vriendin weer gaat studeren wil ik graag dagelijkse backups naar de cloud.

Ik kan het namelijk niet opbrengen om die schijven vaker te verwisselen

Blijf een luie donder wat dat betreft en alle reminders van de wereld bewegen mij er niet toe

PS
Bij het lezen over diverse backup strategieën heb ik ook nog nagedacht over de vraag of alle bestanden even belangrijk zijn. Zo spookte het ook nog een tijdje door mijn hoofd om alleen bepaalde mappen in versleutelde tar.gz bestanden te plaatsen en die te syncen met een cloud dienst.

Maar later heb ik mij weer bedacht dat het wel heel fijn zou zijn als mijn vriendin zelf ook bij de backups kan en alle bestanden op dezelfde eenduidige manier zijn gebackupt. When the shit hits the fan, wil je namelijk zo makkelijk mogelijk alle bestanden terug en daar niet tig stappen voor hoeven uitvoeren.

Zodoende kwam de NAS in beeld, nadat ik met de NAS-en op mijn werk Hyper Backup heb getest.

[ Voor 13% gewijzigd door Lethalis op 17-06-2019 21:43 ]

[tafkaw]

Volgens mij kan rclone wel wat je wil.

[nescafe]

Kijk toch nog eens naar Duplicati, vanaf versie >= 2.0.4.18 (Canary). Hierin is een belangrijk issue met het eindeloos recreaten van de database opgelost: https://github.com/duplicati/duplicati/issues/3747

[RudolfR]

Ik heb Syncthing voor het synchroniseren van documenten tussen verschillende systemen.
(Hier kunnen evt. ook versies in worden bijgehouden)

Misschien is nextcloud nog een optie voor het beheer van versies op documenten? Incl. mooie web-interface?

Daarnaast ga ik borgbackup inregelen voor periodieke onsite en offsite backups.
borgbackup zit al geruime tijd boven de 1.0 en volgens mij wordt er heel serieus omgesprongen met evt. breaking changes, heb ik wel vertrouwen in. Helaas geen webinterface.

Ik kies wel voor verschillende backup-strategieën, afhankelijk van de hoeveelheid en de veranderlijkheid van de data.

[Lethalis]

RudolfR schreef op dinsdag 18 juni 2019 @ 20:09:
Daarnaast ga ik borgbackup inregelen voor periodieke onsite en offsite backups.
borgbackup zit al geruime tijd boven de 1.0 en volgens mij wordt er heel serieus omgesprongen met evt. breaking changes, heb ik wel vertrouwen in. Helaas geen webinterface.

https://borgweb.readthedocs.io/en/stable/

Er lijkt wel een web interface aan te komen

Helaas ondersteunt borg alleen SSH destinations. Prima natuurlijk als je ergens een VPS hebt draaien met genoeg storage en daar naartoe backups maakt, maar wel wat minder makkelijk dan een backup naar Google Drive of iets dergelijks.

nescafe schreef op dinsdag 18 juni 2019 @ 11:19:
Kijk toch nog eens naar Duplicati, vanaf versie >= 2.0.4.18 (Canary). Hierin is een belangrijk issue met het eindeloos recreaten van de database opgelost: https://github.com/duplicati/duplicati/issues/3747

Wat ik zo bijzonder vind, is dat bepaalde backup software gericht is op het herstellen van bestanden bij een gedeeltelijke failure, maar dat een scenario als "de hele server is kapot" niet vanaf dag 1 er goed in zit.

Want daar doe ik de off site backup voor. Om mij te beschermen voor:

1. Diefstal van de gehele server (het is maar een PC, zo mee te nemen).
2. Overlijden van alle elektronica in huis (blikseminslag, kortsluiting of overstroming bijv)
3. In mindere mate een crypto virus (maar dat kan nooit bij alles op mijn Linux server en alleen de SMB shares op mijn server vernaggelen wanneer het vanaf een Windows client wordt uitgevoerd)

Als bij mij thuis niet alles kapot / verloren gaat, heb ik altijd nog een actuele USB backup en een backup naar een extra interne harde schijf.

De cloud backup is dus puur voor als alles naar de haaien is

Mijn eerste test is dan ook altijd restoren vanuit niets / op een nieuwe server. Duplicati faalde die test meteen en liet een erg nare bijsmaak achter.

tafkaw schreef op dinsdag 18 juni 2019 @ 10:25:
Volgens mij kan rclone wel wat je wil.

Met rclone kun je wel syncen, maar heb je geen versioning. Dat kan wel listig zijn in verband met virussen, omdat de backup dan ook vernaggeld kan zijn.

Mijn eigen rsync backup scripts werken dan ook als een soort time machine, waarbij ik voor elke dag een aparte map heb waar alles in staat (met hard links, zie de --link-dest optie).

Mocht een cryptovirus op een Windows client mijn bestanden versteutelen op de shares, dan komt er simpelweg een map bij met de versleutelde bestanden in mijn backup, maar kan ik altijd nog bij de originele.

Update:
Dat gezegd hebbende, vind ik rclone wel lekker eenvoudig om iig een encrypted sync te doen van mijn bestanden naar een WebDAV share (Stack).

[ Voor 66% gewijzigd door Lethalis op 19-06-2019 14:36 ]

[RudolfR]

Lethalis schreef op dinsdag 18 juni 2019 @ 21:31:
[...]

https://borgweb.readthedocs.io/en/stable/

Er lijkt wel een web interface aan te komen

Helaas ondersteunt borg alleen SSH destinations. Prima natuurlijk als je ergens een VPS hebt draaien met genoeg storage en daar naartoe backups maakt, maar wel wat minder makkelijk dan een backup naar Google Drive of iets dergelijks.


[...]

Dat project lijkt een beetje stil te staan. De desktop-client doet 't beter. https://github.com/borgbase/vorta

Volgens mij kan borg overweg met alle filestores; via fuse zou je ook met bijv. Google Drive moeten kunnen werken. Borg presteert wel beter als borg ook draait aan de andere kant van de lijn, maar dat is geen noodzaak.

[Lethalis]

@tafkaw Ik ben nu aan het testen met rclone, maar ben voorlopig tegen het probleem aangelopen dat de bestandsnamen te lang worden wanneer ze versleuteld worden. Ik ga nog even de obfuscate optie proberen, maar als dat niet ook niet afdoende is, valt rclone helaas af.

@RudolfR Borg backup wordt de volgende die ik ga testen. Ik test momenteel met Transip Stack, die biedt zowel WebDAV als SFTP aan. SFTP is nog in beta bij ze, maar zou ik iig kunnen proberen met borg.

PS
Over Hyper Backup heb ik wat enge dingen gelezen, waaronder dat hij weleens aangeeft dat de backup gelukt is, terwijl er toch bestanden ontbreken in de backup. That's some really scary stuff.

Update 21-6 21:56
Ik test nu rclone even met BackBlaze B2, omdat deze langere bestandsnamen aankan dan Stack met WebDAV. Hopelijk werkt dit wel (is wel erg traag momenteel echter).

Update 22-6 8:42
Na een hoop testen en falen, probeer ik nu een scenario uit waarbij toch bepaalde mappen anders behandel dan andere.

Zo heb ik 293GB aan foto's waar gelukkig geen lange bestandsnamen in voorkomen en die kan ik makkelijk syncen met rclone naar Stack. Maar ik heb ook 18GB aan bestanden die vaak wijzigen en belangrijk zijn.

Alleen die map van 18GB kan ik natuurlijk ook eerst tar-en, zodat het een Prive.tar.gz wordt en dat ik die dan in 1 keer sync met rclone.

Het blijft een beetje aanrommelen allemaal, maar het zou wel moeten werken.

Voordeel is eventueel dat ik dan ook een Prive-1.tar.gz, Prive-2.tar.gz enzovoorts zou kunnen maken en zo een beetje retentie in zou kunnen bouwen.

[ Voor 59% gewijzigd door Lethalis op 22-06-2019 08:44 ]