Sanity check: cloud-backups met restic?

[CodeCaster]

Ik heb 150 GB aan foto's en filmpjes, en ik schiet veel beeldmateriaal met mijn telefoon. Die data gun ik echter niet meer aan Microsoft, Google noch Apple. Daarom heb ik nu op een thuisserver met een flinke harddisk Nextcloud draaien ([Ervaringen] OwnCloud, Nextcloud) in Docker.

Ik heb mijn foto's nu op minstens twee apparaten staan: mijn desktop en mijn server. Mijn telefoon auto-uploadt ze naar Nextcloud, wiens app ze weer downloadt zodra ik mijn desktop opstart.

Af en toe maak ik ook een backup naar een USB-HDD die doorgaans in de kast ligt, maar die loopt daardoor altijd weken achter - en bevindt zich nog steeds in hetzelfde huis. Bij brand of inbraak is nog steeds alles weg.

Enter the "cloud": ik wil deze data buitenshuis stallen. Maar dan wel dusdanig versleuteld dat die externe partij niets met m'n foto's kan. Er zal maar eens een stukje bloot te zien zijn, waarna je je account kwijt bent.

Ik heb nu bedacht: op de Docker-host draait 's nachts een backup-script. Dit doet:

[Data-directories op HDD] --> [restic] --> [rclone met WebDAV-remote] --> [WebDAV-server]

Die target-server draait als test nu nog binnenshuis, maar lijkt volledig te voldoen: zonder wachtwoord kan ik niks met de bestanden, met wachtwoord kan ik diffs trekken (zien wat is toegevoegd en verwijderd tussen twee backups) en, ook niet onbelangrijk: bestanden terugzetten.

Dan nu mijn vraag: heb ik hiermee een degelijke constructie in handen? Kan ik nu bijvoorbeeld een Stack-abo'tje afsluiten bij TransIP en daar mijn ondoorzichtige blobs stallen voor weinig? Met rclone kan ik ook andere transfermechanismes instellen zoals SCP, dus ik zit niet vast aan WebDAV.

[DeBolle]

CodeCaster schreef op maandag 27 mei 2024 @ 12:01:
Dan nu mijn vraag: heb ik hiermee een degelijke constructie in handen? Kan ik nu bijvoorbeeld een Stack-abo'tje afsluiten bij TransIP en daar mijn ondoorzichtige blobs stallen voor weinig?

Je hebt twee vragen eigenlijk, 1. hoe encrypt ik de boel zo degelijk en toch transparant en 2. elke cloud mag buiten Apple, Microsoft en Google.

Ik zet dan in op client-side encryptie, waarbij je je sleutelbeheer zelf uitvoert. Let natuurlijk op meerdere & redundant plekken waar jij (en jij alleen) bij die sleutel kunt.
Dan zal blijken dat de cloud, van wie dan ook, niet meer echt van belang is Het gaat dan om kosten en zekerheid van toegang voor jou.
Hoe je de backup ruimte en sync indeelt is ook aan jou: zet je alle in een encrypted blob (jouw term) of zorg je voor normale, individuele bestandsnamen waarvan alleen de inhoud encrypted is.

Even vloeken in de kerk: mijn 60GB (en groeiend) fotoverzameling staat lokaal op een NAS, de backupsoftware van diezelfde NAS kopieert alle bestanden encrypted naar de gratis OneDrive van Microsoft.
Ook al zet ik alle bestanden Public, er is geen bit van de bestanden in te zien doordat de inhoud door de backupsoftware is encrypted.
Nadeel: restore gaat alleen met de sleutel én die zelfde backupsoftware.
Voordeel: Microsoft heeft geen inzage in mijn beelden.

Hetzelfde geldt voor Apple en/of Google, de gratis diensten zijn bruikbaar zolang je zelf een transparante methode gebruikt om te encrypten.

Stack/TransIP heb ik in het verleden gebruikt als clouddienst voor hetzelfde (via Tweakers actie van 1 euro
per jaar), maar subiet opgezegd toen de verlenging na een jaar serieus geld ging kosten.

Daarvoor Amazon S3 met Glacier gebruikt (in Frankfurt, dus deze kant van de oceaan), maar die vond ik weer te ondoorzichtig bij een eventuele restore.

[CodeCaster]

DeBolle schreef op maandag 27 mei 2024 @ 12:26:
[...]

Bedankt voor je antwoord en inzichten.

Ik denk dat ik beide vragen die jij uit m'n verhaal extraheert voor mezelf al beantwoord heb: qua transparante cloud gebruik ik unencrypted Nextcloud met VFS-app op mijn clients (Windows, Android) waardoor ik thuis en onderweg bij m'n bestanden kan.

Voor encryptie van de backup-at-rest gebruik ik restic, die versleutelde bestanden uploadt naar de doel-repository.

Qua cloud is voor mij de keuze gevallen op Stack. Ook al kan ik m'n versleutelde blobs net zo goed bij spiekende providers stallen (restics repository-systeem zorgt ervoor dat ze alsnog per bestand terug te halen zijn, dus dat het in 00 t/m ff-directories wordt opgeslagen, boeit mij niet), wil ik daar hoe dan ook weg. Microsoft krijgt nu nog € 99 per jaar van me terwijl ik enkel Word en Excel gebruik, dan kan die 1 TB OneDrive ook weg.

Het gaat me echt om een check van het systeem dat ik bedacht heb: kan ik op deze manier mijn backups bij om het even welke onlinestorageprovider stallen, en is het een degelijke aanpak?

Los van de vraag of ik inderdaad mijn files-at-rest wil versleutelen, want dat is een heel andere kwestie. Heb het geprobeerd, maar dat zorgt voor gedoe met bijvoorbeeld thumbnails, die onontbeerlijk zijn bij een mediaverzameling.

Verder wil ik, mocht deze aanpak bevallen, wellicht ook data van andere applicaties (eveneens afbeeldingen en documenten) gaan backuppen naar andermans server.

[SVMartin]

Alhoewel ik restic niet ken (dank voor de tip en WebDAV nooit zo betrouwbaar heb gevonden, lijkt het me te kloppen. Ik zou zelf denk ik proberen een standaard nextcloud oplossing te gebruiken. Ter vergelijk (nextcloud ook nooit mee gewerkt): ik heb een truenas die out of the box functionaliteit heeft om zelf encrypted backups op te slaan bij backblaze. Kost me een paar dollar per maand en omdat het standaard functionaliteit van truenas is werkt het stabiel, was het eenvoudig op te zetten en krijg ik een alert mail als er een keer een run faalt.

[The Eagle]

Ik ben sinds die 1 euro actie nog steeds stack gebruiker. Bevalt prima. Doet volgens mij alles wat jij wilt. Zeker als het maar om 150GB gaat.
En telefoonsync kan ook iirc.

[Wild Chocolate]

CodeCaster schreef op maandag 27 mei 2024 @ 20:28:
[...]

Bedankt voor je antwoord en inzichten.

Ik denk dat ik beide vragen die jij uit m'n verhaal extraheert voor mezelf al beantwoord heb: qua transparante cloud gebruik ik unencrypted Nextcloud met VFS-app op mijn clients (Windows, Android) waardoor ik thuis en onderweg bij m'n bestanden kan.

Voor encryptie van de backup-at-rest gebruik ik restic, die versleutelde bestanden uploadt naar de doel-repository.

Qua cloud is voor mij de keuze gevallen op Stack. Ook al kan ik m'n versleutelde blobs net zo goed bij spiekende providers stallen (restics repository-systeem zorgt ervoor dat ze alsnog per bestand terug te halen zijn, dus dat het in 00 t/m ff-directories wordt opgeslagen, boeit mij niet), wil ik daar hoe dan ook weg. Microsoft krijgt nu nog € 99 per jaar van me terwijl ik enkel Word en Excel gebruik, dan kan die 1 TB OneDrive ook weg.

Het gaat me echt om een check van het systeem dat ik bedacht heb: kan ik op deze manier mijn backups bij om het even welke onlinestorageprovider stallen, en is het een degelijke aanpak?

Los van de vraag of ik inderdaad mijn files-at-rest wil versleutelen, want dat is een heel andere kwestie. Heb het geprobeerd, maar dat zorgt voor gedoe met bijvoorbeeld thumbnails, die onontbeerlijk zijn bij een mediaverzameling.

Verder wil ik, mocht deze aanpak bevallen, wellicht ook data van andere applicaties (eveneens afbeeldingen en documenten) gaan backuppen naar andermans server.

Qua cloud, Stack was leuk toen het goedkoop (of zelfs gratis) was.

Ik heb zelf alweer een paar jaar mijn Cloudopslag naar volle tevredenheid bij Hetzner.de. Ik heb de Storage Share, maar voor jouw gebruik zou de Storage Box waarschijnlijk beter passen. Die heeft geen grafische interface maar wel meer connectie mogelijkheden (Storage Share draait Nextcloud, maar heeft bijvoorbeeld heen SFTP toegang). Daarnaast is de Storage Box goedkoper, €3,87 / maand inclusief BTW voor 1 TB. Dat is net iets meer dan de helft van Stackstorage. (Storage Share kost €5,20 per maand, nog altijd €2,- goedkoper dan Stackstorage)

[CodeCaster]

SVMartin schreef op dinsdag 28 mei 2024 @ 23:25:
Alhoewel ik restic niet ken (dank voor de tip en WebDAV nooit zo betrouwbaar heb gevonden, lijkt het me te kloppen. Ik zou zelf denk ik proberen een standaard nextcloud oplossing te gebruiken. Ter vergelijk (nextcloud ook nooit mee gewerkt): ik heb een truenas die out of the box functionaliteit heeft om zelf encrypted backups op te slaan bij backblaze. Kost me een paar dollar per maand en omdat het standaard functionaliteit van truenas is werkt het stabiel, was het eenvoudig op te zetten en krijg ik een alert mail als er een keer een run faalt.

De backup-instructies van Nextcloud zijn letterlijk:

quote: https://docs.nextcloud.co...l/maintenance/backup.html

Simply copy your config, data and theme folders (or even your whole Nextcloud install and data folder) to a place outside of your Nextcloud environment.

En de apps zijn dood.

Vandaar dat ik íets geavanceerders zoek dan een simpele rsync/rclone.

Wild Chocolate schreef op woensdag 29 mei 2024 @ 00:00:
[...]

Qua cloud, Stack was leuk toen het goedkoop (of zelfs gratis) was.

Ik heb zelf alweer een paar jaar mijn Cloudopslag naar volle tevredenheid bij Hetzner.de. Ik heb de Storage Share, maar voor jouw gebruik zou de Storage Box waarschijnlijk beter passen. Die heeft geen grafische interface maar wel meer connectie mogelijkheden (Storage Share draait Nextcloud, maar heeft bijvoorbeeld heen SFTP toegang). Daarnaast is de Storage Box goedkoper, €3,87 / maand inclusief BTW voor 1 TB. Dat is net iets meer dan de helft van Stackstorage. (Storage Share kost €5,20 per maand, nog altijd €2,- goedkoper dan Stackstorage)

Je hebt wel drie maanden korting bij Stack, maar je hebt gelijk, zelfs met 3 maanden voor € 1 (€ 1,21...) kom je al bijna aan de 70 euro inclusief btw, terwijl dezelfde opslag (met WebDAV-toegang) bij Hetzner € 45,72 kost voor een jaar.

Dat scheelt een slok op een borrel, bedankt.

Bonus:

quote: https://docs.hetzner.com/...ss-ssh-rsync-borg/#restic

Restic is natively supported with the SFTP backend.

---

Hét nadeel van zelf aan elkaar gescripte oplossingen heb ik alweer gemerkt: ik had mijn NAS (het test-backup-target) weer uitgezet en kreeg geen enkel bericht dat mijn bestanden niet werden gebackupt.

Er is altijd meer te doen.

[ Voor 9% gewijzigd door CodeCaster op 13-06-2024 23:02 ]