Backuppen van Linux

[Verwijderd]

Hi,

Ik draai nu Debian met KDE. Middels rsync wil ik mijn huidige omgeving gaan backuppen. Ik maak dan backups van de bestanden maar bij een restore; kan ik dan een kale restore doen en wordt alles dan hersteld inclusief reeds geïnstalleerde programma's? Of is het zo dat ik zelf een herinstallatie moet uitvoeren, de programma's moet installeren en dan alleen mijn files kan terugzetten. Dit is me niet helemaal duidelijk, wellicht kan iemand mij toelichting geven?

[Hero of Time]

Wat zet je in de backup en waar denk je zo'n backup op te kunnen herstellen? Wat heb je nodig om een backup terug te kunnen zetten? Aangezien je aangeeft dat je rsync gebruikt, lijkt het mij dat je iets van een doel file system nodig hebt om heen te schrijven voor de restore. Dat is niet zomaar aanwezig, nieuwe schijven hebben geen file system.

Denk dus even na wat je nu hebt moeten doen om een backup te maken en vooral wát je back-upt. Dan weet je ook wat je nodig hebt en moet doen om die te kunnen herstellen.

[Brahiewahiewa]

Hero of Time schreef op dinsdag 5 juli 2022 @ 18:01:
... Aangezien je aangeeft dat je rsync gebruikt, lijkt het mij dat...

De vraag aan @Verwijderd wordt dan ook: "Waarom wil je rsync gebruiken?".
Persoonlijk zou ik niet graag m'n hele file-system rsyncen naar een remote locatie. Daar zijn betere systemen voor; een RAID mirror bijvoorbeeld.

Je geeft ons geen duidelijk beeld van wat je wilt backuppen en hoe je wilt restoren.
Backuppen betekent namelijk niet alleen dat je de staat van de machine op het moment van die backup kunt restoren. Backuppen betekent ook dat je naar een backup van twee- of drie keer geleden kunt teruggaan, omdat je mischien merkt dat je toen nog niet geïnfecteerd was met ransomware. Of dat je een file kunt terughalen die je per ongeluk verwijderd hebt (rsync synct die verwijdering meteen door)

Kortom: je moet eerst een backup-strategie bepalen en dan pas de tools er voor uitkiezen

[RobIII]

Brahiewahiewa schreef op woensdag 6 juli 2022 @ 01:30:
Daar zijn betere systemen voor; een RAID mirror bijvoorbeeld.

RAID is NOT a backup

[Brahiewahiewa]

RobIII schreef op woensdag 6 juli 2022 @ 01:35:
[...]

RAID is NOT a backup

Je hebt helemaal gelijk.
Maar mijn stelling is ook min-of-meer dat rsync ook geen backup is ;o)

[Ruben279]

De software van Veeam werkt goed, alleen weet ik niet hoe uitgebreid de gratis community versie is qua mogelijkheden...

https://www.veeam.com/nl/...backup-solution-free.html

https://www.veeam.com/nl/licensing-pricing.html

[Verwijderd]

Hi, even wat meer uitleg. Ik draai linux op een VPS als coding machine en heb daar wat apps op geïnstalleerd. Nu kwam ik rsync.net tegen en dat leek me wel interessant om mee te spelen, ergo --> rsync.
De vraag is alleen of hiermee ook een compleet systeem kan backuppen en restoren of is dit meer voor files bedoeld. En dan met name idd op het oog van ongewenst verwijderen of ransomware.

[Merethil]

Verwijderd schreef op woensdag 6 juli 2022 @ 08:47:
Hi, even wat meer uitleg. Ik draai linux op een VPS als coding machine en heb daar wat apps op geïnstalleerd. Nu kwam ik rsync.net tegen en dat leek me wel interessant om mee te spelen, ergo --> rsync.
De vraag is alleen of hiermee ook een compleet systeem kan backuppen en restoren of is dit meer voor files bedoeld. En dan met name idd op het oog van ongewenst verwijderen of ransomware.

Het kan wel, maar in geval van ransomware overschrijf je dus al je oude gebackupte data met de nieuwe gelockte data.
Ik heb zelf rsync in gebruik om de data op mijn server naar verschillende cold storages te "backuppen", maar dan heb ik wel vier scripts: een uurlijkse, dagelijkse, wekelijkse en maandelijkse rsyncactie. Elk gaat naar z'n eigen space op Digital Ocean.

Als er dan dus wat gelockt raakt door een cryptolocker heb ik iig nog een dagelijkse, wekelijkse en maandelijkse backup naargelang hoe lang het al gelocked is.

Liever backup je door snapshots te maken die de oude niet overschrijven; dan houd je gewoon X aantal backups van vandaag-X dagen oud die elkaar nooit beïnvloeden. Dat zou ik echter niet via rsync doen maar gewoon fatsoenlijke backupsoftware gebruiken.

[vanaalten]

Merethil schreef op woensdag 6 juli 2022 @ 09:14:
Het kan wel, maar in geval van ransomware overschrijf je dus al je oude gebackupte data met de nieuwe gelockte data.

De vraag is dan vooral: voor welk doel maak je een backup? Is dat bescherming tegen blikseminslag of huis-afbranden? Of voor het geval je zelf per ongeluk iets wist? Of ransomware?
Elk doel heeft z'n eigen backup-manier om je er tegen te beschermen.

Hier om m'n privé-server te beschermen:

• ZFS met auto-snapshot als bestandsysteem - beschermt tegen ransomware en tegen eigen stommiteiten;
• Dagelijkse backup naar Backblaze van belangrijke bestanden - beschermt tegen dingen kwijt zijn als m'n huis afbrandt. Sleutel voor decryptie, HowTo en live-USB-stick liggen buitenshuis zodat ik er daadwerkelijk bij kan.
• Dagelijks een complete sync van m'n server naar een identieke reservemachine ('s-nachts automatisch inschakelen, sync uitvoeren en weer uitzetten) - beschermt tegen het uitvallen van m'n server, zodat ik heel snel de reservemachine kan inschakelen en weer up&running ben met minimaal gegevensverlies.

Overdone, voor mijn privé-data? Wellicht... maar is ook een beetje leuk hobbywerk om alles op te zetten

[Verwijderd]

Overdone, voor mijn privé-data? Wellicht... maar is ook een beetje leuk hobbywerk om alles op te zetten

Daar heb ik ook "last" van wat ben je per maand kwijt als ik vragen mag?

[vanaalten]

Verwijderd schreef op woensdag 6 juli 2022 @ 12:47:
[...]


Daar heb ik ook "last" van wat ben je per maand kwijt als ik vragen mag?

Voor offsite storage bij Backblaze B2 ben ik maandelijks ruwweg €0,50 kwijt. Heb daar zo'n 100GB aan data staan (dat is dus inclusief de diverse oudere versies die daar staan).

Had eerst Amazon S3 in gebruik maar die was toch flink duurder; Backblaze heeft eenzelfde S3 API, dus makkelijk overstappen. En er zijn vast nog wel goedkopere aanbieders, maar vind het zo wel prima: partij waar ik vertrouwen in heb maar niet overdreven duur lijkt.

(ik neem aan dat je specifiek die Backblaze-kosten bedoelde... ZFS kost in principe ongeveer niets, al heb ik wel een dubbel zo grote SSD aangeschaft voor eventuele snapshot-verbruik. En een tweede identieke machine 'voor het geval dat'... eh, ja, da's wel een prijzige component natuurlijk...)

[ Voor 18% gewijzigd door vanaalten op 06-07-2022 13:04 ]

[GarBaGe]

Je zou een tool als Ansible kunnen gebruiken om je VPS coding machine "declaratief" te definieren.
Dus OS + geinstalleerde apps.
Dan hoef je alleen de werkelijke data te backupen.
Maar gezien het om coding gaat, staat die data niet in een git repo? Dan is ie al gebackuped.

[Verwijderd]

vanaalten schreef op woensdag 6 juli 2022 @ 13:02:
[...]

Voor offsite storage bij Backblaze B2 ben ik maandelijks ruwweg €0,50 kwijt. Heb daar zo'n 100GB aan data staan (dat is dus inclusief de diverse oudere versies die daar staan).

Ja die ken ik ook maar hoe ga je dat dan doen als er een ransomware is en je moet terug naar je bestanden van een week geleden? Je gaat toch niet per file in de history ervan duiken? die heb ik namelijk niet echt begrepen bij hun.

[vanaalten]

Ah, OK, je gebruikt dus rsync om naar Backblaze te syncen/backuppen?

Dat doe ik dus niet. Ik maak backups d.m.v. Duplicity. En daarmee kan je aangeven hoeveel full-backups je wilt gebruiken, incrementele backups daar tussenin enzo. En kan je dus ook een restore doen voor een specifieke datum, waarna Duplicity zelf de bijbehorende full & incrementele backups.

[Hero of Time]

Brahiewahiewa schreef op woensdag 6 juli 2022 @ 01:36:
[...]

Je hebt helemaal gelijk.
Maar mijn stelling is ook min-of-meer dat rsync ook geen backup is ;o)

Dat is rsync juist wel. RAID is in dezelfde machine. Als daar iets mee gebeurt, kortsluiting, brand, diefstal, ben je alle data kwijt. Met rsync gaat het in principe naar een andere machine (want waarom zou je rsync naar een tweede interne disk doen?) en die kan 5 meter of 500 km verderop staan. Backup is in de basis niets meer dan een kopie op een andere fysieke locatie en dat is nou net wat rsync doet.

Wil je versies? Dat kan ook met rsync! Genoeg mensen die dagelijkse of wekelijkste backups maken met minimale schijfruimte benodigdheden simpelweg door hardlinks te gebruiken via --link-dest=DIR optie van rsync.

[Jouke74]

Als je Rsync gebruikt zal je hoogstwaarschijnlijk eerst weer een herinstallatie van OS en programma's moeten doen om vervolgens met een inverse sync de "backup" terug te zetten van je files. Rsync is niet echt de ideale tool voor een complete disk image IMHO. Of dat ok is, is een keuze.

Handig is om daarnsaat nog een image tool te gebruiken, waarmee, als je systeem helemaal fris en fruitig is een keer een complete install image te maken die je ook (bewezen) terug kan zetten.

[Brahiewahiewa]

Hero of Time schreef op woensdag 6 juli 2022 @ 19:04:
[...]

Dat is rsync juist wel. RAID is in dezelfde machine...

Hmmz, dat is maar ten dele waar. Je hebt ook SAN systemen in een geo-cluster, dan mirror je met een disk op een ander continent. En aan de andere kant kan ook een locale mirror toch onderdeel zijn van je back-up strategie.

Waar het mij om gaat is dat de TS de keuze voor rsync al gemaakt lijkt te hebben terwijl hij nog geen concreet back-up plan heeft. IMHO kun je beter eerst het probleem definiëren en dan pas de oplossing

[Verwijderd]

Brahiewahiewa schreef op donderdag 7 juli 2022 @ 13:05:
[...]

Hmmz, dat is maar ten dele waar. Je hebt ook SAN systemen in een geo-cluster, dan mirror je met een disk op een ander continent. En aan de andere kant kan ook een locale mirror toch onderdeel zijn van je back-up strategie.

Waar het mij om gaat is dat de TS de keuze voor rsync al gemaakt lijkt te hebben terwijl hij nog geen concreet back-up plan heeft. IMHO kun je beter eerst het probleem definiëren en dan pas de oplossing

Verkeerde aanname

Ik liep tegen rsync.net aan en was benieuwd in hoeverre je met rsync een volledige "snapshot" image kan maken die je terug kan zetten. En is het dan zo dat je met het terugzetten ervan ook meteen de bijbehorende programma's geïnstalleerd hebt of moet je dat alsnog doen zoals bij een Windows machine. Ergo, kan ik met rsync files ook programma's terugzetten?

[Hero of Time]

Brahiewahiewa schreef op donderdag 7 juli 2022 @ 13:05:
[...]

Hmmz, dat is maar ten dele waar. Je hebt ook SAN systemen in een geo-cluster, dan mirror je met een disk op een ander continent. En aan de andere kant kan ook een locale mirror toch onderdeel zijn van je back-up strategie.

SAN systemen zijn een compleet ander beest. Een geo-cluster is niets meer dan een mirror op een andere locatie, maar die mirror is in geen enkele manier onderdeel van je storage mogelijkheden. Je hebt niet opeens meer performance tot je beschikking. Maar zo'n geo-cluster is alleen een off-site spiegel, wijzigingen worden bijna instant doorgevoerd. Daar kan je niet mee terug in tijd gaat. Het is meer een disaster recovery ding, dan backup.

Verwijderd schreef op donderdag 7 juli 2022 @ 13:21:
[...]


Verkeerde aanname

Ik liep tegen rsync.net aan en was benieuwd in hoeverre je met rsync een volledige "snapshot" image kan maken die je terug kan zetten. En is het dan zo dat je met het terugzetten ervan ook meteen de bijbehorende programma's geïnstalleerd hebt of moet je dat alsnog doen zoals bij een Windows machine. Ergo, kan ik met rsync files ook programma's terugzetten?

Ja en nee. Als je bijvoorbeeld heel /usr meeneemt, dan heb je je programma's terug. Maar je package manager heeft daar geen weet van. Want die informatie wordt vaak in /var bewaard (bij Debian-based distro's is dat /var/lib/dpkg/).

Het is beter om je configuratie en persoonlijke bestanden in de backup te zetten en bij te houden welke software je na een base install hebt toegevoegd, zoals @GarBaGe voorstelt.

Waar je namelijk rekening mee moet houden, is dat als je heel / pakt, en zaken als /dev, /sys, /proc en /tmp uitsluit, je geen werkend systeem zal hebben als je de boel herstelt. Dit om 2 redenen: boot loader registratie en je fstab met de disk juiste UUID zal missen. Het resultaat zal een systeem zijn dat geen OS kan starten en wanneer je de bootloader hersteld hebt, zal het OS niet starten omdat het geen / kan vinden om de rest vanaf te laden.

Backups moet je testen voordat je ze nodig hebt, dus als je een VPS hebt, kan je die backup makkelijk testen door ze op een lokale VM te herstellen. Is het resultaat gelijk aan je VPS?

[aawe mwan]

Voor disaster recovery heeft een „snapshot” van een complete disk naar mijn mening juist niet de voorkeur. Want als je vaak backups maakt, dan is de kans groot dat de malware in je backup komt. Ook als je wilt overstappen op een andere distributie, is het handig als executables en data gescheiden zijn.

Voor mezelf verdeel ik de inhoud van de disk in 3 groepen:

• Databestanden: dit zijn bestanden die onder /home en /srv staan en backuppen is de enige manier om ze te behouden (maar de browsercache die in de homedirectories staat, mag je weggooien);
• Config files: een deel hiervan moet je backuppen, voor andere bestanden wil je gewoon de actuele default van je distro volgen. Zelf haal ik configfiles die onder /home staan uit de backup en letterlijk alle andere configfiles laat ik door Ansible opnieuw maken;
• Executables: deze haal je nooit terug uit een backup, maar installeer je vers uit de repository. Dus backups hoef je daar niet van te maken. Dat herinstalleren kan automatisch met Ansible.

Als je de Linux File Hierarchy Standard (FHS) goed bekijkt, dan zie je dat met de manier waarop bestanden in directories georganiseerd zijn, ze feitelijk ook al rekening gehouden hebben met backuppen.

Wat je ook nog kunt doen is data en executables op aparte drives in je computer zetten. Dan kan nu alvast een 3e reservedrive installeren om straks de distaster recovery te gaan doen (lees: je datadrive formatteren en daarop de backup van de data terugzetten) en deze veilig in de kast bewaren tot je hem nodig hebt.

[Lethalis]

Oef, Linux en backups. Op Windows ben ik altijd verwend geweest door Macrium. NTFS ondersteunt snapshots, en Macrium maakt dan een volledige backup inclusief UEFI boot gewoon terwijl je systeem draait en met een recovery stick kun je alles altijd terugzetten.

Op Linux is het wat meer behelpen. En nadenken over wat je belangrijk vindt en wat niet.

Ik heb bijvoorbeeld een Docker host waar ik een /data/docker map heb, als BTRFS mount. En omdat ik in die map alles omtrent Docker heb staan, is een backup van deze map voldoende om snel de boel op een nieuwe installatie draaiend te krijgen.

Dus maak ik met een script dagelijks BTRFS snapshots van /data/docker, mount deze read only, en maak er gzipte tarballs van met tar (ik gebruik geen btrfs send omdat mijn backup doelsysteem dat niet ondersteunt, maar weet wel dat het bestaat ). Door het gebruik van BTRFS snapshots, heb ik minimale down time (ik stop bepaalde services alleen voor het maken van een consistente snapshot, start ze daarna direct weer op).

Maar ik heb bijvoorbeeld ook een andere Linux machine, waarvan ik alleen de /etc map archiveer. Omdat daar alles in staat wat ik voor die machine nodig heb aan configuratie (nginx, ssl certificaten etc).

Het grote voordeel van Linux is dat je het vaak snel opnieuw kunt installeren. En als je - inderdaad zoals sommige anderen hier melden - bijhoudt welke packages je hebt geïnstalleerd, dan kun je die vrij snel opnieuw installeren.

Zet daarna je config files terug en je /home directory en je bent weer up and running.

Het nadeel is dat je vaak zelf aan het scripten / programmeren gaat om het net ff naar een wat werkbaarder niveau te tillen, om ongeveer hetzelfde te krijgen wat je al op Windows had Okee, een tool als Macrium is niet altijd gratis... Linux wel. So there's that.

Ik heb ook met Veeam Backup voor Linux gespeeld, maar het restoren ging niet zo lekker waardoor ik daarmee gestopt ben. Dat had een prima alternatief kunnen zijn.

[ Voor 20% gewijzigd door Lethalis op 09-07-2022 12:49 ]

[Lethalis]

Verwijderd schreef op woensdag 6 juli 2022 @ 14:22:
[...]
Ja die ken ik ook maar hoe ga je dat dan doen als er een ransomware is en je moet terug naar je bestanden van een week geleden? Je gaat toch niet per file in de history ervan duiken? die heb ik namelijk niet echt begrepen bij hun.

Wat ik thuis doe: Omdat ik al een Synology NAS heb, rsync ik zelf daar naartoe, en vervolgens laat ik Hyper Backup backups maken naar Synology C2.

Met Hyper Backup kan ik altijd terug naar een bepaald punt in de tijd. En bij C2 staat het veilig in Frankfurt. Ook is het client side encrypted.

Uiteindelijk is mijn data mij heilig en vind ik een tientje per maand daarvoor betalen geen probleem.

Ik heb eerder ook met tooltjes als borg gespeeld... maar uiteindelijk voel ik mij hier een stuk prettiger bij

Linux en backups zijn een tijdje een hoofdpijn dossier voor mij geweest. Soms is wat geld ertegen aangooien voor een kant en klaar product makkelijker / beter.

PS
Ik heb vroeger ook met LUKS encrypted USB disks gebruikt die ik wisselde. Maar ja... dan moet je wel de discipline opbrengen om ze steeds te wisselen en ook nog eens offsite bewaren (waar dan? in de auto, op mijn werk, etc).

Cloud storage is wat dat betreft 10x makkelijker.

[ Voor 12% gewijzigd door Lethalis op 09-07-2022 13:01 ]

[goarilla]

Lethalis schreef op zaterdag 9 juli 2022 @ 12:56:
[...]

PS
Ik heb vroeger ook met LUKS encrypted USB disks gebruikt die ik wisselde. Maar ja... dan moet je wel de discipline opbrengen om ze steeds te wisselen en ook nog eens offsite bewaren (waar dan? in de auto, op mijn werk, etc).

Hehe dat deed ik ook en dan met een 'gevaarlijk' UDEV script, prompten voor backup en/of SMART scan.
Ik ben de discipline daarrvoor wel al lang verloren, en zit nu terug op Windows en heb dus weer geen "deftige" backups.

[gaitjan2]

Om wat handiger met rsync om te gaan gebruik ik rsnapshot, voor dumps naar mijn lokale QNAP NAS.

Externe dumps maak ik met BorgBackup naar rsync.net

Je hebt dan een speciaal laag tarief omdat de 'snapshots' in BorgBackup zitten, en je dan kun afzien van hun standaard ZFS-snapshots.

Bij rsync.net is de kreet: weet je niet waar dit over gaat dan is het niet voor jou.

[pennywiser]

Iets te ver terug gescrolld

Rclone gebruik ik sinds een tijde.