Linux incremental backup naar netwerkshare + restore. Hoe?

[basvaningen]

Ik ben al een tijdje aan het zoeken naar een simpele manier om een incrementele backup te maken van een complete linux machine (ubuntu, raspberri pi, enz).

Omdat ik uit de Windows wereld kom maar steeds meer Linux aan het gebruiken ben weet ik nog niet goed wat echt van belang is om te backuppen bij een Linux machine. Ik zie op verschillende plaatsen dat je alleen de usr directory hoeft te backuppen maar hoe zit het dan met alle instellingen die in de /etc en /var staan?

Ik wil een complete backup maken van een draaiende machine (alle mappen, behalve tmp, proc, enz) het liefst met zo min mogelijk tools.

De backup moet naar een netwerkshare geschreven worden (Dit kan windows of evt linux zijn).

Van belang is dat ook de rechten van de bestanden/directory's meegenomen worden.

In geval van een restore:
-Eerst een kale linux installeren (met dezelfde kernel versie?) en dan de restore uitvoeren?
-Of is het mogelijk d.m.v. een bootable media te restoren

Ik heb al verschillende mogelijkheden gelezen, maar kom nog niet tot een goed besluit.

[xleeuwx]

Het probleem is dat er verschillende backup strategieën zijn. Dit komt omdat op linux systemen vele verschillende applicaties zou kunnen draaien en dus met verschillende strategieën te maken hebt.

Om even kort antwoord te geven op je vraag. Er is geen one fits all solution voor backup op linux zelf en dit komt voornamelijk omdat applicaties vrij zijn om te doen wat ze zelf willen. Gebruiken ze hun eigen directory in de root om daar hun data op te slaan dan kan dat, er zijn wel richtlijnen voor maar die worden niet altijd evengoed gevolgd. Enige wat in de buurt komt is virtualizeren en snapshots maken.

Je zou het op 2 manieren kunnen doen.

1. Virtualizeren:
als je je systemen virtueel draaid kan je heel simpel snapshots / backups maken van de "vm", hierdoor heb je in een keer een werkend systeem wat je kan restoren.

2. Directories backupen
Je zou op applicatie niveau kunnen backupen, stel je hebt een nginx webserver draaien dan kan je heel gemakkelijk het os opnieuw installeren met nginx en vervolgens de mappen /etc/nginx en /var/www/ terug zetten en je kan weer aan het werk.

Dit is dus per applicatie / OS verschillend en er van uit gaan dat je dan nog aan de standaarden houd.

[Voor 4% gewijzigd door xleeuwx op 13-11-2018 15:54]

[basvaningen]

@xleeuwx bedankt voor je antwoord.

Virtualiseren gaat helaas niet in alle situaties (zoals bij een Raspberry).
Directories per applicatie backuppen heeft ook niet mijn voorkeur, als je namelijk een applicatie erbij installeert moet je ook je backup script weer aanpassen zodat deze meegenomen kunnen worden.

Ik lees veel over TAR. Dit schijnt goed te gaan ook als incrementele backup, alleen heb je. Alleen schijnt dit veroudert te zijn?

Mijn doel is om een complete systeembackup te hebben en 1x in de 7 dagen een volledige backup te draaien.

[xleeuwx]

basvaningen schreef op dinsdag 13 november 2018 @ 16:05:
@xleeuwx bedankt voor je antwoord.

Virtualiseren gaat helaas niet in alle situaties (zoals bij een Raspberry).
Directories per applicatie backuppen heeft ook niet mijn voorkeur, als je namelijk een applicatie erbij installeert moet je ook je backup script weer aanpassen zodat deze meegenomen kunnen worden.

Ik lees veel over TAR. Dit schijnt goed te gaan ook als incrementele backup, alleen heb je. Alleen schijnt dit veroudert te zijn?

Mijn doel is om een complete systeembackup te hebben en 1x in de 7 dagen een volledige backup te draaien.

Dan heb je iets als dit: https://www.theurbanpengu...mental-backups-using-tar/
NOTE: Ik zou niet direct aan te raden om zoiets te gebruiken.

Echter gaat dat ook niet op aangezien je hiermee een map backuped en dus bedoeld om een config map netjes te backupen. Eventueel zou je de root folder kunnen pakken maar dan ga je permission problemen krijgen en weer om veel dingen heen moet gaan werken.

Verder moet je je natuurlijk afvragen wat is er zo belangrijk op een RPI is dat je het daarop laat draaien?

Als je SD kaart corrupt raakt en dit je bestanden treft, dan heb je ook een corrupte backup en als je dit niet door hebt dus een week lang netjes corrupte backups aan het maken.

[borft]

als je backups maakt van een draaiend systeem, dan moet je eigenlijk wel snapshots maken, anders weet je niet of je backup wel consistent is.

wat je zou kunnen doen is LVM gebruiken, en dan een snapshot maken van je draaiende system. En dan vervolgens iets als tar of rsync gebruiken om van je snapshot een backup te maken naar een ander systeem.

[DiedX]

Check de nodige scripts in combinatie met rsync...

[roeleboel]

DiedX schreef op dinsdag 13 november 2018 @ 16:50:
Check de nodige scripts in combinatie met rsync...

rsnapshot is bijvoorbeeld een vrij leuke, gebruik ik zelf al een aantal jaar.

[pimlie]

http://www.nongnu.org/rdiff-backup/ evt met https://github.com/ikus060/rdiffweb als web gui als je een keer individuele bestanden moet terughalen.

rdiff-backup is meestal gewoon te installeren via de package manager van je distro.

[nuc8]

De usr directory is juist het minst interessante om te backuppen. Die is meestal wel te reconstrueren aan de hand van je packagemanager die zijn data meestal in var opslaat.

Zelf rsync ik alles (muv proc, dev en andere speciale directories) naar een andere server. Op die andere server maak ik vervolgens elke dag een hardlink kopie.

Door hardlinks te gebruiken voorkom je dat bestanden die niet veranderen meerdere keren ruimte in beslag nemen. Je hebt dan als het ware voor elke dag een "full copy", terwijl het slechts incrementeel ruimte in neemt.

[BernardV]

Ik heb deze wel eens gebruikt: https://github.com/duplicati/duplicati werkte ook prima.

[Hari-Bo]

Wat ook nog een optie is een agent based backup met Veeam. Dan kan je naar een share backuppen of een lokale bestemming, als je gebruik wilt maken van een Veeam repository dan kost het wel geld.
Voordeel is dat naast file recovery ook baremetal restore kan uitvoeren dmv een bootable ISO en de data gemakkelijk terug kan zetten.

[Rukapul]

roeleboel schreef op dinsdag 13 november 2018 @ 16:51:
[...]


rsnapshot is bijvoorbeeld een vrij leuke, gebruik ik zelf al een aantal jaar.

Ik ook.

[basvaningen]

Hoe gaat het met rsnapshot en file permissions?

Stel ik heb een directorie waar gebruiker A toegang tot heeft. Op de backup server bestaat deze persoon niet. Worden deze permissions dan toch bewaard als ik later alles weer restore?

[thunder7]

Even zelf zoeken! Hint: in de standaard rsnapshot.conf configuratie staat de optie '--numeric-ids' voor rsync.

[unezra]

Al eens gekeken naar het programma "BackupPC"?

http://backuppc.sourceforge.net/

Het doet onder water onder andere rsync, kan dat ook over ssh, heeft een fatsoenlijke webinterface én je kunt flink retentie opbouwen. Het dedupliceert in grote mate, dus de retentie kost je relatief weinig opslagruimte.

[Lethalis]

Hari-Bo schreef op dinsdag 13 november 2018 @ 17:21:
Wat ook nog een optie is een agent based backup met Veeam. Dan kan je naar een share backuppen of een lokale bestemming, als je gebruik wilt maken van een Veeam repository dan kost het wel geld.
Voordeel is dat naast file recovery ook baremetal restore kan uitvoeren dmv een bootable ISO en de data gemakkelijk terug kan zetten.

Hier kwam ik toevallig een paar weken geleden ook achter, terwijl ik al een paar jaar Veeam gebruik op mijn werk om VM's op ESXi te backuppen

Ik had geen idee dat er ook een gratis versie was.

Voor de rest maak ik thuis vooral file based backups met rsync naar een tweede schijf en naar een met LUKS versleutelde USB disk.

Het mooie van LUKS is dat je meerdere "key slots" hebt, dus naast een passphrase kun je ook random bestanden als key toevoegen die ideaal zijn om te gebruiken in backup scripts.

Dus ik heb een script dat mijn USB schijf met cryptsetup opent en daarna met rsync een backup maakt.

Op mijn werk gebruik ik rsync ook over SSH (ook key based) om naar een andere locatie te syncen.

Sinds alle ransomware aanvallen heb ik dat scenario overigens omgedraaid en laat ik backup locaties het ophalen. Dus de productie servers kunnen zelf niet bij de backup.

[Voor 6% gewijzigd door Lethalis op 15-11-2018 07:28]

[jan99999]

-Misschien is gemakkelijker om 1 of 2x per jaar, of bij grote wijzigingen, om dan via een bootable usb stick, om dan een bit by bit kopie te maken van de gehele hd, hier zijn veel programma's voor beschikbaar).
Dan kun je dit in een keer terug zetten, en het werkt weer.(wel eerst het systeem goed instellen en dan een kopie maken). Hier backup terug zetten, en een update doen, en je bent klaar.
- En dan alleen een backup maken van files die wijzigen tav je data, films, foto's, dus niet van je linux.

Dus geen backup maken van linux zelf, reden hiervan is dat linux bijna altijd te repareren valt, en eigenlijk bijna nooit uitvalt. Dus een backup is niet nodig,

Zelf heb ik nu geen backup van linux zelf, wel van andere files.
Foto's en andere files, backup ik naar een nas(met de hand) , en de nas doet automatisch een backup maken naar een andere nas. Hier zou je dus een backup programma naar de nas kunnen installeren.

[Voor 3% gewijzigd door jan99999 op 15-11-2018 10:13]

[Lethalis]

jan99999 schreef op donderdag 15 november 2018 @ 10:12:
Dus geen backup maken van linux zelf, reden hiervan is dat linux bijna altijd te repareren valt, en eigenlijk bijna nooit uitvalt. Dus een backup is niet nodig,

Mja, vertel dat maar tegen alle mensen die ooit tevergeefs hun Linux distributie hebben geprobeerd te updaten naar een nieuwe versie.

Het maakt niet uit wat voor OS je gebruikt, je kunt het altijd wel dermate naar de klote helpen dat het beyond repair is.

Wat wel zo is, is dat Linux - zeker op een server - lekker overzichtelijk is en snel opnieuw te installeren is. Op servers gebruik ik dan ook de conventie dat ik alles in de /srv (data) en /opt (apps) mappen zet.

Maak een backup van de /home, /etc, /srv en /opt en je bent al een heel eind op weg om snel up and running te zijn met een nieuwe installatie.

Ook hebben tools zoals rsync de mogelijkheid om alleen hetzelfde bestandssysteem te backuppen (-x, --one-file-system, of beter nog -xx). Dan maak je in feite een full system backup.

Pak een nieuw systeem, maak de juiste partities aan, zet de backup terug... update grub en het zou weer kunnen draaien.

[thePiett]

Ik gebruik al een tijd https://www.borgbackup.org/ (https://borgbackup.readthedocs.io/en/stable/) naar volle tevredenheid. Het is incrementeel in de zin van deduplicating. Het encrypt backups eventueel, als je dat wil. Restoren is eenvoudig en eventueel met de hand te doen door een backup te mounten. Echt geniaal!