rsync backup doet niet precies wat ik wil

[arjanvr]

Ik heb thuis een server draaien met daarop de belangrijke bestanden zoals de administratie van mijn vrouw. Nu wil ik deze belangrijke folders automatisch iedere dag laten backuppen naar een vps die ik ook draai zodat het op 2 locaties staat voor de veiligheid.

Ik heb gekozen om dit te doen via rsync. De initiele backup ging prima en nu wil ik iedere dag dat hij enkel de volgende bestanden upload want het is overbodig om iedere dag de 2 gb aan documenten opnieuw te uploaden.

- nieuwe bestanden in de folder
- de gewijzigde documenten (excel)

Nu heb ik dit als crontab ingesteld
00 17 * * * sudo rsync --ignore-existing -avz -e ssh /"lokale folder" *@10.10.10.10:/folder/
(uiteraard wat belangrijke gegevens zoals folders en ip adres even aangepast hier.)

Ik had 1 document gewijzigd en 1 test bestand erbij gezet om te kijken wat hij doet.
Nu blijkt dat hij wel het nieuwe bestand erbij zet maar het gewijzigde excel document niet.

Is dit mogelijk of hoe kan ik dit eventueel wel instellen dat hij ook wijziginen in office documenten ziet?

[raymondw]

Ik denk dat ignore existing direct je probleem omschrijft...

Gebruik zelf "--stats -h -amz" en dat werkt voor mijn backup prima.
Aangezien ik twijfelde, even extra getest voor je (dingen die jaren goed draaien... )

code:

Number of files: 197,267 (reg: 188,794, dir: 8,473)
Number of created files: 0
Number of deleted files: 0
Number of regular files transferred: 1

1 enkele file word dus opgepakt

En even het hele commando
rsync -e ssh --exclude-from 'backup-exclude' --stats -h -amz /source/folder user@host:/dest/folder

De exclude staan ISO bestanden en game folders in
*.iso
/source/game1
/source/game2
/etc/tec/etc

[arjanvr]

Ah het is dus wel mogelijk wat ik wil.

Ik zal hem eens aanpassen hoe jij het omschrijft en dan bij de volgende backup kijken wat er gebeurd.

Dank je

[Voor 54% gewijzigd door arjanvr op 14-01-2022 19:57]

[Hero of Time]

De man-page is er ook redelijk helder in:

code:

       --ignore-existing        skip updating files that exist on receiver

Als er een 0-byte bestand staat met de naam 'hypotheek.pdf' en je hebt je hypotheekvoorwaarden lokaal staan die 4 MB is, dan gaat die niet mee. Kijk eens wat er nog meer aan opties zijn die je mogelijk wil gebruiken of misschien liever niet.

Ik ben wel benieuwd waarom je het nodig vindt om rsync als root uit te voeren middels sudo. Waar heb je die cronjob precies ingesteld? En wat zijn de rechten op alle bestanden die je wilt kopiëren?

[NimRod1337]

Ik denk inderdaad dat je overal lokaal wel leesrechten hebt en sudo dus niet nodig hebt. Aannemende dat rsync lokaal geen bestanden mag verwijderen, wat met sudo wel weer veel makkelijker gaat mocht je toch een foute parameter toepassen. Aan de andere zijde heb je ook niets aan die sudo.

Ergo, laat sudo weg.

Overigens klinkt het wel heel erg als testen op productie data. Doe dit met test data totdat je zeker bent wat er gebeurt.

Overigens is er ook nog rsnapshot welke onderliggend rsync gebruikt en ook met SSH kan werken en daarbij netjes increments voor je kan toepassen. Zoveel je wilt. Maakt dan alleen een backup van de wijzigingen. Neemt je veel werk uit handen. Verdiep je even in incrementele backups, het is een soort versioning, je kan bv. 3 backups terug als je dat wilt.

[Voor 46% gewijzigd door NimRod1337 op 15-01-2022 12:45]

[arjanvr]

Sudo is inderdaad overbodig.
Mijn vrouw slaat facturen en andere voor haar belangrijke bestanden op op de lokale pc waar linux op draait. Ik wilde deze bestanden graag synchoniseren met mijn vps zodat ik ergens nog een extra backup heb die niet in hetzelfde huis zich bevind.

Het uploaden van nieuwe bestanden gaat prima want die ziet hij als nieuw maar ik krijg niet niet voor elkaar dat hij ziet wanneer een excel bestand aangepast is en daar dan de nieuwe versie van upload, en daar was ik eigenlijk mee bezig.

In een volgend stadium wil ik de plesk backups die op de vps gemaakt worden weer terug synchoniseren naar de lokale server thuis, maar dat is niet zo een probleem. Het gaat vooral dat hij niet ziet dat het excel bestand aangepast is.

Het is niet zozeer testen op productie datum, het is gewoon iets dat ik graag geautomatiseerd wil maken. Ik zou ook wel met backup software aan de slag kunnen maar dit leek mij een veilige en snelle manier.

Ik moet dus nog alleen uitzoeken hoe rsync aangepaste bestanden herkent.

[MAX3400]

Allicht een ander idee (maar wat weet ik nou van backups): inventariseer eerst lokaal de files die die dag in de backup moeten. Archiveer die files naar 1 bestand (bijvoorbeeld) ZIP en die kan je heel makkelijk dag/maand/jaar/tijd.zip laten noemen. En die rsync je.

Klinkt allemaal vast overbodig maar ik lees nergens dat de machine thuis enige vorm van error-control heeft en als jij dan lokaal een gewijzigd bestand hebt opgeslagen (maar het is corrupt) en je stuurt dat naar je VPS, is het op de VPS ook corrupt en heb je nooit meer enige fallback?

[thunder7]

Dat doet rsync volgens mij getrapt: eerst kijken of de datum/tijd/grootte/user afwijkt, en als dat allemaal klopt tussen bron en doel een checksum.

Overigens zou ik, als je rsync eenmaal snapt, nog eens goed naar rsnapshot kijken, een opensource programma'tje dat op basis van rsync steeds een snapshot van een directory maakt, waarbij alleen de gewijzigde bestanden daadwerkelijk ruimte innemen (incremental backup) maar wel de hele directory gewoon uit te lezen is (d.m.v. hardlinks).

[NimRod1337]

Of pak dan gewoon rsnapshot en maak het jezelf gemakkelijk met incrementele backups bv. 7 of 14 dagen/weken terug, 5 stuks, 10 stuks, hoeveel je maar wil. Je regelt dat in een config file.

[Voor 9% gewijzigd door NimRod1337 op 15-01-2022 19:56]

[Palmachius]

Ik zou je aanraden om naast rsnapshot ook eens naar borgmatic te kijken. Hiermee maak je ook incrementele backups met deduplicatie enz, maar het kan de backups ook versleutelen.

[arjanvr]

Ik zal beide bekijken.. dank je

[M-ThijZ]

Overweeg ook https://rclone.org/, hoor ik ook veel goede verhalen over. Kun je gemakkelijk nog een tweede (encrypted) cloud back-up bestemming toevoegen.

[arjanvr]

Alleen wel jammer dat niet duidelijk is waarom rsync de gewijzigde documenten niet upload

[Rukapul]

arjanvr schreef op zondag 16 januari 2022 @ 22:40:
Alleen wel jammer dat niet duidelijk is waarom rsync de gewijzigde documenten niet upload

Hero of Time in "rsync backup doet niet precies wat ik wil" geeft dat letterlijk aan.

exists is anders dan modified, etc.

[arjanvr]

Dat had ik begrepen maar de vraag blijft hoe het wel mogelijk is.

Wat mij opvalt als ze een excel bestand bewerkt en weer opslaat op de lokale server via webdav dan verandert niet de bijgewerkt datum van het bestand. Kan dat deel van het probleem zijn?

Ik weet dat je in nextcloud gui ook kan bewerken maar het is nog niet gelukt om dat werkende te krijgen

[Rukapul]

arjanvr schreef op maandag 17 januari 2022 @ 07:56:
Dat had ik begrepen maar de vraag blijft hoe het wel mogelijk is.

Wat dacht je van de default. Uit de man page, 2e paragraaf:

Rsync finds files that need to be transferred using a lqquick checkrq algorithm (by default) that looks for files that have changed in size or in last-modified time. Any changes in the other preserved attributes (as requested by options) are made on the destination file directly when the quick check indicates that the file's data does not need to be updated.

[Hero of Time]

@arjanvr ik raad je nogmaals aan om de manpage te lezen van rsync. Lees de verschillende opties die er mogelijk zijn en wat ze nou doen.