Toon posts:

rsync backup doet niet precies wat ik wil

Pagina: 1
Acties:

Vraag


  • arjanvr
  • Registratie: September 2003
  • Laatst online: 30-01 14:00
Ik heb thuis een server draaien met daarop de belangrijke bestanden zoals de administratie van mijn vrouw. Nu wil ik deze belangrijke folders automatisch iedere dag laten backuppen naar een vps die ik ook draai zodat het op 2 locaties staat voor de veiligheid.

Ik heb gekozen om dit te doen via rsync. De initiele backup ging prima en nu wil ik iedere dag dat hij enkel de volgende bestanden upload want het is overbodig om iedere dag de 2 gb aan documenten opnieuw te uploaden.

- nieuwe bestanden in de folder
- de gewijzigde documenten (excel)

Nu heb ik dit als crontab ingesteld
00 17 * * * sudo rsync --ignore-existing -avz -e ssh /"lokale folder" *@10.10.10.10:/folder/
(uiteraard wat belangrijke gegevens zoals folders en ip adres even aangepast hier.)

Ik had 1 document gewijzigd en 1 test bestand erbij gezet om te kijken wat hij doet.
Nu blijkt dat hij wel het nieuwe bestand erbij zet maar het gewijzigde excel document niet.

Is dit mogelijk of hoe kan ik dit eventueel wel instellen dat hij ook wijziginen in office documenten ziet?

Alle reacties


  • raymondw
  • Registratie: November 2000
  • Laatst online: 11:54
Ik denk dat ignore existing direct je probleem omschrijft...

Gebruik zelf "--stats -h -amz" en dat werkt voor mijn backup prima.
Aangezien ik twijfelde, even extra getest voor je (dingen die jaren goed draaien... ;) )

code:
1
2
3
4
Number of files: 197,267 (reg: 188,794, dir: 8,473)
Number of created files: 0
Number of deleted files: 0
Number of regular files transferred: 1

1 enkele file word dus opgepakt

En even het hele commando
rsync -e ssh --exclude-from 'backup-exclude' --stats -h -amz /source/folder user@host:/dest/folder

De exclude staan ISO bestanden en game folders in
*.iso
/source/game1
/source/game2
/etc/tec/etc

to linux or not ,that's my quest... | 5800X | 32GB 3800C15 | X570-Pro | 980 1TB | 7900XTX | iRacing | PVoutput


  • arjanvr
  • Registratie: September 2003
  • Laatst online: 30-01 14:00
Ah het is dus wel mogelijk wat ik wil.

Ik zal hem eens aanpassen hoe jij het omschrijft en dan bij de volgende backup kijken wat er gebeurd.

Dank je

[Voor 54% gewijzigd door arjanvr op 14-01-2022 19:57]


  • Hero of Time
  • Registratie: Oktober 2004
  • Laatst online: 02-02 22:17

Hero of Time

Moderator LNX

There is only one Legend

De man-page is er ook redelijk helder in:
code:
1
       --ignore-existing        skip updating files that exist on receiver

Als er een 0-byte bestand staat met de naam 'hypotheek.pdf' en je hebt je hypotheekvoorwaarden lokaal staan die 4 MB is, dan gaat die niet mee. Kijk eens wat er nog meer aan opties zijn die je mogelijk wil gebruiken of misschien liever niet.

Ik ben wel benieuwd waarom je het nodig vindt om rsync als root uit te voeren middels sudo. Waar heb je die cronjob precies ingesteld? En wat zijn de rechten op alle bestanden die je wilt kopiëren?

Commandline FTW | Tweakt met mate


  • NimRod1337
  • Registratie: November 2002
  • Laatst online: 11:16
Ik denk inderdaad dat je overal lokaal wel leesrechten hebt en sudo dus niet nodig hebt. Aannemende dat rsync lokaal geen bestanden mag verwijderen, wat met sudo wel weer veel makkelijker gaat mocht je toch een foute parameter toepassen. Aan de andere zijde heb je ook niets aan die sudo.

Ergo, laat sudo weg.

Overigens klinkt het wel heel erg als testen op productie data. Doe dit met test data totdat je zeker bent wat er gebeurt.

Overigens is er ook nog rsnapshot welke onderliggend rsync gebruikt en ook met SSH kan werken en daarbij netjes increments voor je kan toepassen. Zoveel je wilt. Maakt dan alleen een backup van de wijzigingen. Neemt je veel werk uit handen. Verdiep je even in incrementele backups, het is een soort versioning, je kan bv. 3 backups terug als je dat wilt.

[Voor 46% gewijzigd door NimRod1337 op 15-01-2022 12:45]


  • arjanvr
  • Registratie: September 2003
  • Laatst online: 30-01 14:00
Sudo is inderdaad overbodig.
Mijn vrouw slaat facturen en andere voor haar belangrijke bestanden op op de lokale pc waar linux op draait. Ik wilde deze bestanden graag synchoniseren met mijn vps zodat ik ergens nog een extra backup heb die niet in hetzelfde huis zich bevind.

Het uploaden van nieuwe bestanden gaat prima want die ziet hij als nieuw maar ik krijg niet niet voor elkaar dat hij ziet wanneer een excel bestand aangepast is en daar dan de nieuwe versie van upload, en daar was ik eigenlijk mee bezig.

In een volgend stadium wil ik de plesk backups die op de vps gemaakt worden weer terug synchoniseren naar de lokale server thuis, maar dat is niet zo een probleem. Het gaat vooral dat hij niet ziet dat het excel bestand aangepast is.

Het is niet zozeer testen op productie datum, het is gewoon iets dat ik graag geautomatiseerd wil maken. Ik zou ook wel met backup software aan de slag kunnen maar dit leek mij een veilige en snelle manier.

Ik moet dus nog alleen uitzoeken hoe rsync aangepaste bestanden herkent.

  • MAX3400
  • Registratie: Mei 2003
  • Laatst online: 31-01 16:08

MAX3400

XBL: OctagonQontrol

Allicht een ander idee (maar wat weet ik nou van backups): inventariseer eerst lokaal de files die die dag in de backup moeten. Archiveer die files naar 1 bestand (bijvoorbeeld) ZIP en die kan je heel makkelijk dag/maand/jaar/tijd.zip laten noemen. En die rsync je.

Klinkt allemaal vast overbodig maar ik lees nergens dat de machine thuis enige vorm van error-control heeft en als jij dan lokaal een gewijzigd bestand hebt opgeslagen (maar het is corrupt) en je stuurt dat naar je VPS, is het op de VPS ook corrupt en heb je nooit meer enige fallback?

Mijn advertenties!!! | Mijn antwoorden zijn vaak niet snowflake-proof


  • thunder7
  • Registratie: Januari 2003
  • Laatst online: 09:34

thunder7

houten vaas/schaal nodig?

Dat doet rsync volgens mij getrapt: eerst kijken of de datum/tijd/grootte/user afwijkt, en als dat allemaal klopt tussen bron en doel een checksum.

Overigens zou ik, als je rsync eenmaal snapt, nog eens goed naar rsnapshot kijken, een opensource programma'tje dat op basis van rsync steeds een snapshot van een directory maakt, waarbij alleen de gewijzigde bestanden daadwerkelijk ruimte innemen (incremental backup) maar wel de hele directory gewoon uit te lezen is (d.m.v. hardlinks).

hout-nerd - www.hetmooistehout.nl of www.houtenschalen.nl


  • NimRod1337
  • Registratie: November 2002
  • Laatst online: 11:16
Of pak dan gewoon rsnapshot en maak het jezelf gemakkelijk met incrementele backups bv. 7 of 14 dagen/weken terug, 5 stuks, 10 stuks, hoeveel je maar wil. Je regelt dat in een config file.

[Voor 9% gewijzigd door NimRod1337 op 15-01-2022 19:56]


  • Palmachius
  • Registratie: Augustus 2007
  • Laatst online: 21-01 18:23
Ik zou je aanraden om naast rsnapshot ook eens naar borgmatic te kijken. Hiermee maak je ook incrementele backups met deduplicatie enz, maar het kan de backups ook versleutelen.

  • arjanvr
  • Registratie: September 2003
  • Laatst online: 30-01 14:00
Ik zal beide bekijken.. dank je

  • M-ThijZ
  • Registratie: Maart 2003
  • Laatst online: 02-02 16:33

M-ThijZ

Riding on Rails

Overweeg ook https://rclone.org/, hoor ik ook veel goede verhalen over. Kun je gemakkelijk nog een tweede (encrypted) cloud back-up bestemming toevoegen.

  • arjanvr
  • Registratie: September 2003
  • Laatst online: 30-01 14:00
Alleen wel jammer dat niet duidelijk is waarom rsync de gewijzigde documenten niet upload

  • Rukapul
  • Registratie: Februari 2000
  • Nu online
arjanvr schreef op zondag 16 januari 2022 @ 22:40:
Alleen wel jammer dat niet duidelijk is waarom rsync de gewijzigde documenten niet upload
Hero of Time in "rsync backup doet niet precies wat ik wil" geeft dat letterlijk aan.

exists is anders dan modified, etc.

  • arjanvr
  • Registratie: September 2003
  • Laatst online: 30-01 14:00
Dat had ik begrepen maar de vraag blijft hoe het wel mogelijk is.

Wat mij opvalt als ze een excel bestand bewerkt en weer opslaat op de lokale server via webdav dan verandert niet de bijgewerkt datum van het bestand. Kan dat deel van het probleem zijn?

Ik weet dat je in nextcloud gui ook kan bewerken maar het is nog niet gelukt om dat werkende te krijgen

  • Rukapul
  • Registratie: Februari 2000
  • Nu online
arjanvr schreef op maandag 17 januari 2022 @ 07:56:
Dat had ik begrepen maar de vraag blijft hoe het wel mogelijk is.
Wat dacht je van de default. Uit de man page, 2e paragraaf:
Rsync finds files that need to be transferred using a lqquick checkrq algorithm (by default) that looks for files that have changed in size or in last-modified time. Any changes in the other preserved attributes (as requested by options) are made on the destination file directly when the quick check indicates that the file's data does not need to be updated.

  • Hero of Time
  • Registratie: Oktober 2004
  • Laatst online: 02-02 22:17

Hero of Time

Moderator LNX

There is only one Legend

@arjanvr ik raad je nogmaals aan om de manpage te lezen van rsync. Lees de verschillende opties die er mogelijk zijn en wat ze nou doen.

Commandline FTW | Tweakt met mate

Pagina: 1


Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee