[rsync cron] Rsync stopt na plm 10 minuten

[VROEM!]

Ik heb een cron jobje gemaakt om automatisch een backup uit te voeren. Het leek me handig om dat met rsync te doen.

Nu staat er een job die elk uur gestart wordt (wordt als alles eenmaal werkt wel opgerekt naar elke dag) waarin het volgende commando gestart wordt:

code:

rsync -rWIP --delete --whole-file --size-only /home/act /mnt/ftp/backup

Die start elk uur keurig op, maar na ongeveer 10 minuten vliegt hij er steeds uit, met als gevolgd dat er maar een klein deel van de 20 GB grote backup gedaan is. Ik vind in de logs nergens terug dat hij gecrasht is, de schijf waar de backup heen gaat loopt wel ieder uur netjes een stukje voller, maar daar houdt het wel bij op.
Heeft iemand een idee waar dit aan kan liggen?

[usr-local-dick]

1. Doet ie het wel goed als je hem met de hand runt?
2. De -W en --whole-file zijn redundant
3. Zet eens -vvv erbij
4. Gebruik -a (= -rlptgoD)

[ Voor 10% gewijzigd door usr-local-dick op 16-04-2004 15:53 ]

[VROEM!]

Met -vvv zegt hij aan het begin van de regel make_file (4, blablabla)
Wat betekent dat?
-a lijkt wel iets handigs te doen Hij loopt in ieder geval bij handmatig uitvoeren een stuk harder door de lijst heen. Ik had hiervoor vaak de indruk dat alles wat er stond gewoon overschreven werd.

[usr-local-dick]

Met -vvv zegt hij aan het begin van de regel make_file (4, blablabla)
Wat betekent dat?

volgens mij maakt ie hier de filelist, dat is normaal. Je moet misschien nog een v erbij doen (-vvvv) en dan kijken waar ie stopt en wat de error is

[VROEM!]

Ah ik heb het gevonden, meer v-tjes is meer info.

Ik heb nog even gekeken: Handmatig klapt hij er soms uit bij het kopieren van Thumbs.db:encryptable files. Ik heb hem nu maar --ignore-errors meegegeven, dan loopt tenminste de backup door. Die thumbs.db files los ik later nog wel op

[VROEM!]

Oke, update: Hij loopt toch niet helemaal door....
Met -avvvv geeft hij geen melding, hij kapt gewoon. Tenminste, in top staat hij ineens niet meer in de lijst, maar op een andere console moet ik wel ctrl-c indrukken om weer een prompt te krijgen.

[Whizzer]

Ik heb gisteren ook zitten spelen met rsync 2.6.0 op AIX, maar dat is (zoals bijna alle zelf te bakken software) dikke ellende... Kapt ook om onverklaarbare redenen. 2.5.6 van de bullefreeware site werkte echter wel, maar daar zit nog wat security ellende in

Dus mijn vraag: welke versie en welk OS gebruik je?

[VROEM!]

Debian linux stable. En ik ga op die machine niet proberen om software uit testing te installeren, slechte ervaringen mee.....

[usr-local-dick]

VROEM! schreef op 16 april 2004 @ 18:49:
Debian linux stable. En ik ga op die machine niet proberen om software uit testing te installeren, slechte ervaringen mee.....

Niet nodig, ik gebruik dezelfde als jij en die doet het gewoon prima.
Gebruik hem heel vaak, zelfs een tree van 250 Gb synchroniseren over een adsl lijntje geen centje pijn

[Zwerver]

VROEM! schreef op 16 april 2004 @ 18:02:
Oke, update: Hij loopt toch niet helemaal door....
Met -avvvv geeft hij geen melding, hij kapt gewoon. Tenminste, in top staat hij ineens niet meer in de lijst, maar op een andere console moet ik wel ctrl-c indrukken om weer een prompt te krijgen.

En als je dan even een strace doet op het pid nr van je proces? Dus even ps axu doen, je pid opzoeken en dan strace -p , wat zie je dan staan? Waar hangt ie op? Want dan kan je zien wat die aan het doen is nl.....

[pierre-oord]

Het ligt aan thumbs.db ofzo. Ik eb dat ook gehad. Volgens mij denkt linux dat het links zijn ofzo; het is iig te bijzonder om gewoon te kopieren. Uit een ZIP bestand zippen is geen probleem, maar kopieren, ho maar.

Overigens kun je die bestanden gerust allemaal verwijderen, is van windows, en houdt bij hoe een directory eruit ziet (bijvoorbeeld een lijst of losse pictogrammen).

edit:
overigens werkt het normale cp commando ook niet

[ Voor 8% gewijzigd door pierre-oord op 16-04-2004 21:33 ]

[VROEM!]

Ik heb wat errors gevonden over unbuffered writes. Misschien probeert hij alles ongebufferd naar de andere disk te knallen en als die andere disk dan te druk is mislukt de schrijfpoging. Beetje zoals CD's branden vroeger zeg maar...._{denk ik}

[VROEM!]

usr-local-dick schreef op 16 april 2004 @ 21:01:
[...]

Niet nodig, ik gebruik dezelfde als jij en die doet het gewoon prima.
Gebruik hem heel vaak, zelfs een tree van 250 Gb synchroniseren over een adsl lijntje geen centje pijn

Welk commando gebruik jij precies?

Ik vind nog wat extra meldingen:

code:

select(5, NULL, [4], NULL, {60, 0})     = 1 (out [4], left {60, 0})
write(4, "\0\0\0\17\1\3\17\16\0\16\4\1\0\2\17\n\17\v\17\17\0\5\0"..., 32768) = 32768
gettimeofday({1082372513, 985568}, NULL) = 0
select(5, NULL, [4], NULL, {60, 0})     = 1 (out [4], left {59, 630000})
write(4, "\0\200\0\0", 4)               = -1 EPIPE (Broken pipe)
--- SIGPIPE (Broken pipe) ---

code:

   36929536  18%  564.57kB/s    0:04:55
rsync: error writing 4 unbuffered bytes - exiting: Broken pipe
rsync error: error in rsync protocol data stream (code 12) at io.c(463)
rsync: error writing 69 unbuffered bytes - exiting: Broken pipe
rsync error: error in rsync protocol data stream (code 12) at io.c(463)

Ik heb het remote filesystem gemount met lees- en schrijfbuffers van 8 kb en krijg toch nog dit soort meldingen, grrrr....

[ Voor 76% gewijzigd door VROEM! op 19-04-2004 12:15 ]

[usr-local-dick]

ik gebruik als opties:
-vv -L -u -a -p --delete --rsh=ssh
Dit is op een MacOSX server (versie rsync = 2.5.7). Aan de andere kant hangt een debian/woody machine waar 2.5.6cvs draait.

Ik zie iets met een gettimeofday etc, zou je eens kunnen kijken hoe de datum/tijd staat op beide systemen?

[VROEM!]

Op de server staat de tijd nog op wintertijd. Boeit dat?

[usr-local-dick]

VROEM! schreef op 19 april 2004 @ 13:50:
Op de server staat de tijd nog op wintertijd. Boeit dat?

Nee volgens mij niet maar aangezien we hier bezig zijn met debuggen is het handiger om te zorgen dat zoveel mogelijk variabelen gelijk zijn.
Als je op beide machines ntp draait weet je zeker dat het dus niet aan de clock kan liggen