tar files naar tape met measureing buffer

[bucovaina89]

Mijn vraag
Ik schrijf foto's van mijn nas naar een LTO3 tape over het 1Gbit netwerk. Op zich zijn alle componenten tot de tape wel snel genoeg om de LTO3 drive te satureren. Omdat ik gemerkt heb dat bij kleinere bestanden (in grote aantallen) de latency op het netwerk er toch voor zorgt dat de tape af en toe vertraagt (nog geen shoe-shinen), wil ik een buffer inbouwen. Die heb ik gelukkig want in de workstation waar mijn LTO-3 drive in zit, heb ik 96GB aan RAM . Dus mbuffer to the rescue zou je denken.

Maar ik krijg met mbuffer slechtere resultaten dan zonder. Ik zou volgens de manpage van mbuffer mogen verwachten dat er pas wordt geschreven vanaf de buffer 99% vol zit als ik -P 99 mee geef als argument, maar hij begint er steeds al aan bij 3%. No matter wat ik maak van -P [digit][digit]. Weet iemand toevallig wat ik hier mis doe? Ik merk dat vanaf 3% de buffer gewoon leeg begint te lopen en als hij leeg is, stopt de tape er gewoon mee .

Weet iemand wat ik hier mis doe?

code:

root@tape://mnt/ruimteschip# tar -b 512 -cvf - --exclude='@eaDir' photo/$(date +%Y)/$(date +%m)/ photo/iphonebackup/ photo/iphoneplusbackup/ | mbuffer -t -m 20G -P 99 -f -o /dev/st1
in @  0.0 kiB/s, out @  0.0 kiB/s,  0.0 kiB total, buffer   2% full
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
in @  320 MiB/s, out @  0.0 kiB/s,  0.0 kiB total, buffer   2% full
<redacted filename.CR2>
<redacted filename.CR2>
in @  160 MiB/s, out @  0.0 kiB/s,  0.0 kiB total, buffer   3% full
<redacted filename.CR2>
<redacted filename.CR2>
mbuffer: error: inputThread: error reading at offset 0x27000000: Bad address
in @  0.0 kiB/s, out @ 73.1 MiB/s, 96.0 MiB total, buffer   3% full^C
^Cmbuffer: warning: error during output to /dev/st1: canceled
summary:  106 MiByte in  6.7sec - average of 15.9 MiB/s

[DiedX]

Wil je niet nst doen?

https://stackoverflow.com...to-rewinding-tape-archive

[Thralas]

bucovaina89 schreef op woensdag 10 juni 2020 @ 22:18:
Ik zou volgens de manpage van mbuffer mogen verwachten dat er pas wordt geschreven vanaf de buffer 99% vol zit als ik -P 99 mee geef als argument,

[...]

Weet iemand wat ik hier mis doe?

Volgens mij zie je de read error over het hoofd en staar je je blind op iets dat niet het probleem is. Lijkt me nogal logisch dat hij z'n buffer alsnog wegschrijft zodra er een read error optreedt.

Waarom die fout optreedt is een tweede. Probeer -t eens weg te laten zou ik zeggen.