Toon posts:

tar files naar tape met measureing buffer

Pagina: 1
Acties:

Vraag


  • bucovaina89
  • Registratie: Juli 2010
  • Laatst online: 19:19
Mijn vraag
Ik schrijf foto's van mijn nas naar een LTO3 tape over het 1Gbit netwerk. Op zich zijn alle componenten tot de tape wel snel genoeg om de LTO3 drive te satureren. Omdat ik gemerkt heb dat bij kleinere bestanden (in grote aantallen) de latency op het netwerk er toch voor zorgt dat de tape af en toe vertraagt (nog geen shoe-shinen), wil ik een buffer inbouwen. Die heb ik gelukkig want in de workstation waar mijn LTO-3 drive in zit, heb ik 96GB aan RAM _/-\o_ . Dus mbuffer to the rescue zou je denken.

Maar ik krijg met mbuffer slechtere resultaten dan zonder. Ik zou volgens de manpage van mbuffer mogen verwachten dat er pas wordt geschreven vanaf de buffer 99% vol zit als ik -P 99 mee geef als argument, maar hij begint er steeds al aan bij 3%. No matter wat ik maak van -P [digit][digit]. Weet iemand toevallig wat ik hier mis doe? Ik merk dat vanaf 3% de buffer gewoon leeg begint te lopen en als hij leeg is, stopt de tape er gewoon mee 8)7 .

Weet iemand wat ik hier mis doe?

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
root@tape://mnt/ruimteschip# tar -b 512 -cvf - --exclude='@eaDir' photo/$(date +%Y)/$(date +%m)/ photo/iphonebackup/ photo/iphoneplusbackup/ | mbuffer -t -m 20G -P 99 -f -o /dev/st1
in @  0.0 kiB/s, out @  0.0 kiB/s,  0.0 kiB total, buffer   2% full
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
in @  320 MiB/s, out @  0.0 kiB/s,  0.0 kiB total, buffer   2% full
<redacted filename.CR2>
<redacted filename.CR2>
in @  160 MiB/s, out @  0.0 kiB/s,  0.0 kiB total, buffer   3% full
<redacted filename.CR2>
<redacted filename.CR2>
mbuffer: error: inputThread: error reading at offset 0x27000000: Bad address
in @  0.0 kiB/s, out @ 73.1 MiB/s, 96.0 MiB total, buffer   3% full^C
^Cmbuffer: warning: error during output to /dev/st1: canceled
summary:  106 MiByte in  6.7sec - average of 15.9 MiB/s

Alle reacties


  • DiedX
  • Registratie: December 2000
  • Laatst online: 07-12 15:57

DiedX supports the Roland™, Sound Blaster™ and Ad Lib™ sound cards


  • Thralas
  • Registratie: December 2002
  • Laatst online: 23:29
bucovaina89 schreef op woensdag 10 juni 2020 @ 22:18:
Ik zou volgens de manpage van mbuffer mogen verwachten dat er pas wordt geschreven vanaf de buffer 99% vol zit als ik -P 99 mee geef als argument,

[...]

Weet iemand wat ik hier mis doe?
Volgens mij zie je de read error over het hoofd en staar je je blind op iets dat niet het probleem is. Lijkt me nogal logisch dat hij z'n buffer alsnog wegschrijft zodra er een read error optreedt.

Waarom die fout optreedt is een tweede. Probeer -t eens weg te laten zou ik zeggen.


Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee