Cookies op Tweakers

Tweakers is onderdeel van DPG Media en maakt gebruik van cookies, JavaScript en vergelijkbare technologie om je onder andere een optimale gebruikerservaring te bieden. Ook kan Tweakers hierdoor het gedrag van bezoekers vastleggen en analyseren. Door gebruik te maken van deze website, of door op 'Cookies accepteren' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt? Bekijk dan ons cookiebeleid.

Meer informatie
Toon posts:

tar files naar tape met measureing buffer

Pagina: 1
Acties:

Vraag


  • bucovaina89
  • Registratie: juli 2010
  • Laatst online: 19-06 07:08
Mijn vraag
Ik schrijf foto's van mijn nas naar een LTO3 tape over het 1Gbit netwerk. Op zich zijn alle componenten tot de tape wel snel genoeg om de LTO3 drive te satureren. Omdat ik gemerkt heb dat bij kleinere bestanden (in grote aantallen) de latency op het netwerk er toch voor zorgt dat de tape af en toe vertraagt (nog geen shoe-shinen), wil ik een buffer inbouwen. Die heb ik gelukkig want in de workstation waar mijn LTO-3 drive in zit, heb ik 96GB aan RAM _/-\o_ . Dus mbuffer to the rescue zou je denken.

Maar ik krijg met mbuffer slechtere resultaten dan zonder. Ik zou volgens de manpage van mbuffer mogen verwachten dat er pas wordt geschreven vanaf de buffer 99% vol zit als ik -P 99 mee geef als argument, maar hij begint er steeds al aan bij 3%. No matter wat ik maak van -P [digit][digit]. Weet iemand toevallig wat ik hier mis doe? Ik merk dat vanaf 3% de buffer gewoon leeg begint te lopen en als hij leeg is, stopt de tape er gewoon mee 8)7 .

Weet iemand wat ik hier mis doe?

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
root@tape://mnt/ruimteschip# tar -b 512 -cvf - --exclude='@eaDir' photo/$(date +%Y)/$(date +%m)/ photo/iphonebackup/ photo/iphoneplusbackup/ | mbuffer -t -m 20G -P 99 -f -o /dev/st1
in @  0.0 kiB/s, out @  0.0 kiB/s,  0.0 kiB total, buffer   2% full
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
<redacted filename.CR2>
in @  320 MiB/s, out @  0.0 kiB/s,  0.0 kiB total, buffer   2% full
<redacted filename.CR2>
<redacted filename.CR2>
in @  160 MiB/s, out @  0.0 kiB/s,  0.0 kiB total, buffer   3% full
<redacted filename.CR2>
<redacted filename.CR2>
mbuffer: error: inputThread: error reading at offset 0x27000000: Bad address
in @  0.0 kiB/s, out @ 73.1 MiB/s, 96.0 MiB total, buffer   3% full^C
^Cmbuffer: warning: error during output to /dev/st1: canceled
summary:  106 MiByte in  6.7sec - average of 15.9 MiB/s

Alle reacties


  • DiedX
  • Registratie: december 2000
  • Laatst online: 19:44

  • Thralas
  • Registratie: december 2002
  • Laatst online: 20:58
bucovaina89 schreef op woensdag 10 juni 2020 @ 22:18:
Ik zou volgens de manpage van mbuffer mogen verwachten dat er pas wordt geschreven vanaf de buffer 99% vol zit als ik -P 99 mee geef als argument,

[...]

Weet iemand wat ik hier mis doe?
Volgens mij zie je de read error over het hoofd en staar je je blind op iets dat niet het probleem is. Lijkt me nogal logisch dat hij z'n buffer alsnog wegschrijft zodra er een read error optreedt.

Waarom die fout optreedt is een tweede. Probeer -t eens weg te laten zou ik zeggen.


Apple iPad Pro (2021) 11" Wi-Fi, 8GB ram Microsoft Xbox Series X LG CX Google Pixel 5a 5G Sony XH90 / XH92 Samsung Galaxy S21 5G Sony PlayStation 5 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2021 Hosting door True