[DEBIAN LENNY] Slechte USB Mass storage performance

[Wasp]

Hoi,

Zojuist een verse installatie gedaan met een Net install van Debian (Lenny).

Ik ga dit systeempje gebruiken als mpd server, en als file server. Samba werkt inmiddels goed, heb ook Proftpd geinstalleerd. Nou het probleem:

Zodra ik bestanden ga 'uploaden' op de externe USB drive (Western Digital 1 TB, USB 2.0), komt de snelheid nauwelijks boven de 1 MB/s uit. Downloaden gaat niet sneller dan ongeveer 3 MB/s. Dit terwijl in 'dmesg' duidelijk naar voren komt dat de USB poorten en de externe USB drive herkent worden als USB 2.0 device:

[ 19.500420] usb usb3: Product: EHCI Host Controller
[ 19.500427] usb usb3: Manufacturer: Linux 2.6.26-2-686 ehci_hcd

en

[ 22.456135] usb 3-1: new high speed USB device using ehci_hcd and address 3
[ 22.589904] usb 3-1: configuration #1 chosen from 1 choice
[ 22.593557] usb 3-1: New USB device found, idVendor=1058, idProduct=1003
[ 22.593570] usb 3-1: New USB device strings: Mfr=1, Product=2, SerialNumber=3
[ 22.593578] usb 3-1: Product: External HDD
[ 22.593585] usb 3-1: Manufacturer: Western Digital
[ 22.593591] usb 3-1: SerialNumber: 57442D574341553438383132333435

Verder zit er een 100 Mbit USB Ethernet dongle in, van het merk Eminent.

Lokaal heb ik uiteraard ook gekeken hoe lang het kopiëren duurde. Een map met 100 MP3'tjes, met een totale grootte van 550 MB, duurde van de externe USB harddrive, naar de lokale, ongeveer 1 minuut. Andersom (van lokaal naar USB) duurde iets langer, ongeveer 70 seconden. Omgerekend dus zo'n 7 MB per seconde

Hrm. Gek genoeg kom ik er nu achter, als ik deze map kopieer naar dezelfde lokale schijf, dat dit ook ongeveer 60 a 65 seconden duurt. Het langst van alles duurde het kopiëren van deze map van USB naar USB: ongeveer 100 (!) seconden. Dit is ongeveer 5 MB per seconde!

Als ik met proftpd upload, dan zie je de uploadsnelheid gigantisch variëren van 2.2 MB/s met drops tot 400 KB/s.

Op internet kom ik voornamelijk mountproblemen tegen met USB drives, dit heb ik zelf opgelost met een boot scriptje. Dit specifieke probleem niet tegen gekomen....

Wat gegevens:

LinuxServ:/home/hans# uname -a
Linux LinuxServ 2.6.26-2-686 #1 SMP Sun Jul 26 21:25:33 UTC 2009 i686 GNU/Linux

LinuxServ:~# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/hda1 18G 1.1G 16G 7% /
tmpfs 126M 0 126M 0% /lib/init/rw
udev 10M 92K 10M 1% /dev
tmpfs 126M 0 126M 0% /dev/shm
/dev/sda1 917G 32G 839G 4% /home

LinuxServ:~# cat /etc/fstab
# /etc/fstab: static file system information.
#
# <file system> <mount point> <type> <options> <dump> <pass>
proc /proc proc defaults 0 0
/dev/hda1 / ext3 errors=remount-ro 0 1
/dev/sda1 /home ext3 noauto 0 0
/dev/hda5 none swap sw 0 0
/dev/hdc /media/cdrom0 udf,iso9660 user,noauto 0 0
/dev/fd0 /media/floppy0 auto rw,user,noauto 0 0

[Wasp]

Wat specs vergeten, excuus.

Sony Vaio PCG-F808K
Pentium III 800
256 MB RAM
20 GB HD, hier boot Debian vanaf.

Voor de rest wat tests. Geen idee of dit goed of slecht is.

LinuxServ:~# hdparm -tT /dev/hda
/dev/hda:
Timing cached reads: 200 MB in 2.01 seconds = 99.57 MB/sec
Timing buffered disk reads: 46 MB in 3.07 seconds = 14.97 MB/sec

LinuxServ:~# hdparm -tT /dev/sda
/dev/sda:
Timing cached reads: 86 MB in 2.00 seconds = 42.91 MB/sec
Timing buffered disk reads: 36 MB in 3.15 seconds = 11.42 MB/sec

Aanvulling:

Downloaden op de USB schijf gaat vrij ok. Testbestand van 100 MB van xs4all: 104,857,600 1.71M/s in 74s
Downloaden op de vaste schijf: 104,857,600 1.70M/s in 62s

Daar dus geen noemenswaardige verschillen in..

[ Voor 17% gewijzigd door Wasp op 04-08-2009 20:37 ]

[AlterMann]

15 MB/sec schrijven naar een lokale schijf is wel erg weinig.. Wat voor pc is het?
Lezen vanaf je externe schijf gaat met zo'n 12 MB/sec. Ook niet echt heel snel..

[Wasp]

't Is een Sony Vaio PCG-F808K. Wel een oud beestje op zich, maar dat 'ie zó traag is?

Zie de specs: http://www.vaiopro.sony-e.../f807/_bilder/f800_nl.pdf

[_JGC_]

Staat niet bij wat voor chipset erin zit, en je vermeld ook niet hoe je USB2 op dit ding hebt verkregen. Grote kans dat het al wat een oudere chipset is die niet al te snel is. Ik verwacht dat je USB2 interface via een cardbus kaartje gedaan wordt, geen idee wat voor chip daarin zit, maar ook die kan voor vertragingen zorgen.

Hier de hdparm resultaten van een P3 800 met 256MB geheugen, i815 chipset, onboard video, Seagate 7200.10 250GB IDE en WD 160GB 2.5" USB aangesloten op een VIA USB 2.0 kaart:
/dev/sda:
Timing cached reads: 232 MB in 2.00 seconds = 115.86 MB/sec
Timing buffered disk reads: 90 MB in 3.04 seconds = 29.59 MB/sec

/dev/hda:
Timing cached reads: 240 MB in 2.00 seconds = 119.74 MB/sec
Timing buffered disk reads: 174 MB in 3.03 seconds = 57.36 MB/sec

[Wasp]

De chipset waarvan bedoel je precies?

Inderdaad vergeten te zeggen, USB2 heb ik via een PCMCIA kaartje verkregen (Merk: Sweex, type PU-054, chipset VIA3038).

Deze PCMCIA kaart moet wel snel genoeg zijn, want via deze 'hub' heb ik ook de Eminent 100Mbit USB Ethernet kaart gekoppeld, en ik haal wel zo rond de 2 MB/s download. Hmm, nu ik dit zo schrijf.. Ik haal op mn workstation ongeveer 2,9 MB/s down via internet.

Waar zit nou toch die bottleneck?

[Confusion]

Wasp schreef op dinsdag 04 augustus 2009 @ 18:52:
Zodra ik bestanden ga 'uploaden' op de externe USB drive (Western Digital 1 TB, USB 2.0), komt de snelheid nauwelijks boven de 1 MB/s uit. Downloaden gaat niet sneller dan ongeveer 3 MB/s.
[..]
Een map met 100 MP3'tjes, met een totale grootte van 550 MB, duurde van de externe USB harddrive, naar de lokale, ongeveer 1 minuut. Andersom (van lokaal naar USB) duurde iets langer, ongeveer 70 seconden. Omgerekend dus zo'n 7 MB per seconde

Hrm. Gek genoeg kom ik er nu achter, als ik deze map kopieer naar dezelfde lokale schijf, dat dit ook ongeveer 60 a 65 seconden duurt. Het langst van alles duurde het kopiëren van deze map van USB naar USB: ongeveer 100 (!) seconden. Dit is ongeveer 5 MB per seconde!

Voorzover ik weet zijn dat normale snelheden voor een USB 2.0 verbinding? Transfers zitten bij mij ook altijd in de regio 1-5 MB/s.

[Wasp]

Confusion schreef op woensdag 05 augustus 2009 @ 13:43:
[...]

Voorzover ik weet zijn dat normale snelheden voor een USB 2.0 verbinding? Transfers zitten bij mij ook altijd in de regio 1-5 MB/s.

USB 2.0 heeft toch een theoretische snelheid van 480 Mb/s? Even makkelijk omgerekend is dat 60 MB per seconde. Dit is natuurlijk een theoretische snelheid, maar stel nou voor het gemak dat je in de praktijk de helft zou kunnen halen, 30 MB per seconde. Dan haal ik op dit moment maar 30 % van die snelheid.

Denk ik nou te makkelijk, of zie ik toch nog iets over het hoofd?

[_JGC_]

Confusion schreef op woensdag 05 augustus 2009 @ 13:43:
[...]

Voorzover ik weet zijn dat normale snelheden voor een USB 2.0 verbinding? Transfers zitten bij mij ook altijd in de regio 1-5 MB/s.

Ik haal bijna 30 op een 2.5" 4500RPM laptopdrive aangesloten op een VIA USB 2.0 kaartje.
Ik gok dat de bottlenecks hier liggen bij de cardbus controller in je laptop en de trage interne schijf. Cardbus zou theoretisch minstens 33MB/s kunnen halen, maar als ik dit lees zie je dat dat nogal eens wil verschillen:
http://2xod.com/articles/...%20Cardbus%20Controllers/

[igmar]

een oude P3 laptop chipset is denk ik amper in staat om een cardbus controller snel genoeg van data te voorzien. Verder is de snelheid vooral afhankelijk van je cardbus controller, en daarin zit behoorlijk wat speling als het om snelheid gaat.

[Confusion]

Voor mij gelden die snelheden voor zowel mijn Thinkpad Z61m (Intel Core Duo T2500, USB loopt AFAIK niet via de cardbus controller op dit moederbord), als voor mijn (oude) desktop (AMD Athlon 2400+, Epox 8KHA+). Snelheden gelden zowel voor USB schijven (bus powered en externally powered) als voor usb-sticks. Zowel Debian Testing als Ubuntu Jolly Jumper (makkelijker te onthouden dan de echte J J).

[ Voor 5% gewijzigd door Confusion op 05-08-2009 14:44 ]

[Wasp]

Confusion schreef op woensdag 05 augustus 2009 @ 14:44:
Voor mij gelden die snelheden voor zowel mijn Thinkpad Z61m (Intel Core Duo T2500, USB loopt AFAIK niet via de cardbus controller op dit moederbord), als voor mijn (oude) desktop (AMD Athlon 2400+, Epox 8KHA+). Snelheden gelden zowel voor USB schijven (bus powered en externally powered) als voor usb-sticks. Zowel Debian Testing als Ubuntu Jolly Jumper (makkelijker te onthouden dan de echte J J).

Zou jij jouw resultaten eens willen posten met het commando hdparm -tT /dev/hda?

[AlterMann]

Mijn WD externe schijf (500 GB, usb-powered) haalt op m'n Acer Aspire One (met atom-processor) ook bijna 30 MB/s leessnelheid.

[Confusion]

Hmmm, of ik herinner het me verkeerd, of er is recent iets veranderd aan mijn laptop, want

Laptop (Debian Testing), interne HD
Timing cached reads: 2448 MB in 2.00 seconds = 1224.75 MB/sec
Timing buffered disk reads: 124 MB in 3.01 seconds = 41.23 MB/sec

Laptop (Debian Testing), externe HD:
Timing cached reads: 2440 MB in 2.00 seconds = 1220.89 MB/sec
Timing buffered disk reads: 104 MB in 3.06 seconds = 34.02 MB/sec

Kopieren van 1.7 GB van externe HD naar interne HD: ~80 seconden
Kopieren van diezelfde 1.7 GB de andere kant op: idem.

Ik herinner me dat toch anders, maar het is al een tijdje geleden dat ik hierop iets met grote bestanden via USB heb gedaan. Ik zit hier op kernel 2.6.30 uit unstable (in een poging de camera aan de gang te krijgen... not).


Mijn desktop, waar die externe HD tegenwoordig aan gekoppeld is:
Desktop (Ubuntu), interne HD:
Timing cached reads: 318 MB in 2.01 seconds = 158.27 MB/sec
Timing buffered disk reads: 196 MB in 3.03 seconds = 64.78 MB/sec

Desktop (Ubuntu), externe HD:
Timing cached reads: 18 MB in 2.00 seconds = 8.99 MB/sec
Timing buffered disk reads: 4 MB in 3.84 seconds = 1.04 MB/sec

Kopieren gaat ook met die snelheid of slechter. Eens zien of daar iets aan te doen is (edit: antwoord is 'nee', want het is gewoon een USB 1.1 moederbord... is ook al een oud beestje...)

[ Voor 3% gewijzigd door Confusion op 08-08-2009 16:05 ]