[ssh2 ] sftp / scp zo traag ?

[Ybox]

Ik ben een beetje aan het aanklooien met sftp en scp. Nu kan ik gewoon bestanden up en downloaden naar mijn server maar het gaat erg traag.
De snelheden die ik haal zijn 500kb/s op een 100mbit verbinding.
Op een amd 450mhz met 64mb intern geheugen.
Is dit normaal ?

Ik heb op internet gelezen dat ssh2 niet echt optimaal is om grote data bloken mee te verzenden omdat na elke data blok een an acknowledgment terug gestuurd moet worden.
Is er een mogelijkheid om de snelheid op te krikken?

[ Voor 5% gewijzigd door Ybox op 27-01-2004 20:47 ]

[blaataaps]

Dat hangt van de snelheid van de scp'ende hosts af, als die weinig cpu-power hebben schiet het idd niet op, hoewel 500kbps wel een tikje weinig is, maar je geeft verder geen informatie, dus of dat te laag is, zou ik zo niet kunnen zeggen.

[Ybox]

blaataaps schreef op 27 januari 2004 @ 20:39:
Dat hangt van de snelheid van de scp'ende hosts af, als die weinig cpu-power hebben schiet het idd niet op, hoewel 500kbps wel een tikje weinig is, maar je geeft verder geen informatie, dus of dat te laag is, zou ik zo niet kunnen zeggen.

Ben het met je eens , cpu power is ook het eerste waaraan ik dacht (zeker omdat het niet echt z'n supersnel gebakje meer is ). Maar als ik een sftp of scp heb lopen en ik in top dan komt de cpu niet boven de 40 %

[hammerhead]

Ybox schreef op 27 januari 2004 @ 20:50:
[...]

Ben het met je eens , cpu power is ook het eerste waaraan ik dacht (zeker omdat het niet echt z'n supersnel gebakje meer is ). Maar als ik een sftp of scp heb lopen en ik in top dan komt de cpu niet boven de 40 %

Ik denk dat de amount van CPU die gebruikt wordt ook zeer sterk afhangt van de gebruikte ciphers.... Ik kom geloof ik met kopieren naar een P3-850 niet boven de 2 MB/s terwijl hij dan 100% CPU gebruikt. (Kopieren vanaf die P3-850 naar een andere bak gaat nog iets langzamer dacht ik) Ik weet echter neit welke cipher er bij mij standaard gebruikt wordt.

[Sir Isaac]

Van en naar mijn 100Mhz 486je krijg ik 200 kbyte/s. Dan zou je toch minimaal 1 Mbyte/sec verwachten voor jouw machine. Vaag.

[Wilke]

Ybox schreef op 27 januari 2004 @ 20:32:
Ik ben een beetje aan het aanklooien met sftp en scp. Nu kan ik gewoon bestanden up en downloaden naar mijn server maar het gaat erg traag.
De snelheden die ik haal zijn 500kb/s op een 100mbit verbinding.
Op een amd 450mhz met 64mb intern geheugen.
Is dit normaal ?

Ca. een halve megabyte per seconde bedoel je dus (even zeker weten dat de eenheden kloppen)?

En krijg je met 'gewoon' FTP dan wel 9-10 Megabyte/s?

Nee, dat is uiteraard niet normaal. Die AMD zou misschien geen 10 MB/s halen, maar toch zeker wel 3-4. SSH kost inderdaad wel CPU-tijd, waar de bottleneck ligt kun je met 'top' wel een beetje zien. Een goede netwerkkaart helpt ook: Realtek troep laat alles door de driver (dus de CPU) doen.

Maar dan nog, 0.5 MB/s slaat hoe dan ook nergens op...

[usr-local-dick]

Ik heb eens getest wat het verschill in snelheid is bij gebruik van diverse ciphers:
http://www.geocrawler.com.../1111/2002/11/0/10110541/

Probeer dus eens: scp -c arcfour

[silentsnake]

Wilke schreef op 28 januari 2004 @ 09:35:
Een goede netwerkkaart helpt ook: Realtek troep laat alles door de driver (dus de CPU) doen.

Hmm ik heb 2 realtek kaartjes met 2x FreeBSD 5.1 en dat loopt als een trein. De ene is een XP 1800+ en de ander is een P4 2 GHz met nog een FSB van 400 MHz, en ik haal zo 7-8 MB/s uit m'n netwerk met scp. Als ik intern download via apache kom zelfs soms op 10 MB/s uit.

[smokalot]

silentsnake schreef op 28 januari 2004 @ 13:46:
[...]


Hmm ik heb 2 realtek kaartjes met 2x FreeBSD 5.1 en dat loopt als een trein. De ene is een XP 1800+ en de ander is een P4 2 GHz met nog een FSB van 400 MHz, en ik haal zo 7-8 MB/s uit m'n netwerk met scp. Als ik intern download via apache kom zelfs soms op 10 MB/s uit.

Met 3com zou je misschien wel op 12MB/s uitkomen

Bovendien hebben deze twee machines ruime processorkracht, dus is het niet zo heel erg als die belast worden met nog wat extra.

[Wilke]

silentsnake schreef op 28 januari 2004 @ 13:46:
Hmm ik heb 2 realtek kaartjes met 2x FreeBSD 5.1 en dat loopt als een trein. De ene is een XP 1800+ en de ander is een P4 2 GHz met nog een FSB van 400 MHz, en ik haal zo 7-8 MB/s uit m'n netwerk met scp. Als ik intern download via apache kom zelfs soms op 10 MB/s uit.

Ja duhh, zie even het verschil in CPU-snelheid en FSB vergeleken met het systeem waar dit topic over gaat. Een 3COM- of Intel-kaart zou niet half zoveel CPU-tijd gebruiken als je zoiets doet, maar omdat jouw systemen snel zat zijn boeit dat niet (tenminste, niet zolang het om een desktop-systeem gaat wat alleen jij gebruikt). Het is niet voor niets dat goede netwerkkaarten 50 in plaats van 5 euro kosten (of een dergelijk verschil in prijs).

Voor een AMD 450 kan de netwerkkaart zeer zeker uitmaken voor de maximum snelheid die je haalt, omdat de driver van een slechte kaart al 100% CPU gebruikt voordat je de theoretisch haalbare 100 MBit/s haalt.

[pierre-oord]

[naabmode] Kun je met ssh bestanden verzenden jo? Ook met putty enzo? pierre-oord gaat binnenkort op onderzoek [/naabmode]

[Ybox]

Dank allemaal voor deze replies , en ik heb idd een realtek op het interne netwerk.
Het zal wel sneller zijn als ik een 3com gebruik, ik moet nog ff zien of ik daar het geld voor over heb ... (het is een test situatie).

Ik het ook eens proberen met een andere cipher...


Na gebruik van een andere cipher haal ik met scp 750 kbyte/s .
Dus een andere cipher gebruiken dan de default maakt veel uit .

[ Voor 20% gewijzigd door Ybox op 28-01-2004 16:20 ]

[silentsnake]

Wilke schreef op 28 januari 2004 @ 15:01:
[...]


Ja duhh, zie even het verschil in CPU-snelheid en FSB vergeleken met het systeem waar dit topic over gaat. Een 3COM- of Intel-kaart zou niet half zoveel CPU-tijd gebruiken als je zoiets doet, maar omdat jouw systemen snel zat zijn boeit dat niet (tenminste, niet zolang het om een desktop-systeem gaat wat alleen jij gebruikt). Het is niet voor niets dat goede netwerkkaarten 50 in plaats van 5 euro kosten (of een dergelijk verschil in prijs).

Voor een AMD 450 kan de netwerkkaart zeer zeker uitmaken voor de maximum snelheid die je haalt, omdat de driver van een slechte kaart al 100% CPU gebruikt voordat je de theoretisch haalbare 100 MBit/s haalt.

Tja dat kan wel wezen, maar het lijkt mij stug dat die drivers en/of netwerkkaart ZO veel CPU time vreten dat ie geen tijd meer heeft om normaal de harde schijf aan te kenne spreken.

Trouwens, ik zit nog lang niet op de 100% load hoor als ik een bestand van een gig over m'n netwerk stuur, en ik doe het met simpele realtek kaartjes van 8 euro. Ik kan nog rustig verder met waar ik mee bezig was ... Misschien komt het wel dat de FreeBSD drivers voor die realtek kaart wat anders zijn dan die van Linux?

[Wilke]

silentsnake schreef op 29 januari 2004 @ 14:15:
Tja dat kan wel wezen, maar het lijkt mij stug dat die drivers en/of netwerkkaart ZO veel CPU time vreten dat ie geen tijd meer heeft om normaal de harde schijf aan te kenne spreken.

Ga eens achter een AMD 450 zitten en sta verbaasd. Bovendien is er niet alleen tijd nodig om de HD aan te spreken, maar ook voor het versleutelen. Overigens blijf ik erbij dat ook 750 KB/s nog steeds veel te weinig is (of die AMD's zijn echt baggerdingen). Aan TS: is er niet iets mis met de netwerkkabel? Check eens of er veel errors voorkomen (kun je zien met 'ifconfig eth0')? En weet je zeker dat de snelheid ingesteld staat op 100 MBit? Kun je dit testen met bv. gewoon FTP, en hoe snel gaat het dan?

Trouwens, ik zit nog lang niet op de 100% load hoor als ik een bestand van een gig over m'n netwerk stuur, en ik doe het met simpele realtek kaartjes van 8 euro.

Moet ik nog een keer herhalen dat dit komt doordat je beide systemen ranzig snelle CPU's en FSB's hebben vergeleken bij een AMD K6-2 450? Zoals ik in m'n vorige post ook al zei..maar als je niet wilt lezen, dan niet hoor.

[ Voor 6% gewijzigd door Wilke op 29-01-2004 14:37 ]

[jvhaarst]

Volgens mij is het idd slim van de ts om eens te posten wat een normale verbinding aan throughput haalt. Maar scp & sftp zijn nu eenmaal wat langzamer dan rcp & ftp.
Goed meten is natuurlijk tussen twee ramdisks, anders loop je tegen de snelheid van je harddisk aan.

Wat je ook nog kunt doen is met netcat gaan klooien, als je dat door een ssh tunnel gooit, dan is het ook secure, alleen dan met minimale overhead.

[XTerm]

Wilke schreef op 28 januari 2004 @ 09:35:
[...]

Ca. een halve megabyte per seconde bedoel je dus (even zeker weten dat de eenheden kloppen)?

En krijg je met 'gewoon' FTP dan wel 9-10 Megabyte/s?

Nee, dat is uiteraard niet normaal. Die AMD zou misschien geen 10 MB/s halen, maar toch zeker wel 3-4. SSH kost inderdaad wel CPU-tijd, waar de bottleneck ligt kun je met 'top' wel een beetje zien. Een goede netwerkkaart helpt ook: Realtek troep laat alles door de driver (dus de CPU) doen.

Maar dan nog, 0.5 MB/s slaat hoe dan ook nergens op...

Ter uwer informatie, tussen Isis en Osiris (beide 1.1 GhZ P3's) haal ik 11Mb/S sustained tussen 2 realteks
cpu power used is dan wel 10%.. wat veel is (gezien dat het gewoon hardware is en dat de SCSI kaarten helemaal geen drol CPU gebruiken).

[Ybox]

wow ik heb net ff een filetransfer geprobeert met ftp. download +_ 4 mbyte/s en upload 6mbytes/s . Dus ook langzaam

Tevens heb ik naar het aantal errors gekeken bij ifconfig , 0 errors en 0 dropped maar 1 overruns bij de TX packets ...

Er is dus wat mis..

[ Voor 4% gewijzigd door Ybox op 29-01-2004 20:14 ]

[silentsnake]

[off-topic]

@ Wilke

Ik heb idd nog nooit achter een langzame linux/unix bak gezeten dus ik kan mij er blijkbaar niet echt een voorstelling bij maken ... sorry hoor, het was niet mijn bedoeling om je te frustreren/irriteren.

[/off-topic]

[Verwijderd]

Heb je toevallig een switch aangesloten waarop de link speed van de ethernet adapters ingesteld kan worden?
Als dat zo is zou je kunnen controleren of de switch iet toevallig 100 full-duplex staat en de netwerk adapter van je computertje op 100 Half-duplex.

Onder linux heb je hiervoor het tooltje ethtool.

je klopt dus in ethtool eth0 en je krijgt te zien wat de link-speed is.

Dan moet je ook effe controchecken of je netwerkswitch niet op een andere snelheid staat (als dat dus instelbaar is .....)

[_JGC_]

Post eens wat preciezere specs van die bak, een K6 moet gewoon 11MB/s door je netwerk kunnen trekken, maar dan moet het moederbord wel meewerken. Met deze PC heb ik gewoon >=11MB/s:

K6/3+ 450
192MB SDRAM
DFI K6BV3+ 1MB L3 cache
LSILogic 860 SCSI controler
Seagate 4.5GB UltraSCSI 7200RPM
3COM 3C905C-TXM

Die on-die L2 cache zal het hem niet doen, denk eerder de PCI bus van het moederbord en de doorvoer naar het geheugen. Mn digital Prioris XL 5133DP met dual P133 en een i430NX chipset haalde met realtekkies en 3COMs ook slechts 3MB/s maximaal, maakte niet uit welke NIC.

[Wilke]

Ybox schreef op 29 januari 2004 @ 20:13:
wow ik heb net ff een filetransfer geprobeert met ftp. download +_ 4 mbyte/s en upload 6mbytes/s . Dus ook langzaam

4 MB/s is ook ongeveer de max. snelheid van je harddisk als DMA uit staat...probeer eens met hdparm /dev/hda naar de instellingen te kijken (en wat zegt 'hdparm -tT /dev/hda', uiteraard uitvoeren terwijl er niks anders op dat systeem gebeurt)?

Maar het zou ook goed kunnen dat je systeem gewoon niet meer haalt dan 4-5 MB/s.

Er is dus wat mis..

Of die AMD's zijn erg traag bij het uitvoeren van het versleutel-mechanisme. Ik zal het bij m'n ouders thuis nog eens proberen als ik er weer ben, die hebben ook een AMD 450 MHz.

offtopic:
Wat is dat ding voor iets vaags Die hebben we hier op GoT niet hoor!

[Ybox]

Wilke schreef op 30 januari 2004 @ 11:03:
[...]

4 MB/s is ook ongeveer de max. snelheid van je harddisk als DMA uit staat...probeer eens met hdparm /dev/hda naar de instellingen te kijken (en wat zegt 'hdparm -tT /dev/hda', uiteraard uitvoeren terwijl er niks anders op dat systeem gebeurt)?
[...]

Timing buffer-cache reads: 220 MB in 2.02 seconds = 109.18 MB/sec
Timing buffered disk reads: 48 MB in 3.08 seconds = 15.61 MB/sec

/dev/hda:
multcount = 16 (on)
IO_support = 1 (32-bit)
unmaskirq = 1 (on)
using_dma = 1 (on)
keepsettings = 0 (off)
readonly = 0 (off)
readahead = 8 (on)
geometry = 1027/255/63, sectors = 16514064, start = 0

dma staat aan dus daar ligt het niet aan.

Verwijderd schreef op 30 januari 2004 @ 10:57:
Onder linux heb je hiervoor het tooltje ethtool.

je klopt dus in ethtool eth0 en je krijgt te zien wat de link-speed is.

Hij staat op 100Mbit full-duplex

_JGC_ schreef op 30 januari 2004 @ 10:57:
Post eens wat preciezere specs van die bak, een K6 moet gewoon 11MB/s door je netwerk kunnen trekken, maar dan moet het moederbord wel meewerken.

AMD K6/2 450Mhz
64Mb
Epox bordje (welke presies weet ik zo niet meer , is ooit bij een reperatie in plaats van een asus bord gekomen )
8 Gb 5400 Rpm harddisk (geloof WD)
1 realtek ethernet
1 3com ethernet

het kan heel goed aan dat brakke moederbordje liggen hoor , maar dat verklaart alleen niet die hogere upload snelheid ...

offtopic:
idd wilke , was me nog niet opgevallen. iets te vaak met IM aan de gang..

[WildernessChild]

pierre-oord schreef op 28 januari 2004 @ 15:06:
[naabmode] Kun je met ssh bestanden verzenden jo? Ook met putty enzo? pierre-oord gaat binnenkort op onderzoek [/naabmode]

offtopic:
WinSCP is gebaseerd op Putty en daarmee kun je bestanden verzenden en ontvangen via SSH. Ik geloof dat het ook met Putty kan via de command line, maar dat weet ik niet zeker.

[ Voor 3% gewijzigd door WildernessChild op 30-01-2004 17:04 ]

[Verwijderd]

WildernessChild schreef op 30 januari 2004 @ 17:04:
[...]

offtopic:
WinSCP is gebaseerd op Putty en daarmee kun je bestanden verzenden en ontvangen via SSH. Ik geloof dat het ook met Putty kan via de command line, maar dat weet ik niet zeker.

offtopic:
daar heb je het tooltje pcsp voor kijk maar eens op http://www.chiark.greenend.org.uk/~sgtatham/putty/ in de download sectie.

[Verwijderd]

Zelf heb ik wat problemen gehad met een Realtek (SWEEX) PCI ethernet adapter met een 8139 chipset. Die gaf ook slechte performance, voor dat adaptertje had ik onder Linux de laatste driver rtl8139 via ftp.scyld.com gedownload en geinstalleerd.
Daarna had ik alleen maar performance problemen.
Vervolgens ben ik overgegaan op de standaard door RedHat geleverde 8139too driver en sindsdien heb ik geen performance problemen en of instabiliteitjes.

Als ik op mijn machine een lspci -v en kijk naar de Realtek (SWEEX) adapter dan heb ik deze info. Misschien dat het helpt om eens een andere driver te proberen ?

00:0c.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL-8139/8139C/8139C+ (rev 10)
Subsystem: Realtek Semiconductor Co., Ltd. RT8139
Flags: bus master, medium devsel, latency 66, IRQ 9
I/O ports at f800 [size=256]
Memory at ffbfec00 (32-bit, non-prefetchable) [size=256]
Capabilities: [50] Power Management version 2
Capabilities: [60] Vital Product Data