[Linux] Hoe bestanden delen overdrachtsnelheid verhogen?

[tHe_BiNk]

Als ik bestanden van een windows share download op het netwerk haal ik over de 60MB/sec (tegen de 64MiB/sec aan).

Als ik van dezelfde machine maar dan via Ubuntu bestanden download gaat het een stuk langzamer. Samba haalt 48MB/sec (terwijl computer ook 6 watt minder stroomverbruikt dan bij OpenSSH) en OpenSSH maar 30MB/sec. Downloaden vanaf een windows machine gaat snel, maar vanaf een linux machine minder snel.

Hoe krijg ik van linux naar linux machine ook 60MB/sec?

OS'en
Windows 7 x64
Ubuntu 9.10 x64
Ubuntu 10.04 x64

[ Voor 24% gewijzigd door tHe_BiNk op 26-02-2010 21:33 ]

[RemcoDelft]

FTP? Wget?

[tHe_BiNk]

FTP is dus waarschijnlijk sneller. Dus overal een FTP server installeren begrijp ik? (sudo apt-get install vsftpd) En dan kan je gewoon via Nautilus bestanden uitwisselen.

[ Voor 16% gewijzigd door tHe_BiNk op 26-02-2010 20:48 ]

[MacGrumpy]

Samba is traag. dat is bekend. Bij SSH kan mogelijk de CPU de beperkende factor zijn.
(al haalt SCP naar mijn via esther no steeds 240mbit/s, en die is niet bepaald snel)

[tHe_BiNk]

CPU's zijn E8400@3,6GHZ (20% belasting) & AMD Athlon2 X4 620 (80% belasting 1 core) dus dat lijkt mij geen probleem.

Wat is SCP?

[RemcoDelft]

tHe_BiNk schreef op vrijdag 26 februari 2010 @ 21:18:
Wat is SCP?

Sociaal en Cultureel Planbureau.

scp daarentegen: `man scp`:

code:

NAME
     scp — secure copy (remote file copy program)

SYNOPSIS
     scp [-1246BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file]
         [-l limit] [-o ssh_option] [-P port] [-S program]
         [[user@]host1:]file1 ... [[user@]host2:]file2

DESCRIPTION
     scp copies files between hosts on a network.  It uses ssh(1) for data
     transfer, and uses the same authentication and provides the same security
     as ssh(1).  Unlike rcp(1), scp will ask for passwords or passphrases if
     they are needed for authentication.

     File names may contain a user and host specification to indicate that the
     file is to be copied to/from that host.  Local file names can be made
     explicit using absolute or relative pathnames to avoid scp treating file
     names containing ‘:’ as host specifiers.  Copies between two remote hosts
     are also permitted.

[Kees]

En je schijven kunnen ook 60+ mbyte/s aan?

[Verwijderd]

tHe_BiNk schreef op vrijdag 26 februari 2010 @ 20:16:
Hoe krijg ik van linux naar linux machine ook 60MB/sec?

Om files tussen Linux machines te sharen is NFS een veel gebruikte en goede optie. NFS is razendsnel

[daft_dutch]

met scp kan je ook nog met de compressie (level) spelen.
cpu's draaien voor simpele compressie hun hand niet meer om terwijl sommige bestand formaten veel kleiner worden. Als je kde draait kan je misschien fish:// proberen. maakt gebruik van ssh en een perl script dat wordt over gepompt naar de host.

maar nfs is veel meer de unix netwerk methode om shares te benaderen. lekker stabiel en weinig overhead.

Als je geen router tussen jou en de file host hebt en je heel snel data wilt pompen kan je ook Ata over ethernet proberen.

AoE does not rely on network layers above Ethernet, such as IP and TCP. In this regard it is more comparable to Fibre Channel over Ethernet than iSCSI. While the non-routability means AoE cannot be accessed over the Internet or other IP networks, the feature makes AoE more lightweight (with less load on the host), easier to implement, provides a layer of inherent security, and offers higher performance. The AoE specification is 12 pages[1] compared with iSCSI's 257 pages

Wikipedia: ATA over Ethernet

[tHe_BiNk]

Okay zal nfs en ftp proberen, ata over ethernet is geen optie voor gewone file overdracht meer iets voor server to server backup.

[ Voor 63% gewijzigd door tHe_BiNk op 27-02-2010 15:00 ]

[job]

ftp is vervelend omdat je dan via een ftp client moet werken.
nfs is ideaal, gewoon in je fstab laten mounten en klaar.

[tHe_BiNk]

job schreef op zaterdag 27 februari 2010 @ 14:59:
ftp is vervelend omdat je dan via een ftp client moet werken.

Uuuh, je kunt in Nautilus toch gewoon een FTP server toevoegen?

[job]

Nog nooit van nautilus gehoord, dus misschien wel ja
Maar test het eens uit wat handiger en sneller werkt.

[martdj]

MacGrumpy schreef op vrijdag 26 februari 2010 @ 20:58:
Samba is traag. dat is bekend. Bij SSH kan mogelijk de CPU de beperkende factor zijn.
(al haalt SCP naar mijn via esther no steeds 240mbit/s, en die is niet bepaald snel)

Niet zo bekend hoor. Samba staat bekend als sneller dan windows shares op een Windows server. Als ik het bij mij vergelijk met FTP is Samba ook gewoon net zo snel.
NFS heeft het nadeel dat je toegangsrechten lastiger te regelen zijn. Ik heb helaas geen oplossing voor het probleem van de TS though.

[Verwijderd]

Met rsync kun je vrij snel werken. Rsync heeft ook een compressie en bij het updaten van files worden alleen de verschillende blocks getransporteerd.