Netwerk snelheidsverschil Linux vs windows.

[Mattijs.id]

Hoi Tweakers,

Ben op het moment aan het proberen om te achterhalen wat hier precies aan de hand is.

Op windows is mijn transfer snelheid van thuisservertje naar laptop gewoon 110 Mb/s. (beide kanten GBit inclusief GBit switch. ).


Dit probeer ik op linux te evenaren. Dit lukt alleen voor geen kant;

NFS:

code:

compleet_legale_film.mkv
   769294336  16%   59.70MB/s    0:01:04  ^C

SMB:
Kom ik nog niet eens aan de 20Mb/s

SSHFS:

code:

compleet_legale_film.mkv
   492601344  10%   31.48MB/s    0:02:10  ^C

smb.conf:

code:

socket options = TCP_NODELAY SO_RCVBUF=8192 SO_SNDBUF=8192

alleen dat ungecomment en mijn eigen share aangemaakt. Verder niets veranderd.


Kan iemand mij verder helpen? Ik probeer NFS eigenlijk te ontwijken vanwege het heerlijke veiligheidsaspect.

Ik begrijp dat sshfs zo traag is omdat 't over ssh gaat.

Wat ik niet begrijp is waarom het samba protocol zo ongelofelijk traag lijkt te gaan.

Ik kan leven met ongeveer 80Mb/s, al heb ik natuurlijk het liefst gewoon ook 110mb/s. Heb niet voor niets een Gbit lokaal netwerk ^_^

[lier]

Welk OS draai je op je server?
Welke hardware gebruik je in je server?

[Mattijs.id]

lier schreef op zondag 10 november 2013 @ 21:43:
Welk OS draai je op je server?
Welke hardware gebruik je in je server?

Klein detail inderdaad. wups.

Servertje is een intel g5030 met een raid5 array via mdadm. draait op ubuntu.

Raar vind ik dus dat het in windows wel gewoon goed gaan, maar linux <-> linux zowaar slomer is.

[Gomez12]

Windows kopieer dialogen zijn berucht qua foutmarges.
Probeer het eens met een accuratere tool dan explorer...

113 MB/s gaat in principe al over je theoretische maximum heen (met error-correction etc die allemaal van de theoretische max van 125 MB/s afgaat).

Test sowieso eens de max read-speed van je server hdd (haalt die de 113 MB/s wel onder normale load) en de max write-speed van je laptop hdd (haalt die de 113 MB/s wel onder normale load) want als 1 van deze 2 even kan bursten maar daarna terugvalt naar bijv 70 MB/s dan is je linux install redelijk correct (er moet nog error correction overheen etc)

[Mattijs.id]

Gomez12 schreef op zondag 10 november 2013 @ 22:28:
Windows kopieer dialogen zijn berucht qua foutmarges.
Probeer het eens met een accuratere tool dan explorer...

113 MB/s gaat in principe al over je theoretische maximum heen (met error-correction etc die allemaal van de theoretische max van 125 MB/s afgaat).

Test sowieso eens de max read-speed van je server hdd (haalt die de 113 MB/s wel onder normale load) en de max write-speed van je laptop hdd (haalt die de 113 MB/s wel onder normale load) want als 1 van deze 2 even kan bursten maar daarna terugvalt naar bijv 70 MB/s dan is je linux install redelijk correct (er moet nog error correction overheen etc)

O god.. dat ik dit niet eerder heb bedacht ;..; lekker slim bezig vandaag >.<

Net ff met crystal mark opgemeten
- lokale ssd - uiteraard ver boven de 110mb/s - prima.

vervolgens op 't servertje de raid5 array gebenched: minimum read = 170, maximum = 405 mb/s.

Als ik crystal mark op de share zet, komt er met schrijven sequentieel en 512k beide nog ongeveer 100mb/s uit. 4k en 4kqd32 zijn beiden onder de 10. (8 en 3 respectievelijk). Lezen is echter wel maar ongeveer 50 a 60mb/s.

CPU Gebruik op 't servertje viel reuze mee en is niet boven de 40 % gekomen (meestal rond de 20% ).

Laptop: Network utlization blijft steken rond de 86/90%.

Moet ik denken aan een nieuwe (betere) switch om de laatste 20-30 mb/s er ook uit te kunnen halen? Dit lijkt nu mijn bottleneck te zijn namelijk. Laptop probeert het wel te verzenden en de hardeschijven van de server kunnen dit ook prima aan. De switch is de enige schakel die nog over is.

Heb nu namelijk een vrij baggere icidu switch

dit lijkt een redelijk alternatief.

[ Voor 12% gewijzigd door Mattijs.id op 10-11-2013 23:51 ]

[Damic]

Ik haal hier zelf ook maar iets van een 90MBps als ik van server (raid 6) naar pc kopieer (hdd), bij het openen gebruik ik mijn ssd en is de snelheid ver boven de 100MBps (Samsung 830 64GB). Dit alles over een oude linksys Gb switch, de router is een sitecom ding (max 100Mbps) maarja daar gaat het intern verkeer niet over.

Dus snelheden zijn redelijk goed, het enigste wat ik niet snap is waarom de snelheden in linux kelderen en daar ging het ook om.

Eventjes snel zelf een testje gedaan (nas is win 2008 r2 x64) snelheid neemt dus wel af naar het einde toe

[ Voor 41% gewijzigd door Damic op 11-11-2013 00:06 ]

[Mattijs.id]

Damic schreef op maandag 11 november 2013 @ 00:02:
Ik haal hier zelf ook maar iets van een 90MBps als ik van server (raid 6) naar pc kopieer (hdd), bij het openen gebruik ik mijn ssd en is de snelheid ver boven de 100MBps (Samsung 830 64GB). Dit alles over een oude linksys Gb switch, de router is een sitecom ding (max 100Mbps) maarja daar gaat het intern verkeer niet over.

Dus snelheden zijn redelijk goed, het enigste wat ik niet snap is waarom de snelheden in linux kelderen en daar ging het ook om.

Het word steeds mooier hier...

Ik doe net nog een keer of 2-3 de sequentiele test. (Crystal mark naar gemapped'te netwerk schijf die de raidarray pakt. )

Read komt niet boven de 50mb/s uit, en write niet boven de frkn 15 -.-.

Cpu gebruik op server bleef onder de 20%.

Nou ga ik verdorie ook debuggen ook =P ! [schijtaanmaandagochtend-modus=aan].

[edit 1]: Als ik nu gewoon kopieer staat zelfs in 't windows explorer kopieer schermpje dat ie maar max 50mb/s haalt. Zelfde aan de ontvangende kant van mn servertje.

cpu servertje niet de bottleneck, netwerk util. op laptop ook max 50%... begin richting een gare switch te denken >.<

[ Voor 13% gewijzigd door Mattijs.id op 11-11-2013 00:37 ]

[supayoshi]

Hey ik heb een suggestie, ik had dit probleem ook, en wat bleek het te zijn de mount waar ik gegevens van afhaalde via SAMBA etc. was een NTFS mount... Zou het kunnen dat je NTFS gebruikt als file system dat Linux gebruikt om de files te readen?

Hier zit namelijk nogal een bottleneck, probeer eens vanaf een EXT4 partitie gegevens te verzenden ove rje netwerk vanaf de Linux server, kijk is hoe snel dat gaat?

[lazybones]

Realtek netwerkchip toevallig? Sommige linux distro's gebruiken de verkeerde driver en schakelen dan terug naar 100mbit snelheid. Haal daar nog overhead vanaf en de zaak is een stuk langzamer.

[Mattijs.id]

supayoshi schreef op maandag 11 november 2013 @ 02:33:
Hey ik heb een suggestie, ik had dit probleem ook, en wat bleek het te zijn de mount waar ik gegevens van afhaalde via SAMBA etc. was een NTFS mount... Zou het kunnen dat je NTFS gebruikt als file system dat Linux gebruikt om de files te readen?

Hier zit namelijk nogal een bottleneck, probeer eens vanaf een EXT4 partitie gegevens te verzenden ove rje netwerk vanaf de Linux server, kijk is hoe snel dat gaat?

Nope. Hele server is ext4.

lazybones schreef op maandag 11 november 2013 @ 02:44:
Realtek netwerkchip toevallig? Sommige linux distro's gebruiken de verkeerde driver en schakelen dan terug naar 100mbit snelheid. Haal daar nog overhead vanaf en de zaak is een stuk langzamer.

Nope, Atheros.

Nu toch maar is slapen >.<

[Jolke]

Heb je al geprobeerd zonder switch met cross-cable under Linux?

[laurens0619]

Misschien iets met jumbo frames oid?
http://datatag.web.cern.ch/datatag/howto/tcp.html

[Mattijs.id]

Jolke schreef op maandag 11 november 2013 @ 11:15:
Heb je al geprobeerd zonder switch met cross-cable under Linux?

Crosscable: stabiel ongeveer 50mb/s, pieken naar 60 a 70 voor 1 a 2 seconden, waarna dit terugveert naar 30 a 40.

laurens0619 schreef op maandag 11 november 2013 @ 11:52:
Misschien iets met jumbo frames oid?
http://datatag.web.cern.ch/datatag/howto/tcp.html

Inmiddels jumboframes aan beide kanten op 6100 gezet.

Heb het hele verhaal ook via filezilla getest. Iets van de server raid array afhalen komt nooit hoger als een stabiele 50mb/s, uitschieters naar 60.
Dit is getest via sftp.

Samba komt niet hoger als 30 a 40.

Lachen dit, joh =P

In alle gevallen komt de cpu niet hoger als 30%. Wel is het zo dat filezilla af en toe 80mb/s aangeeft terwijl op de server een uitgaande verbinding van slechts 50mb/s te zien is.

Iemand nog meer ideeen? Of is een stabiele 50mb/s goed genoeg ? Ik dacht namelijk te lezen dat de 70 haalbaar moet zijn

[FatalError]

Met eigenlijk alle moderne hardware zou 115+ MByte/s wel prima mogelijk moeten zijn. Zowel onder Windows (Vista+), Linux als OS X.
Ik haal hier tussen al mijn apparaten gewoon 115+ MByte/s met bovengenoemde besturingssystemen, zowel met SMB als NFS (indien mogelijk) als Iperf.
Wel is het zo dat ik niet een supergoede indruk heb van die Atheros netwerkchip. Misschien zijn de linuxdrivers daarvoor ook niet helemaal 100% lekker.

[Mattijs.id]

FatalError schreef op maandag 11 november 2013 @ 21:27:
Met eigenlijk alle moderne hardware zou 115+ MByte/s wel prima mogelijk moeten zijn. Zowel onder Windows (Vista+), Linux als OS X.
Ik haal hier tussen al mijn apparaten gewoon 115+ MByte/s met bovengenoemde besturingssystemen, zowel met SMB als NFS (indien mogelijk) als Iperf.
Wel is het zo dat ik niet een supergoede indruk heb van die Atheros netwerkchip. Misschien zijn de linuxdrivers daarvoor ook niet helemaal 100% lekker.

Is het misschien een idee om een arch live stikkie te pakken en daar 't geheel nog eens te testen? Zou toch een nieuwere driver moeten zijn.. zou je zeggen.
deze link is het met die stelling eens.

De huidige driver die gebruikt wordt in alle links over mijn atheros controller (AR8161) gaat over een tarretje uit 2012 namelijk. Allicht dat 't daar ook aan ligt.

Heb alleen geen 2e pc met gbit kaart buiten deze laptop en 't servertje, dus ik kan het niet heel gemakkelijk testen. Live stickkie wordt dat dus.

Kzal er morgen eventjes naar kijken.

[edit]: net via arch gekeken; werkt out of the box, en hij springt ook naar 110mb/s (begint zelfs rond de 145), maar binnen 3 seconden daalt het terug naar de 40, om daarna in sneltreinvaard nog verder te dalen naar de 8mb/s. En vervolgens komt 'ie ook niet meer hoger.

Wel de volgende gevonden:
op het manjaro forum
Ik krijg die alleen niet ge-make'd. Niet op ubuntu en niet op arch, beide zitten boven kernel 3.10

Ik krijg bij beide de volgende heerlijke error: (heb de archives allemaal meerdere keren gedownload om fouten bij overdracht uit te sluiten).

code:

make
./scripts/gen-compat-autoconf.sh /home/ijstheefles/compat-drivers-2013-03-04/.config /home/ijstheefles/compat-drivers-2013-03-04/config.mk > include/linux/compat_autoconf.h
make -C /lib/modules/3.11.0-13-generic/build M=/home/ijstheefles/compat-drivers-2013-03-04 modules
make[1]: Entering directory `/usr/src/linux-headers-3.11.0-13-generic'
  CC [M]  /home/ijstheefles/compat-drivers-2013-03-04/compat/main.o
  LD [M]  /home/ijstheefles/compat-drivers-2013-03-04/compat/compat.o
scripts/Makefile.build:44: /home/ijstheefles/compat-drivers-2013-03-04/drivers/net/ethernet/atheros/alx/Makefile: No such file or directory
make[4]: *** No rule to make target `/home/ijstheefles/compat-drivers-2013-03-04/drivers/net/ethernet/atheros/alx/Makefile'.  Stop.
make[3]: *** [/home/ijstheefles/compat-drivers-2013-03-04/drivers/net/ethernet/atheros/alx] Error 2
make[2]: *** [/home/ijstheefles/compat-drivers-2013-03-04/drivers/net/ethernet/atheros] Error 2
make[1]: *** [_module_/home/ijstheefles/compat-drivers-2013-03-04] Error 2
make[1]: Leaving directory `/usr/src/linux-headers-3.11.0-13-generic'
make: *** [modules] Error 2

[ Voor 56% gewijzigd door Mattijs.id op 11-11-2013 23:13 ]

[pablo_p]

Probeer anders eens met iperf te kijken wat er raw mogelijk is, zonder impact van share protocollen en storage. Als je met iperf soortgelijke snelheden haalt, ligt het aan switch/kabel/netwerkkaart/driver/ipstack, maar kan je de andere dingen uitsluiten.

[Mattijs.id]

pablo_p schreef op maandag 11 november 2013 @ 23:41:
Probeer anders eens met iperf te kijken wat er raw mogelijk is, zonder impact van share protocollen en storage. Als je met iperf soortgelijke snelheden haalt, ligt het aan switch/kabel/netwerkkaart/driver/ipstack, maar kan je de andere dingen uitsluiten.

code:

iperf -c 192.168.2.53
------------------------------------------------------------
Client connecting to 192.168.2.53, TCP port 5001
TCP window size: 67.8 KByte (default)
------------------------------------------------------------
[  3] local 192.168.2.62 port 41940 connected with 192.168.2.53 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.08 GBytes   930 Mbits/sec
 iperf -c 192.168.2.53
------------------------------------------------------------
Client connecting to 192.168.2.53, TCP port 5001
TCP window size: 67.8 KByte (default)
------------------------------------------------------------
[  3] local 192.168.2.62 port 41951 connected with 192.168.2.53 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.08 GBytes   929 Mbits/sec

Potjandrie.. dan werkt 't wel gewoon Als ik 't met iperf probeer wordt de complete 110mb/s gebruikt ! (ook aan de verzendende kant op de server)

[FatalError]

Ik heb zelf geen enkele tuning gedaan in Samba om 115 MByte/s te halen. Heb je het ook al eens geprobeerd zonder de wijzigingen in de bufferinstellingen?
Ik draai momenteel Samba 4.0.x onder Fedora 19.
Ook in NFS heb ik geen enkele tuning gedaan.

[ Voor 10% gewijzigd door FatalError op 12-11-2013 09:31 ]

[Mattijs.id]

FatalError schreef op dinsdag 12 november 2013 @ 09:31:
Ik heb zelf geen enkele tuning gedaan in Samba om 115 MByte/s te halen. Heb je het ook al eens geprobeerd zonder de wijzigingen in de bufferinstellingen?
Ik draai momenteel Samba 4.0.x onder Fedora 19.
Ook in NFS heb ik geen enkele tuning gedaan.

Geen resultaat Kom ik niet boven de 13 mb/s uit. Dit is met samba 3.6.

Ben nu al 30 minuten bezig met samba4 te upgraden. Een enorme lading errors tot dus ver.

Op dit moment:

code:

Setting up samba4 (4.0.3+dfsg1-0.1ubuntu1) ...
Looking up IPv4 addresses
Looking up IPv6 addresses
No IPv6 address will be assigned
Error loading module '/usr/lib/x86_64-linux-gnu/samba//vfs/acl_xattr.so': /usr/lib/x86_64-linux-gnu/samba//vfs/acl_xattr.so: cannot open shared object file: No such file or directory
error probing vfs module 'acl_xattr': NT_STATUS_UNSUCCESSFUL
smbd_vfs_init: vfs_init_custom failed for acl_xattr
Error loading module '/usr/lib/x86_64-linux-gnu/samba//vfs/acl_xattr.so': /usr/lib/x86_64-linux-gnu/samba//vfs/acl_xattr.so: cannot open shared object file: No such file or directory
error probing vfs module 'acl_xattr': NT_STATUS_UNSUCCESSFUL
smbd_vfs_init: vfs_init_custom failed for acl_xattr
Setting up share.ldb
Setting up secrets.ldb
Setting up the registry
Setting up the privileges database
Setting up idmap db
Setting up SAM db
Setting up sam.ldb partitions and settings
Setting up sam.ldb rootDSE
Pre-loading the Samba 4 and AD schema
Adding DomainDN: DC=localdomain
Adding configuration container
Setting up sam.ldb schema
Setting up sam.ldb configuration data
Setting up display specifiers
Modifying display specifiers
Adding users container
Modifying users container
Adding computers container
Modifying computers container
Setting up sam.ldb data
Setting up well known security principals
Setting up sam.ldb users and groups
ERROR(ldb): uncaught exception - 0000052D: Constraint violation - check_password_restrictions: the password is too short. It should be equal or longer than 7 characters!
  File "/usr/lib/python2.7/dist-packages/samba/netcmd/__init__.py", line 175, in _run
    return self.run(*args, **kwargs)
  File "/usr/lib/python2.7/dist-packages/samba/netcmd/domain.py", line 398, in run
    use_rfc2307=use_rfc2307, skip_sysvolacl=False)
  File "/usr/lib/python2.7/dist-packages/samba/provision/__init__.py", line 2146, in provision
    skip_sysvolacl=skip_sysvolacl)
  File "/usr/lib/python2.7/dist-packages/samba/provision/__init__.py", line 1748, in provision_fill
    next_rid=next_rid, dc_rid=dc_rid)
  File "/usr/lib/python2.7/dist-packages/samba/provision/__init__.py", line 1436, in fill_samdb
    "KRBTGTPASS_B64": b64encode(krbtgtpass.encode('utf-16-le'))
  File "/usr/lib/python2.7/dist-packages/samba/provision/common.py", line 50, in setup_add_ldif
    ldb.add_ldif(data, controls)
  File "/usr/lib/python2.7/dist-packages/samba/__init__.py", line 224, in add_ldif
    self.add(msg, controls)

Gezien ik gok dat ik uiteindelijk op samba4 moet gaan draaien, zal ik es kijken hoever ik samba4 geinstalleerd krijg.

[Mattijs.id]

Ook dat bied geen uitkomst. Nog steeds dezelfde rotsnelheid ^_~.

Iemand nog andere ideeen ?