[Samba] Alleen snel met 2 of meerdere file transfers

[M4RTiN]

Ik heb al langere tijd een (o.a.) fileserver voor windows XP werkbakken, ik draai Samba 3.028. Wat me vanaf het begin al opvalt is dat als ik een groot bestand kopieer máár 2 tot 5 MB per seconde haal. Ik heb verder een goed werkend 1000 Mbit netwerk.

Het gekke is, als ik simultaan een 2de grote filetransfer doe, schiet het zomaar omhoog naar ongeveer 30 MB per seconde (Wat ik zeer acceptabel vindt)

Hier een screenshot wat bovengenoemde illustreert:



Welk moet ik toegeven dat ik gebuik maak van een softewarematige raid van Ubuntu (MDraid?)

Zijn er Samba tweaks die het ook bij single filetransfers snel kan maken zonder dat mijn bestanden onveilig worden verzonden (ik kan geen corrupte bestanden veroorloven)

Of iemand een sugestie waar ik de bottleneck kan herleiden? Ik ben niet zo thuis op het gebied van performance onder linux.

[roeleboel]

Ik heb iets soortgelijks voor, maar enkel met de windows-clients, de linux-clients downloaden alles op volle snelheid. (server is dezelfde, dus aan de instellingen daar zal het bij mij niet liggen)

Opmerking is vooral bedoeld om aan te geven dat men niet te snel er van uit moet gaan dat het aan de server ligt...

Meer on topic hier:
- is het een 'download van' of een 'upload naar' de server? of heb je het bij allebei?
- wordt die 2e simutane transfer gestart vanaf dezelfde client? of heb je hetzelfde effect als een 2e client een enkele transfer start op zijn beurt?
- is er ondertussen andere netwerkactiviteit?

[ Voor 55% gewijzigd door roeleboel op 02-09-2009 10:46 ]

[M4RTiN]

Goed dat je dat vraagt, het gaat bij mij om 'upload naar server'. Als de bestanden er eenmaal staan en ik 'download' ze weer dan is de snelheid gelijk als ik 1 of 2 tegelijk doe. (15 MB per seconde)

Alles wordt ervaren op 1 PC, ik heb niet de indruk dat dit effect met meerdere pc's bereikt kan worden.

Er is vast wel andere netwerk activiteit, het is namelijk ondertussen ook een webserver en mailserver en nog wel wat zaken maar ik acht dat vooralsnog niet noemenswaardig.

[Nvidiot]

Windows 7 als client van mijn Ubuntu Samba server (backend: linux softraid 5, 4x1TB Hitachi):


102 mbyte/sec, 88.85% van m'n gigabit link in gebruik

Samba tweaks:

code:

[global]
    socket options = TCP_NODELAY IPTOS_LOWDELAY SO_KEEPALIVE SO_RCVBUF=40960 SO_SNDBUF=40960

Tevens de MTU op de Ubuntu machine op 4088 gezet (groter gaf vreemde issues). Op de Windows 7 machine de MTU op 9K gezet.

[M4RTiN]

Dit wou ik toch weer even ophalen, geen tijd gehad om ermee verder te prutsen.

Het probleem is nog steeds, ook na wat tweaks in de smb config (weet niet meer exact welke maar redelijkerwijs die van vorige post van medetweaker)

Huidige situatie:



Je ziet er eerst 1 filetransfer, daarna een tweede. Je ziet direct dat de verbinding-snelheid omhoog "schiet".

Om onze infra-structuur uit te sluiten hebben we met iperf getest.



Links zie je nog wat lijnen van de vorige afbeelding, zo kun je goed in verhouding zien wat het verschil is. Daarna komen de eerste tests met iperf met een single transfer. De laatste is een test met 9 simultane transfers. Zeer acceptabel vindt ik zelf.

Hiermee concludeer ik dat de verbinding / clientpc / netwerk-kaarten goed zijn, wat dus overlaat:

HDD's / MD-ADM (linux softraid) / Linux Kernel / Samba ?

Onlangs heb ik een HDD vervangen in mijn softraid en dat ging met de snelheid van 44MB per seconde, wat mij dan ook weer prima lijkt.

Iemand nog suggestie's hoe ik het probleem kan isoleren ?

[Nielson]

Zorg er in iig voor dat je kernel en samba up to date zijn. Test je nog steeds vanuit XP als client, en heb je er meerdere? Pas ook op dat je niet teveel tweaks doet, soms werkt dit juist averechts bij recente samba versies. Maar als het probleem ook bij iperf optreedt kan het eigenlijk niet eens aan samba of mdadm liggen.

[M4RTiN]

Ik draai Ubuntu LTS 8.04, ik hou mijn pakketten redelijk up to date. Momenteel draai ik samba 3.028 en de kernel is 2.6.24-24-server op een x86_64 platform.

Het testen doe ik op een Windows XP computer, alhoewel ik wel meerdere werkstations heb, heb ik alleen op deze computer test-software. Aangezien Iperf goede resultaten neerzet denk ik juist wél in de richting van samba of md-adm...

[Nielson]

Ik nam aan dat een enkele iperf thread al genoeg was om de netwerk verbinding dicht te trekken, maar dat is schijnbaar toch niet zo, haal hier ook maar 290Mb/s. Mocht je nog wat willen vergelijken, heb hier ook een fileservertje staan met mdadm (r5), samba en ubuntu, alleen dan met 9.10, kernel 2.6.31-16 x86_x64 en samba 3.4.0.

[M4RTiN]

Jouw setup is redelijk hetzelfde, wat voor resultaten haal jij met samba file transfers als ik vragen mag?

[Nielson]

Uploaden van m'n htpc (win7) naar de server gaat met rond de 60-65MB/s, weet niet precies waar dit door beperkt wordt maar vermoed de enkele (zwaar gefragmenteerde) Samsung F1 in de htpc.

[Rainmaker]

Wat voor blocksize heb je op die raid set? Kan me niet voorstellen dat het zo'n verschil maakt, maar bij heel grote blocksize kan ik me voorstellen dat er bij 2 simultane transfers iets van snelheidswinst te halen is.

Wat voor snelheid haal je op de server bij lezen / schrijven naar de server?

Misschien nog een stomme vraag; staan alle kaarten op full duplex en al eens andere kabeltjes geprobeerd?

[M4RTiN]

@ Nielson is dat bits of bytes ?

@ Rainmaker: ethtool eth0 geeft de volgende output:

Advertised auto-negotiation: Yes
Speed: 1000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
Auto-negotiation: on
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000033 (51)
Link detected: yes

Wat raad je aan om lokaal te testen ik heb XFCE geinstalleerd, met weinig extra's...

Hoe controleer ik die blocksize van mijn Softraid ?

[Nielson]

Dat is in Mbytes/sec. Chunksize van m'n raid 5 array (4 x 1TB Samsung F2 Greenpower) is gewoon 64K, filesystem is XFS met een paar kleine tweaks (noatime, logbufs=8 en lazy-count=1).

[Nvidiot]

Het verschil tussen Samba naar XP en Samba naar Windows 7 was bij mij een factor 2+, dus probeer het eens met een Windows 7 client in plaats van XP?

[M4RTiN]

ik heb één en ander ook nog eens nader bekeken, ik heb een standaard setup van mdadm gedaan van oorspronkelijk een Ubuntu 6.06 LTS versie uit 2006. Deze is in de loop der tijd upgraded naar 8.04 LTS.

Standaard gebruikt mdadm een chunksize van 64, ik ga er dan maar vanuit dat ik dat ook heb. Verder draait hier een Ext3 filesystem op, dat is bewezen genoeg om goed en snel te kunnen werken.

Een kleine benchmark van de softraid levert het volgende op:

hdparm -tT /dev/md2

/dev/md2:
Timing cached reads: 1754 MB in 2.00 seconds = 876.58 MB/sec
Timing buffered disk reads: 186 MB in 3.03 seconds = 61.36 MB/sec

Lijkt mij ruim voldoende om snel te kunnen presteren met Samba.

Al met al begin ik steeds meer te denken dat Samba de boosdoener is en ik genoodzaakt ben (wil ik een beetje snel kunnen netwerken) een distro upgrade zal doen naar 8.10 en vanaf daar eventueel naar 9.10. Maar dit zijn beide geen LTS versie's. Ik weet niet wat voor consequenties dat dit heeft, maar feit is dat dit wel een productieserver voor mij is en ik zo veilig mogelijk te werk wil gaan. Uit principe blijf ik het liefste bij LTS versie's om het maar bij hetzelfde soort te houden. De volgende LTS versie zou in april dit jaar uit moeten komen.

Wat ook mogelijk is om Samba zelf te compileren en dan een nieuwere versie te nemen, maar kan ik dan later met een nieuwere LTS versie weer terugvallen op een package versie ?

[Seth4Chaos]

M4RTiN schreef op maandag 01 februari 2010 @ 20:41:
Al met al begin ik steeds meer te denken dat Samba de boosdoener is en ik genoodzaakt ben (wil ik een beetje snel kunnen netwerken) een distro upgrade zal doen naar 8.10 en vanaf daar eventueel naar 9.10. Maar dit zijn beide geen LTS versie's. Ik weet niet wat voor consequenties dat dit heeft, maar feit is dat dit wel een productieserver voor mij is en ik zo veilig mogelijk te werk wil gaan. Uit principe blijf ik het liefste bij LTS versie's om het maar bij hetzelfde soort te houden. De volgende LTS versie zou in april dit jaar uit moeten komen.

Ik heb ook wel is zoiets gehad (danwel met MacOSX) maar het kwam er op neer dat een 'oude' versie van Samba niet goed werkte maar de nieuwste (op dat moment) het probleem verholpen had. Ik heb geen ervaring met W7 maar aangezien die ook vrij nieuw is en jou Samba versie ietswat verouders is zou het best kunnen dat dit het probleem is.

Wat ook mogelijk is om Samba zelf te compileren en dan een nieuwere versie te nemen, maar kan ik dan later met een nieuwere LTS versie weer terugvallen op een package versie ?

Heeft Ubuntu (net als Debian) ook geen backports. Zodat je op je huidige versie een "9.10 Samba" versie kunt installeren? hoef je niet je hele sys te updaten en kan je toch de nieuwste versie draaien.

Zelf compileren zou ik afraden, maarja het kan wel maar het wordt lastiger (niet onmogenlijk) om terug te vallen op een package versie.

Korte google search: https://help.ubuntu.com/community/UbuntuBackports

Edit: nevermind, Samba zit niet in de hardy-backports: http://packages.ubuntu.com/hardy-backports/

[ Voor 3% gewijzigd door Seth4Chaos op 02-02-2010 10:12 ]