[FreeBSD] Netwerk performance (GE)

[RupS]

Ik haal op FreeBSD machines (met verschillende gigabit ethernet kaarten) nooit meer dan ongeveer 600Mbit. Ik vind dit apart vooral omdat FreeBSD vaak wordt geroemd om de TCP/IP stack.
De testjes zijn wat eenzijdig, namelijk bandwidth testen met netperf en iperf.
De machines die ik heb geprobeerd zijn verschillende Dell servers (PE 750, SC1425, PE1750) en een paar zelfbouw machines.
Onder Linux (kernel 2.6.x) haal ik wel ongeveer (op dezelfde hardware) 1Gbit... (980Mbit)
Op aanraden heb ik device polling aangezet in de kernel, echter nadat ik dat aanzette haalde ik niet meer dan ~240Mbit
De tests zijn vrjiwel allemaal uitgevoerd op FreeBSD 5.4, maar een enkele test op 5.3 en 6.0 gaf hetzelfde resultaat.

Heeft er iemand ervaring met FreeBSD en Gbit netwerksnelheden? Ik vind het heel raar dat ik _nooit_ boven de 640Mbit kom....

[Vinnienerd]

Hoe test je precies? Op basis van HD throughput oid?

[RupS]

Nee, want dan zou ik redelijk dappere schijven moeten hebben om 1Gbit te halen
Zoals ik al zei gebruik tooltjes als netperf en iperf om te testen. Die testen de throughput vanuit memory....

Wat ik ook nog geprobeerd heb:

net.inet.tcp.rfc1323: 1 (uit en aan gezet)
net.inet.tcp.rfc1644: 0 (uit en aan gezet)
net.inet.tcp.sendspace: 32768 (vergroot in stappen tot 131072)
net.inet.tcp.recvspace: 65536 (idem)

en nog een paar kernel settings, op beide machines waar ik tussen test... dit heeft echter geen, of een negatief effect... dus de standaard settings lijken al redelijk "optimaal"

[ Voor 49% gewijzigd door RupS op 18-01-2006 19:06 ]

[serkoon]

Misschien helpt http://www.os3.nl/~pieter/verslag.pdf ?

[alx]

Het is normaal dat je 1 Gb niet haalt, maar dat je dat onder Linux wel haalt met dezelfde hw, tests, ed, geeft te denken. Misschien ligt het niet aan de TCP/IP driver maar aan de driver van de netwerkkaart. Heb je jumbopackets aangezet? Stond dat aan onder Linux?

[RupS]

serkoon schreef op woensdag 18 januari 2006 @ 20:52:
Misschien helpt http://www.os3.nl/~pieter/verslag.pdf ?

Mooi pdfje, thanks!
De tweaks die daar in staan heb ik al geprobeerd, zonder al te veel resultaat. Het lijkt wel alsof de instellingen voor deze tests nauwelijks invloed hebben.

Dat jumbo packets verhaal moet ik naar kijken... ik weet dat het iets is met grotere MTU...en zo... maar dat wordt nog even googlen

[RupS]

Ik heb "Jumbo Frames" aangezet in BSD:

code:

ifconfig em1 mtu 9000

echter precies dezelfde waardes. Om de switch uit te sluiten probeer ik het nu met een cross cable, maar dat helpt ook niet...

[serkoon]

RupS schreef op donderdag 19 januari 2006 @ 09:04:
Mooi pdfje, thanks!
De tweaks die daar in staan heb ik al geprobeerd, zonder al te veel resultaat. Het lijkt wel alsof de instellingen voor deze tests nauwelijks invloed hebben.

Dat jumbo packets verhaal moet ik naar kijken... ik weet dat het iets is met grotere MTU...en zo... maar dat wordt nog even googlen

Probeer inzichtelijk te krijgen waar de bottleneck lijkt te liggen. Onder andere netstat kan je daarmee helpen. Als er bijv. interface-errors zijn, zal de snelheid snel inzakken. Probeer ook alles wat je probeert goed te documenteren, alleen dan kun je goed weten welke settings welk effect hebben. Als je dat soort dingen niet goed bijhoudt, wordt het in no-time een puinzooi

[RupS]

Ik heb nu op de machines HT uitgezet, en ik haal nu 997Mbit $%#%
Blijkbaar is de HT implementatie op FreeBSD niet erg goed.

Nog sterker: op een PowerEdge 1425 haalde ik maar 30Mbit met de nieuwste BSD's (bugje?), nu HT uitstaat daar ook >900Mbit.

[serkoon]

RupS schreef op maandag 30 januari 2006 @ 14:34:
Ik heb nu op de machines HT uitgezet, en ik haal nu 997Mbit $%#%
Blijkbaar is de HT implementatie op FreeBSD niet erg goed.

Nog sterker: op een PowerEdge 1425 haalde ik maar 30Mbit met de nieuwste BSD's (bugje?), nu HT uitstaat daar ook >900Mbit.

HT is voor vrijwel geen enkele workload nuttig en kun je dus beter ook gewoon uitschakelen. In 6 is het standaard uitgezet vanwege een security issue(tje) ermee. Het gare is dat je OS er expliciet rekening mee moet houden in scheduling ed. Blijkbaar is de TCP/IP-stack bij uitstek ongeschikt voor HT

Wel handig om even te weten..

[BHQ]

HT werkt idd. niet geweldig en kan idd. dus uitgelaten worden tenzij het blijkt dat het -echt- voordeel heeft, en da's gewoon bijna niet.

[RupS]

Nu ging ik er dus vanuit dat FreeBSD het standaard uitzet. Ik kan de bron zo 1-2-3 niet vinden, maar het was iets over de tweede logische CPU die standaard niet ingezet wordt. Blijkbaar is dit dus toch niet voldoende. Nu ik het in de BIOS heb uitgezet zie ik pas het gewenste resultaat. In ieder geval blij dat e.e.a. duidelijk is nu