[Debian] Netwerk Performance probleem

[Dubbeldrank]

Ik draai op m'n server Debian Sarge met een 2.6.8 i686 stock kernel en heb ProFTPD 1.2.10 als FTP daemon draaien, het moederbord is een Asus P4C800-E Deluxe (Intel 875P Chipset) Het probleem is het volgende, als ik up- of download naar de server haal ik een snelheid tussen de 2,5MB en de 3,5MB per seconde wat erg laag is voor een 100mbit verbinding. Uit demsg kan ik opmaken dat de netwerkkaart gewoon herkend wordt.

demsg

code:

e1000: eth0: e1000_probe: Intel(R) PRO/1000 Network Connection
e1000: eth0: e1000_watchdog: NIC Link is Up 100 Mbps Full Duplex

Dan ga je verder zoeken en kom je bij het volgende punt, de harde schijf. Dit is een 74GB WD Raptor. dmesg zegt hetvolgende:

demsg

code:

SCSI subsystem initialized
libata version 1.02 loaded.
ata_piix version 1.02
ACPI: PCI interrupt 0000:00:1f.2[A] -> GSI 18 (level, low) -> IRQ 193
PCI: Setting latency timer of device 0000:00:1f.2 to 64
ata1: SATA max UDMA/133 cmd 0xEFE0 ctl 0xEFAE bmdma 0xEF90 irq 193
ata2: SATA max UDMA/133 cmd 0xEFA0 ctl 0xEFAA bmdma 0xEF98 irq 193
ata1: dev 0 cfg 49:2f00 82:74eb 83:7f63 84:4003 85:74e9 86:3c43 87:4003 88:207f
ata1: dev 0 ATA, max UDMA/133, 145226112 sectors: lba48
ata1: dev 0 configured for UDMA/133
scsi0 : ata_piix
ata2: SATA port has no device.
scsi1 : ata_piix
Using anticipatory io scheduler
  Vendor: ATA       Model: WDC WD740GD-00FL  Rev: 21.0
  Type:   Direct-Access                      ANSI SCSI revision: 05

Ziet er naar mijn idee prima uit dus heb ik de snelheid van de schijf getest en dat ziet er ook keurig uit.

hdparm

code:

/dev/sda:
 Timing cached reads:   3820 MB in  2.00 seconds = 1909.34 MB/sec
 Timing buffered disk reads:  206 MB in  3.02 seconds =  68.20 MB/sec

Ik heb de proftpd.conf helemaal nagelopen, de virtual server heb ik verwijderd en draai op global settings om zoveel mogelijk uit te kunnen sluiten. Er staat nergens een limiet op en kon ook niets vinden van dien aard, zelfs een standaard configfile met alleen de basisinstellingen bracht geen soelaas.

Ik heb hier nog een oude Pentium 3 staan die vervangen is door de huidige server, na aansluiten en testen bereikt deze wel een snelheid van tussen de 10MB en 11MB, een correcte snelheid dus voor een 100mbit verbinding. Het overzetten van de proftpd.conf van de oude naar de nieuwe server gaf helaas geen beter resultaat. Het verwijderen van ProFTPD en de configfiles en daarna een herinstallatie van ProFTPD is ook reeds gedaan zonder effect.

De kernels van zowel de oude als de nieuwe machine zijn gelijk. Ik heb de FAQ van ProFTPD doorgezocht maar kon helaas niet een dergelijk probleem vinden en dus ook geen antwoord. Zoeken via google gaf me evenmin het gewenste resultaat. Kortom, ik zit een beetje met mijn handen in het haar. Iemand een idee?

[ Voor 2% gewijzigd door Dubbeldrank op 12-11-2005 14:47 . Reden: aanpassing van de tekst ]

[eamelink]

Wat is de doorvoer van bijvoorbeeld apache? Dan kan je kijken of het aan proftpd ligt of aan je netwerk.

[Dubbeldrank]

eamelink schreef op zaterdag 12 november 2005 @ 14:46:
Wat is de doorvoer van bijvoorbeeld apache? Dan kan je kijken of het aan proftpd ligt of aan je netwerk.

Daar heb je een goed punt, ik heb het net getest. Het ligt dus inderdaad aan de netwerkkaart, ik behaal dezelfde snelheden over http. Komende tot deze conclusie vrees is dat er helaas niets anders opzit dan een nieuwere kernel te pakken en die zelf te compilen, of valt er nog het een en ander aan te schroeven?

-edit-
Ik blijf het liefst stable draaien.

[ Voor 5% gewijzigd door Dubbeldrank op 12-11-2005 14:55 ]

[0siris]

misschien heb je ook wat aan jumbo-frames? Volgens mij ondersteunt je netwerkkaart dat wel.
Hier vind je er meer over, hier wat benchmarks.
<edit> je kernelversie zegt verder weinig over of je stable of testing draait, ik draai op mijn server ook een custom kernel, en dan gewoon stable.
<edit2> nog wat parameters die ik zelf heb toegevoegd aan /etc/proftd.conf:(ik weet van sommige al niet meer waarom ik ze heb toegevoegd )

code:

UseReverseDNS   off
IdentLookups    off
DefaultRoot                     /home
MaxClientsPerHost               15       "Sorry, 15 max."
ServerIdent                     on " "
<IfModule mod_auth_pam.c>
    AuthPAM off
</IfModule>
AllowOverride off
WtmpLog off

[ Voor 113% gewijzigd door 0siris op 12-11-2005 15:14 ]

[Dubbeldrank]

0siris schreef op zaterdag 12 november 2005 @ 15:04:
misschien heb je ook wat aan jumbo-frames? Volgens mij ondersteunt je netwerkkaart dat wel.
Hier vind je er meer over, hier wat benchmarks.
<edit> je kernelversie zegt verder weinig over of je stable of testing draait, ik draai op mijn server ook een custom kernel, en dan gewoon stable.
<edit2> nog wat parameters die ik zelf heb toegevoegd aan /etc/proftd.conf:(ik weet van sommige al niet meer waarom ik ze heb toegevoegd )

code:

UseReverseDNS   off
IdentLookups    off
DefaultRoot                     /home
MaxClientsPerHost               15       "Sorry, 15 max."
ServerIdent                     on " "
<IfModule mod_auth_pam.c>
    AuthPAM off
</IfModule>
AllowOverride off
WtmpLog off

Mijn config zag er op die punten hetzelfde uit, wat ik ga proberen is de nieuwste driver van Intel als module installeren. Jumbo frames houdt dus in dat je je MTU opschroeft naar een hogere waarde, op zich wel leuk en aardig maar je houdt jezelf dan een beetje voor de gek voor mijn gevoel. Op een MTU van 1500 hoort het ook gewoon te werken.

[0siris]

Dubbeldrank schreef op zaterdag 12 november 2005 @ 15:28:
Jumbo frames houdt dus in dat je je MTU opschroeft naar een hogere waarde, op zich wel leuk en aardig maar je houdt jezelf dan een beetje voor de gek voor mijn gevoel. Op een MTU van 1500 hoort het ook gewoon te werken.

Klopt dat het gewoon hoort te werken. "Jumbo frames" zou daarbovenop meer performance moeten bieden. Maar als die performance om wat voor reden dan ook uitblijft, kan het je wellicht ook zo al helpen. Performance is performance, daar is weinig voor-de-gek-houderij bij IMHO.

[Dubbeldrank]

0siris schreef op zaterdag 12 november 2005 @ 15:35:
[...]

Klopt dat het gewoon hoort te werken. "Jumbo frames" zou daarbovenop meer performance moeten bieden. Maar als die performance om wat voor reden dan ook uitblijft, kan het je wellicht ook zo al helpen. Performance is performance, daar is weinig voor-de-gek-houderij bij IMHO.

Daar heb je gelijk in, na het enig lezen kwam ik er achter dat de driver op de page die je gaf alleen voor de 2.4 kernel is helaas. Ik ga eens aan de slag met die jumbo frames.

[Wirf]

Je kunt misschien ook vsftpd proberen ipv proftpd. Die is in mijn ervaring een stuk sneller.

Verder lijkt mij die netwerkkaart ook vrij nieuw, het kan zijn dat die nog niet helemaal 100% ondersteund. Je kunt een nieuwe kernel proberen (2.6.8 is wel vrij oud) en als het helemaal niet gaat kun je een nieuwe netwerkkaart proberen. Voor 100mbit ben je volgens mij nog het beste uit met een 3com 3c905c

[Dubbeldrank]

Wirf schreef op zaterdag 12 november 2005 @ 15:50:
Je kunt misschien ook vsftpd proberen ipv proftpd. Die is in mijn ervaring een stuk sneller.

Verder lijkt mij die netwerkkaart ook vrij nieuw, het kan zijn dat die nog niet helemaal 100% ondersteund. Je kunt een nieuwe kernel proberen (2.6.8 is wel vrij oud) en als het helemaal niet gaat kun je een nieuwe netwerkkaart proberen. Voor 100mbit ben je volgens mij nog het beste uit met een 3com 3c905c

Ik heb nog een dergelijk 3Com kaartje liggen, als het echt niet lukt is dat nog een optie. ProFTPD heeft mijn voorkeur, de snelheid tussen beide zal weinig verschillen denk ik. Mijn oude P3 kan wel 11MB per seconde halen dus een andere FTP daemon nemen is onzin, zeker als de netwerkkaart het probleem is. Zo te zien herkend de kernel de kaart prima, misschien dat de driver verouderd is en er al een nieuwere is. Aangezien ik een stockkernel gebruik wordt alles als module geladen dus een module vervangen door een nieuwere is wel te doen en staat op de intel site omschreven.

[0siris]

Wirf schreef op zaterdag 12 november 2005 @ 15:50:
Je kunt misschien ook vsftpd proberen ipv proftpd. Die is in mijn ervaring een stuk sneller.

"we" hadden al vastgesteld dat http verkeer even snel is, dus de kans dat net aan de netwerkadapter ligt, is vrij groot

[Wirf]

0siris schreef op zaterdag 12 november 2005 @ 16:50:
[...]

"we" hadden al vastgesteld dat http verkeer even snel is, dus de kans dat net aan de netwerkadapter ligt, is vrij groot

Maar toch is vsftpd sneller (in mijn tests in ieder geval) en we zitten hier op tweakers.net toch? een beetje extra performance kan nooit kwaad

kernel.org (ken je vast wel) heeft bijvoorbeeld dit op de voorpagina staan:

May 26, 2004: vsftpd is now serving ftp... We should have done this sooner...

Maar het is maar een tip, doe ermee wat je wil

[ Voor 6% gewijzigd door Wirf op 14-11-2005 14:48 ]

[Dubbeldrank]

Het verhaal neemt nu toch wel een aparte wending, ik heb een kernel uit testing gepakt 2.6.12. Dit loste het probleem niet op, nog steeds 2,5 a 3,5MB/sec datatransfer via http en ftp. Ik was het zat en heb er net een 3Com 3C905C kaartje in gezet om zo het probleem met de netwerkkaart uit te sluiten.

Het gekke is nu dat ik nu nog steeds dezelfde beroerde snelheid haal, waar kan het dan aan liggen? De snelheid van de schijf is prima in orde en de netwerkkaart is vervangen. Raar probleem...

-edit-
Misschien dat een mod even de titel aan kan passen, ProFTPD vervangen door Netwerk.

[ Voor 9% gewijzigd door Dubbeldrank op 15-11-2005 19:52 . Reden: toevoeging ]

[Verwijderd]

Ik zou als ik jou was even met een tool als ethereal kijken als je een ftp sessie start.

[DJ Buzzz]

Waarom heb ik nog niemand gehoord over o.a. de bekabeling en de switch/hub die het probleem kunnen zijn? Wij hebben hier in huis nu een gigabit netwerk liggen, daarvoor moesten een aantal stekkertjes even er opnieuw aangezet worden omdat er anders maar een 100mbit link gehaald werd. Ook de snelheid was voor het gigabit niet om over naar huis te schrijven, maar dat kwam dus door de kabels/stekkers. Ik zou dus zeggen, probeer eens een andere kabel of een cross cable direct tussen het systeem en een client.

[Dubbeldrank]

Verwijderd schreef op dinsdag 15 november 2005 @ 22:47:
Ik zou als ik jou was even met een tool als ethereal kijken als je een ftp sessie start.

Waar zou ik naar moeten kijken?

[Dubbeldrank]

djbuzzz schreef op dinsdag 15 november 2005 @ 22:56:
Waarom heb ik nog niemand gehoord over o.a. de bekabeling en de switch/hub die het probleem kunnen zijn? Wij hebben hier in huis nu een gigabit netwerk liggen, daarvoor moesten een aantal stekkertjes even er opnieuw aangezet worden omdat er anders maar een 100mbit link gehaald werd. Ook de snelheid was voor het gigabit niet om over naar huis te schrijven, maar dat kwam dus door de kabels/stekkers. Ik zou dus zeggen, probeer eens een andere kabel of een cross cable direct tussen het systeem en een client.

De oude server haalt over dezelfde kabel wel 11MB per seconde, dus de bekabeling en de switch zit wel goed.

[Coen Rosdorff]

Je kan eens met 'iperf' aan de gang gaan. Dan kan je puur de snelheid van je netwerk testen.

[Dubbeldrank]

little_soundman schreef op woensdag 16 november 2005 @ 02:17:
Je kan eens met 'iperf' aan de gang gaan. Dan kan je puur de snelheid van je netwerk testen.

Goede tip, ik ben meteen even aan de slag gegaan met hetvolgende resultaat:

code:

------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[  4] local 192.168.1.4 port 5001 connected with 192.168.1.2 port 1282
[  4]  0.0-10.0 sec    113 MBytes  94.5 Mbits/sec

Het ziet er dus naar uit dat de verbinding toch wel degelijk 100mbit capaciteit heeft. Maar dan begrijp ik niet waarom ik zulke slechte overdrachtsnelheden heb.

[ Voor 6% gewijzigd door Dubbeldrank op 16-11-2005 16:50 ]

[0siris]

Wirf schreef op maandag 14 november 2005 @ 14:47:
[...]Maar toch is vsftpd sneller (in mijn tests in ieder geval) en we zitten hier op tweakers.net toch? een beetje extra performance kan nooit kwaad

Ik weet het, maar als zowel ftp als http verkeer dezelfde snelheid levert, ligt het zeer waarschijnlijk niet aan de ftp daemon

kernel.org (ken je vast wel) heeft bijvoorbeeld dit op de voorpagina staan:May 26, 2004: vsftpd is now serving ftp... We should have done this sooner... Maar het is maar een tip, doe ermee wat je wil

Waarschijnlijk stort vsftp wat minder in onder de enorme load die het daar te verwerken krijgt.
Maar inmiddels lijkt het me meer een kabelprobleem dan een linuxprobleem, maar bovenstaande post spreekt dat weer tegen, nu snap ik het niet meer

[ Voor 5% gewijzigd door 0siris op 19-11-2005 10:56 ]

[Dubbeldrank]

0siris schreef op zaterdag 19 november 2005 @ 10:55:
nu snap ik het niet meer

Tja, dat gevoel heb ik nou ook