[Ubuntu router] Traag bij enkele connectie, snel bij meer

[Milenco]

Allereerst mijn excuses voor de vage topictitel,het probleem doet er qua vaagheid niet aan onder.

Onlangs heb ik een Ubuntu server (9.10) ingericht om taken van verschillende PC's hier te ontlasten maar met als hoofdfunctionaliteit router. Dit werkt inmiddels redelijk goed: DHCP en DNS servers draaien, IP masquerading werkt en ook poorten worden correct geforward. Het probleem wat zich voordoet bevindt zich echter in de verbinding tussen de Ubuntu server en de modem:

Wanneer ik vanaf de router een wget opdracht geef om een speedtest uit te voeren (gebruik verschillende sites, voornamelijk speedtest.bbned.nl), blijft de verbinding steken op zo'n 100KB/s. Vaak schommelt het tussen de 75 en 150KB/s. Dit terwijl de capaciteit van mijn internetverbinding 35Mbit bedraagt in beide richtingen.

Wanneer ik echter een 2de wget sessie opstart, schieten de downloadsnelheden van beide wgets omhoog naar zo'n 300KB/s. Extra wget sessies leveren hogere snelheden op voor alle sessies. Het gedrag op de PC's die via de Ubuntu router met internet zijn verbonden is hetzelfde. (Enkele verbinding is traag, torrents vliegen binnen).

Ook wanneer ik enkel op de Ubuntu router een testdownload aanzet (de andere PC's hebben dan dus 0 internetactivteit) blijft deze steken rond de 100KB/s, totdat ik vanaf mijn PC een upload aanzet naar de Ubuntu router (dus niet naar internet). Het gevolg: Tijdens het uploaden schiet de wget snelheid omhoog naar 4MB/s. Wanneer de upload klaar is, dropt de snelheid weer naar ~100KB/s.

Beide netwerkkaarten in de router functioneren naar behoren. Wanneer ik ze beide aansluit op LAN, haal ik met beide een constante snelheid van 10.5MB/s met een enkele connectie (getest mbv wget naar een lokale webserver).

Met één van de twee netwerkkaarten verwijderd doet het probleem zich ook voor: Een enkele connectie is traag, bij meerdere connecties schieten ze allemaal omhoog. Met beide van de netwerkkaarten doet dit probleem zich voor. Het probleem lijkt dus niet aan de NIC's of aan iptables te liggen.

Nodeloos om te zeggen: Wanneer de modem rechtstreeks met de PC is verbonden haalt deze met een single connectie zonder problemen de maximale doorvoersnelheid.

Gevolg hiervan: Wanneer niemand in huis op internet zit en ik zet een download aan van bijv. T.net, haal ik nauwelijks snelheden boven de 100KB/s. Torrents daarentegen vliegen zonder problemen met 4MB/s binnen, waarbij ik op sommige peers ook snelheden van 1MB/s haal. Tijdens het torrenten schiet dan ook de download van T.net omhoog. Ergo: Dit is de eerste keer dat internet daadwerkelijk sneller wordt wanneer ik torrents aanzet.

Uploaden lijkt trouwens geen probleem te zijn. Wanneer m'n internetverbinding idle is en iemand zet van buitenaf een download aan vanaf mijn webserver haalt deze ook snelheden tot 4MB/s.

Het lijkt dus puur aan de verbinding vanaf de Ubuntu router naar de modem te liggen en enkel downloads zijn het probleem.

Ik zit met m'n handen in m'n haar. Mijn kennis van Linux is niet dusdanig dat ik exact weet waar ik het moet zoeken, vandaar dat ik mijn heil op GoT zoek. Dit is veruit het vreemdste probleem wat ik so far ben tegengekomen, maar vermoed dat er vast een heel logische oplossing achter zit. Maargoed, voor die gevonden is...

Mogelijke relevante gegevens:

code:

milenco@Mantis:/etc/init.d$ ifconfig
eth0      Link encap:Ethernet  HWaddr 00:16:d3:42:f0:66
          inet addr:85.113.252.mijnip  Bcast:85.113.255.255  Mask:255.255.252.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:179277099 errors:679990 dropped:1120914 overruns:679979 frame:0
          TX packets:151548976 errors:0 dropped:0 overruns:4 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1885777993 (1.8 GB)  TX bytes:1341546149 (1.3 GB)
          Interrupt:20 Base address:0x3000

eth1      Link encap:Ethernet  HWaddr 00:24:01:60:c3:af
          inet addr:10.0.0.1  Bcast:10.0.0.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:151487271 errors:132729 dropped:242138 overruns:129528 frame:0
          TX packets:179120048 errors:0 dropped:0 overruns:10 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1330386943 (1.3 GB)  TX bytes:1853411714 (1.8 GB)
          Interrupt:22 Base address:0x3400

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:14700156 errors:0 dropped:0 overruns:0 frame:0
          TX packets:14700156 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:2730085618 (2.7 GB)  TX bytes:2730085618 (2.7 GB)

code:

milenco@Mantis:/etc/init.d$ route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.0.0.0        0.0.0.0         255.255.255.0   U     0      0        0 eth1
85.113.252.0    0.0.0.0         255.255.252.0   U     0      0        0 eth0
0.0.0.0         85.113.252.1    0.0.0.0         UG    100    0        0 eth0
0.0.0.0         10.0.0.1        0.0.0.0         UG    100    0        0 eth1

_{Met het verwijderen van de onderste default gateway wordt hetzelfde resultaat bereikt}

Zoals gezegd is mijn truckendoos leeg. Ik hoop dat jullie nog suggesties op oplossingen aan kunnen dragen.

[donny007]

Ubuntu server is niet erg geschikt als firewall/router/DHCP/DNS, je kunt beter een dedicated router maken met een OS als PFsense of m0n0wall (FreeBSD), zeker als je de vereiste Linux skills niet hebt.

Ik had ongeveer hetzelfde probleem toen ik het met Ubuntu probeerde, ik heb een 100/100MB glasvezel lijn en ik haalde amper 300k, nu heb ik PFsense geïnstalleerd, alles is makkelijk vanuit een web interface te configureren en ik haal 92/89 MB.

[Milenco]

Ik begrijp dat een dedicated router/firewall een verstandiger keus is. Heb in de eerste instantie ook zitten kijken naar (inderdaad) m0n0wall en later PFsense (wat meer is bedoelt voor PC-hardware). De keus om toch voor Ubuntu te gaan is de noodzaak van andere diensten die op de machine draaien. Ik draai onder andere een LAMP-server en enkele gameservers. PFsense heeft niet echt de mogelijkheid om (gemakkelijk) extra software te installeren.

De reden hiervoor is me ook goed duidelijk: Het is architectuur-technisch absoluut niet slim om andere services op je router te draaien. Echter is het 24/7 laten draaien van meerdere machines hier in huis niet echt een optie, voornamelijk vanwege de stroomkosten. Ik accepteer dus de mogelijke veiligheidsrisico's die bij mijn oplossing komen. Daarnaast heb ik al behoorlijk wat tijd gestopt in het configureren van de Ubuntu machine (waaronder een kleine webinterface om de voor mij noodzakelijke zaken in te kunnen stellen), waardoor ik graag een oplossing zie voor de huidige configuratie.

PFsense zie ik opzich wel als oplossing, maar het staat wel op het lijstje als laatste oplossing. Heb liever dat ik het zo werkend krijg.

[donny007]

Je zou kunnen overwegen om 2 Atom machines te maken (ivm stroomkosten), 1 als router (PFsense) en 1 als game/LAMP (Ubuntu) server, zo heb ik het ook gedaan, draait als een zonnetje.

Met je onveilige ubuntu oplossing ga je niet erg ver komen, als je een cheater bant op je gameserver kan hij zomaar is wat exploits vinden in je Ubuntu gevalletje, met alle gevolgen van dien.

Een laatste optie is natuurlijk gewoon een router kopen en de server er achter zetten

[Milenco]

Nogmaals, voorlopig is dat geen oplossing. Voor de kosten die ik kwijt ben aan aan 2 Atom machines kan ik net zo goed mn oude situatie behouden, aangezien ik pas na een paar jaar de kosten van die Atoms eruit ga halen. Een reguliere router is vanwege mijn vele eisen ook geen optie, alternatieven als OpenWRT/DD-WRT lopen vast of halen nodig niet benodigde bandbreedte.

Een cheater op zoek naar exploit neem ik dan ook voor lief, hoewel ik betwijfel hoe ver die gaat komen met een goed afgestelde iptables configuratie.

Ik zie zelf genoeg alternatieven om het draaiende te krijgen, echter zijn met alle oplossingen geld of veel werk gemoeid. Waar het mij om gaat is een oplossing voor het probleem in de huidige configuratie, anders had ik dit topic ook niet hoeven openen.

[donny007]

Wat voor eisen stel je aan je router? Linksys is sowieso nooit een goede optie als je om stabiliteit vraagt, de WRT320N liep iedere dag vast, maar bijv de Netgear WNDR3700 is een super stabiele router die hele hoge throughput aankan zonder te crashen.

Voor je huidige situatie zie ik niet zo 1,2,3 een oplossing, Google geeft ook weinig tips, dus ik denk dat het een configuratie fout is, of gewoon het feit dat Ubuntu er niet geschikt voor is.

En geloof me, de WNDR3700 is zijn geld meer dan waard, en uiteindelijk veiliger en sneller dan deze oplossing met als extra dat je ook super snelle Dualband N WiFi hebt.

[ Voor 13% gewijzigd door donny007 op 11-11-2009 21:33 ]

[Milenco]

Bedankt voor de moeite die je neemt, maar een standaard router is (nogmaals..) gewoon geen optie. Naast SNMP, het forwarden van zo'n 30-40 verschillende poorten, OpenVPN client (die dus ook tot 4MB/s kan encrypten (DD-WRT blijft bijv. steken op 300KB/s)) wil ik dus ook die o.a. LAMP- en gameserver erop hosten.

Misschien kan dit topic beter gesloten worden en moet ik een nieuwe openen in NOS, want de routerfunctionaliteit is in deze kwestie een complete bijzaak. Als ik de machine als gewone 'client' gebruik met maar één netwerkkaart rechtstreeks aangesloten op de modem doet het probleem zich ook voor. Het hele routerverhaal (en alle goedbedoelde suggesties die daarbij komen kijken) staat los van het concrete probleem.

[d1ng]

Heb je iptables gebruikt om alles te regelen ?

Zo ja, hoe ziet de configuratie eruit ?

[donny007]

Ik weet het, ik blijf taai, maar als je zulke redelijk hoge eisen stelt aan je netwerk is de investering in een dedicated m0n0wall/PFsense router het wel waard, ondanks de stroomkosten en de kosten van een PCtje.

[Milenco]

d1ng schreef op woensdag 11 november 2009 @ 22:11:
Heb je iptables gebruikt om alles te regelen ?

Zo ja, hoe ziet de configuratie eruit ?

IPtables staat inderdaad ingesteld, maar de configuratie is irrelevant. Immers, zonder IPtables te gebruiken doet het probleem zich ook voor, met de machine ingesteld als 'normale pc' direct achter een modem.

donny007 schreef op woensdag 11 november 2009 @ 22:25:
Ik weet het, ik blijf taai, maar als je zulke redelijk hoge eisen stelt aan je netwerk is de investering in een dedicated m0n0wall/PFsense router het wel waard, ondanks de stroomkosten en de kosten van een PCtje.

Ik blijf net zo taai. Het _zou_ gewoon moeten werken onder Ubuntu. Voor mij is de investering van een extra PC en de benodigde stroomkosten het niet waard. Pas als na lang (heel lang) proberen het niet werkt in deze configuratie, wil ik zulke oplossingen pas overwegen.

[d1ng]

Hoe bedoel je precies 'zonder' iptables te gebruiken ?
Als hij ingesteld staat dan werkt hij, ook als je maar 1 netwerkkaart gebruikt.

Ik denk dat je toch daar moet beginnen met zoeken, daar komen je pakketjes immers als eerste

[Milenco]

Wat ik bedoel is iptables dusdanig ingesteld dat alles door wordt gelaten:

Chain INPUT (policy ACCEPT)
target prot opt source destination

Chain FORWARD (policy ACCEPT)
target prot opt source destination

Chain OUTPUT (policy ACCEPT)
target prot opt source destination

Heb voordat ik heb getest met een enkele netwerkkaart dus alle policy's en regels geflushed.

[ Voor 12% gewijzigd door Milenco op 11-11-2009 23:27 ]

[Milenco]

Na wat meer zoekwerk lijkt het probleem in de modem te zitten. Wanneer ik een extra router tussen m'n modem en de ubuntu router prik haal ik constante downloadsnelheden (rond de 3MB/s, router is niet zo snel). Wanneer Ubuntu rechtstreeks met de router is verbonden kakt de snelheid in naar 100KB/s, totdat er meerdere connecties worden opengezet.

Het betreft een Genexis glasvezel modem van Concepts ICT. Ik ga maar even contact opnemen met Genexis omtrent dit probleem...

[arie_papa]

Misschien een domme vraag, maar had je dit probleem ook met voorgaande versies van Ubuntu?
Misschien is het mogelijk om hetzelfde te testen met 8.04 LTS?

Ik ben verre van expert, maar mijn onderbuik gevoel zegt me iets in de richting van QoS? Geen idee of dit standaard ingericht is bij Ubuntu

Daarnaast zou je misschien eens kunnen kijken of ipv6 roet in het eten gooit. Ik heb die hier in de kernel uitgeschakeld om nog een beetje normaal te kunnen browsen met 9.10 64bit. Voorheen was alleen het laden van een pagina zoals www.google.nl huilen met de pet op.

Sorry, kan je hier niet echt veel nuttige input geven.
Ben benieuwd naar de oplossing.

[Milenco]

skinlee78 schreef op donderdag 12 november 2009 @ 14:48:
Misschien een domme vraag, maar had je dit probleem ook met voorgaande versies van Ubuntu?
Misschien is het mogelijk om hetzelfde te testen met 8.04 LTS?

Ik ben verre van expert, maar mijn onderbuik gevoel zegt me iets in de richting van QoS? Geen idee of dit standaard ingericht is bij Ubuntu

Daarnaast zou je misschien eens kunnen kijken of ipv6 roet in het eten gooit. Ik heb die hier in de kernel uitgeschakeld om nog een beetje normaal te kunnen browsen met 9.10 64bit. Voorheen was alleen het laden van een pagina zoals www.google.nl huilen met de pet op.

Sorry, kan je hier niet echt veel nuttige input geven.
Ben benieuwd naar de oplossing.

M'n eerdere post dat het aan de combinatie Ubuntu/Genexis modem ligt klopt toch niet helemaal, kwam ik vannacht (toen ik in bed er nog even over aan het piekeren was) achter. Immers: Met een single connectie naar de modem gaat het wél goed wanneer ik intern iets naar de Ubuntu-bak kopieer. Ik ga nu inderdaad testen of het probleem aan Ubuntu ligt of aan m'n hardware. Ben nu een Ubuntu desktop Live-CD aan het branden om even te testen op de bak zelf en met wat andere hardware. I'll keep you posted.

IPv6 had ik overigens al uitgezet in de kernel (met behulp van Grub) maar dat mocht helaas ook niets baten. Overigens gebruik ik de 32bit versie van Ubuntu Server.

[Milenco]

Het probleem lijkt inmiddels opgelost te zijn. Na flink wat test en zoekwerk bleek het uiteindelijk toch aan één van de netwerkkaarten te liggen. Met de betreffende kaart volledig uitgeschakeld (vanuit de BIOS) werkte de andere netwerkkaart wel goed. Met een Ubuntu LiveCD deed het probleem zich nog steeds voor met de betreffende kaart. Omdat het een laptop betrof waarbij de NIC niet gemakkelijk kon worden vervangen ben ik overgestapt naar een ander systeem welke direct probleemloos werkte.

In ieder geval bedankt voor de suggesties hier.