HTTP erg traag, HTTPS, torrents en speedtests wel snel

[Verwijderd]

Sinds kort heb ik 400/40 internet van Ziggo, met de Ziggo modem/router in bridge mode. Hiervoor was het 300/30. Mijn vorige router kon de nieuwe snelheid niet meer aan en ik heb sindsdien een nieuwe router ingericht m.b.v. pfSense en een microPC met een Celeron J1900 processor. Deze opstelling werkt prachtig, maar ik heb ook een heel vreemd issue.

Ik heb de pfSense router aan het Ziggo modem hangen, gebruikmakend van DHCP. Ik moet een MAC-adres spoofen om een IP-adres te krijgen, maar dat is niet nieuw voor mij, dat was met de vorige router ook al zo en daar spoofde ik het zelfde MAC-adres. Wat ik wel zie is dat de MTU op 1472 moet worden gezet, de grootste ping die ik kan doen is een ping van 1444 bytes (onder Linux: ping -s 1444 8.8.8.8). Voeg ik nog één byte toe, dan krijg ik geen enkele respons terug. Of dit ook al zo was toen ik nog op 300 Mbit/s zat met mijn vorige router weet ik niet.
Ik heb zowel aan WAN als LAN zijde deze MTU van 1472 ingesteld en ik heb de DHCP server op de pfSense router zo ingesteld dat deze DHCP-optie 26 voor interface MTU op 1472 zet. DHCP clients in mijn netwerk krijgen op die manier ook keurig een MTU van 1472 bytes. Dit heb ik getest met mijn Linux clients en dat werkt goed. Ook het kijken naar full HD content op Netflix op mijn TV gaat uitstekend en bekijken van Youtube filmpjes gaat ook prima zonder haperen op mijn TV sinds ik MTU=1472 heb ingesteld.

Doe ik op mijn Linux PC (Ubuntu 14.04) een speedtest van Ziggo of KPN, dan heb ik volle bak snelheid (380 ... 410 Mbit/s download, 40 ... 41 Mbit/s upload).
Doe ik echter een apt-get van een grote package, dan zie ik slechts een snelheid van 2,7 MByte per second (ca. 22 Mbit/s). Ook het downloaden van bestanden gaat traag, ook max. 2,7 Mbyte/s.

Via http://download.xs4all.nl/test kun je allrerlei bestanden downloaden van een bepaalde grootte, met namen als 100MB.bin, 1GB.bin, 10GB.bin enz. Ideaal voor speedtests. Deze site kan ook via https worden benaderd. Ik heb vervolgens hier mee getest met onderstaand resultaat:

Download van file via HTTP vanuit Firefox: 2,7 MByte/s, strak altijd zelfde resultaat
Download van file via HTTP m.b.v. wget commandline tool: 2,67 MByte/s, ook strak, altijd zelfde resultaat
Download van file via HTTPS van Firefox: fluctuerend resultaat tussen 30 en 40 MByte/s.
Download van file via HTTPS m.b.v. wget: fluctuerend tussen 40 en 48 MByte/s
Download van een (illegale? ) film van torrent m.b.v. KTorrent programma: ca. 20 MByte/s
Speedtest KPN: 400 Mbit/s down, 41 Mbit/s up, ping 11 ms.

Met de hand een ping-commando op 8.8.8.8 levert ook 11 ms op, met de hand een ping-commando op download.xs4all.nl levert tussen 9 en 10 ms op.

Ik heb ook nog een klein microPC-tje van QOTOM op mijn router aangesloten met Ubuntu 16.03 server er op. Op dat machientje kan ik alleen wget draaien (hij heeft geen GUI). Ik krijg daar echter zowel met HTTP als met HTTPS een downloadsnelheid tussen de 40 en 48 MByte/s. Het vreemde trage download issue van TCP-sessies bestaat daar niet. Een apt-get van de Linux omgeving gaf daar zo'n 13 MByte/s downloadsnelheid, dat kan sneller, maar de Ubuntu-repository zal ook wel heel druk zijn, dus die 13 MByte/s is plausibel.

Ik heb al van alles geprobeerd op die machine met de trage downloads. Ik heb de zgn. RWIN grootte voor TCP connecties aangepast (groter gemaakt), ik heb nog wat gestoeid met de MTU en MSS settings, maar het helpt allemaal niets, ik blijf max. 2,7 MByte/s download snelheid halen op die machine via HTTP. Sites zijn ook enigszins traag hierdoor, het loopt allemaal net even iets minder soepel.

Dit probleem heb ik sinds ik de pfSense router in gebruik heb genomen. Hiervoor had ik een Cisco E4200 router en daarmee haalde ik op mijn vorige Ziggo snelheid van 300 MBit/s altijd wel een snelheid van 20 MByte/s of zo, ook bij gewone HTTP downloads.

Ik heb geen idee meer waar ik nog kan zoeken. Suggesties zijn dan ook van harte welkom.

[ Voor 4% gewijzigd door Verwijderd op 08-11-2017 13:32 ]

[Zorc]

Welke modem en pfSense versie gebruik je?
Heb zelf gewoon default (MTU 1500) en bijbehorende max ping van 1472 bytes, net gecontroleerd. Vreemde is dat ik ook een tijdje heb gezeten met die max 2,7Mbytes/s voor http (wget en browsers) (speedtest wel oke). Heb dat gewoon een tijdje genegeerd (als in geen tijd/zin om het verder uit te zoeken) en daarna was het op een gegeven moment ineens 'spontaan' opgelost!

[dion_b]

Verwijderd schreef op woensdag 8 november 2017 @ 08:59:
[...]

Ik heb de pfSense router aan het Ziggo modem hangen, gebruikmakend van DHCP. Ik moet een MAC-adres spoofen om een IP-adres te krijgen, maar dat is niet nieuw voor mij, dat was met de vorige router ook al zo en daar spoofde ik het zelfde MAC-adres.

We leven niet meer in 2006...

Dit is nadrukkelijk niet nodig, enige wat je moet doen om IP te krijgen met nieuwe MAC is modem rebooten voordat je vanuit nieuwe MAC een DHCP request doet. Als je de hele tijd je modem niet gereboot hebt zou ik sowieso daarmee beginnen

Doe ik echter een apt-get van een grote package, dan zie ik slechts een snelheid van 2,7 MByte per second (ca. 22 Mbit/s). Ook het downloaden van bestanden gaat traag, ook max. 2,7 Mbit/s.

Hoezo "ook" 2.7MBps is 8x meer dan 2.7Mbps. Haal je niet ergens bits en Bytes door elkaar

[...]

Ik heb geen idee meer waar ik nog kan zoeken. Suggesties zijn dan ook van harte welkom.

Begin eens met te bepalen of het probleem in je router zit of in de modem/verbinding.

Koppel de router los en sluit een PC rechtstreeks aan op de modem (waarbij je dus modem reboot) en kijk of het gedrag dan anders is (probleem in router) of hetzelfde (probleem in modem/verbinding).

[Verwijderd]

Hoezo "ook" 2.7MBps is 8x meer dan 2.7Mbps. Haal je niet ergens bits en Bytes door elkaar

Was een typo in mijn post, aangepast.

Dit is nadrukkelijk niet nodig, enige wat je moet doen om IP te krijgen met nieuwe MAC is modem rebooten voordat je vanuit nieuwe MAC een DHCP request doet. Als je de hele tijd je modem niet gereboot hebt zou ik sowieso daarmee beginnen

Dat heb ik zo vaak gedaan, in allerlei volgordes, dat is het echt niet. Sowieso moest ik de hele boel rebooten met de komst van de nieuwe 400/40 snelheid en met het vervangen van mijn modem en router. MAC-spoofing met het specifieke MAC-adres was echter de enige manier om een IP-adres te krijgen. Dat IP-adres is trouwens wel anders dan ik voor de snelheidsupgrade had.

@Zorc Interessant dat jij deze observatie ook hebt gehad en dat het "spontaan" is opgelost. Ook het feit dat je 2,7 Mbyte/s had kan haast niet toevallig zijn. Blijkbaar is er iets specifieks aan de hand in het Ziggo netwerk na de laatste snelheidsupgrade. Het vreemde is dat ik dit probleem niet observeer vanaf mijn microPC (QOTOM Q355G4).

De modem/router die ik heb is een Technicolor TC7210 in bridge mode, deze is standaard uitgeleverd door Ziggo en heb ik direct na levering in bridge mode laten zetten door de helpdesk. Ik heb er dus nooit op ingelogd en ook dus nooit iets in aangepast. Hiervoor had ik een UBEE 3200, welke ook in bridge mode draaide en waar ik ook nooit iets in heb aangepast.
De router er achter is pfSense 2.3.x (meest recente versie uit 2.3 reeks), draaiend op een QOTOM Q190G4, een heel goedkope microPC met een J1900 Celeron CPU en 4 netwerkinterfaces met 4 GByte aan RAM en een kleine SSD.
Tussen de LAN-zijde van de router en de PC heb ik een goedkope unmanaged gigabit ethernet switch GS108 van Netgear. Deze switch heb ik al jaren en daar valt verder ook niets aan te configureren. Op die zelfde switch zit ook mijn smart TV, een mediabox (V-TEN) en een al weer bejaarde Humax decoder voor interactieve TV van Ziggo. De TV heeft een Youtube app en Netflix app en deze werken probleemloos, mits ik de MTU op 1472 zet aan de LAN-zijde. Zet ik de MTU niet op 1472, dan is Netflix traag met laden van films en laden van profielen en heb ik op Youtube dat hij geregeld even hapert met afspelen.

[ Voor 87% gewijzigd door Verwijderd op 08-11-2017 14:03 ]

[Zorc]

@woelen heb zelf ubee modem in bridge met 200mbit abbo. Het viel me in eerste instantie op na de snelheidsverhoging (normaal let ik nooit zo specifiek op download snelheid etc, maar nu even wel), met http downloads in de browser allemaal rond de 2,7 max. Speedtest gewoon prima. En toen zag ik het dus ook bij mijn wget onder linux.....(soms iets hoger maar pakweg
Denk je in eerste instantie nog, oke single http stream vanaf server, hoeft uiteraard niet op je max speed te gaan en reken ik wel goed?? Als je dan in pfSense snelheidsgrafiekjes erbij pakt etc, hmmm raar, wtf.
Tja, ehm laat ver maar even.

Je gaat het niet geloven, maar misschien is er iets niet helemaal spontaan. Het lijkt me onwaarschijnlijk maar ik bedenk me net dat ik tijdje terug mijn GS108E netgear switchje vervangen heb door een 24 poorts managed switch. Ik durf niet te zeggen of.... maar als ik even tijd heb zal ik die netgear er voor de grap eens weer tussen gooien

edit: dit is idioot. 2 tal GB test bin bestanden geprobeerd van verschillende providers. Zonder die netgear ertussen haal ik pakweg 15Mb/s download in browser. Met kabel vanaf main switch in de netgear en ander kabeltje in laptop, dus switch alleen tussen laptop en de rest, haal ik ineens ~6MB/s
Lijkt geen MTU probleem. Nu had ik normaal gesproken natuurlijk meer poorten op die netgear in gebruik met ook wat verkeer over de switch....

[ Voor 19% gewijzigd door Zorc op 08-11-2017 18:03 ]

[Verwijderd]

Wauw, goed gevonden. Het is inderdaad de switch. Ik heb achter die switch ook nog een Windows 10 PC en daar heb ik ook 2,7 MByte/s downloads. Zonder de switch haal ik op dit moment van schrijven 30 MByte/s en soms uitschieters naar 40 MByte/s, over HTTP. Zowel Linux als Windows hebben dus last van iets in die switch.

Wel vervelend, ik heb eigenlijk geen zin om een nieuwe (dure) managed switch te kopen. De GS108 beviel mij juist omdat hij zo prachtig klein is, bijna geen stroom gebruikt en compleet stil is. Hij werkt al jaren goed, tot ik de 400/40 upgrade kreeg van Ziggo. Er moet dus toch wel iets veranderd zijn in de netwerkeigenschappen. Toen ik nog op 300/30 zat had ik downloads van 20 MByte/s en soms wel uitschieters naar 30 MByte/s.

---------------------------------------

Edit: Wat verder onderzoek gedaan.
Ik heb meerdere van die Netgear switches:
- 2 stuks GS105 --> Deze werken goed, deze heb ik het langst geleden gekocht
- 1 stuks GS108E --> Deze heeft een probleem
- 1 stuks GS108Tv2 --> Deze werkt goed, deze heb ik recentelijk gekocht voor een robot-projectje met wat Raspberry PI's, maar daar kan die GS108E ook prima voor worden gebruikt.

Ik heb nu mijn GS108Tv2 op de plek van de GS108E gezet. Gewoon 1 op 1 omwisselen en het werkt goed. Ik hoefde niks te configureren aan die switch, kwestie van aansluiten en draaien

Ik had me nooit gerealiseerd dat er nog zoveel verschil tussen die switches is. Ik heb ze altijd gewoon als simpele out-of-the-box apparaatjes beschouwd, in 5-poorts en 8-poorts uitvoering. Lekker compact en robuust gebouwd met stevige metalen behuizing, plug and play.

[ Voor 38% gewijzigd door Verwijderd op 08-11-2017 22:33 ]

[Verwijderd]

Nog een paar nabranders:
MTU is gewoon 1500 op mijn Ziggo aansluiting. Het blijkt dat Google's machines met IP-adressen 8.8.8.8 en 8.8.4.4 geen respons geven op PING pakketten met meer dan 1472 bytes.

Ping zelf neemt 28 bytes, dus het grootste pakket dat je kunt pingen is 1444 bytes richting Google. Ik heb de zelfde test gedaan richting download.xs4all.nl en ook richting ftp.funet.fi en deze werken ook goed met ping -s 1472. Dat maakt een MTU van 1500 (=1472+28).Pas bij ping -s 1473 en hoger (MTU size 1501 en hoger) werkt het niet meer.

Voor bepalen van MTU grootte moet je dus geen gebruik maken van ping naar 8.8.8.8 of 8.8.4.4!

Ik heb dus alle MTU-gerelateerde zaken in mijn netwerk teruggezet op default. Wel zo makkelijk. Ik zie dan na een reboot dat de machines weer netjes naar 1500 gaan.

--------------------------------------------------------------------

Verder kan ik melden dat de GS108E wel kan werken met Ziggo internet. Het probleem treedt alleen op bij de GS108Ev3, bij oudere firmware. Je kunt nieuwe firmware laden in dit apparaat, de nieuwste versie op het moment van schrijven 2.00.12, in mijn apparaatje zat versie 2.00.3. Met de nieuwste versie werkt het allemaal perfect, dik 40 MByte/s file downloads, zowel over HTTP als HTTPS.

[ Voor 33% gewijzigd door Verwijderd op 10-11-2017 21:08 ]