[VPS] Snelheid zakt in bij grote bestanden

[RobertMe]

Ik heb nu een weekje mijn Contabo VPS actief in gebruik, maar loop nu tegen iets geks aan. Tijdens een grotere file transfer (via SFTP) zakte na een paar seconden de snelheid flink in. Nu heb ik even iperf3 geinstalleerd op de VPS, lokaal / op m'n laptop, en op m'n TransIP VPS. Als ik vervolgens een test doe van m'n laptop naar de VPS (VPS uiteraard als server) dan haal ik de eerste keer netjes 25Mbit/s (max van m'n Ziggo lijn). Doe ik meteen daarna nog een test, is de kans groot dat ik nog maar ~200Kbit/s haal. Wacht ik dan bv een minuutje en doe ik nog een test, haal ik weer netjes 20Mbit/s+, en een tweede test is dan weer super langzaam. Draai ik een iperf3 test vanaf m'n TransIP VPS naar Contabo dan haal ik 100Mbit/s tot 200Mbit/s, ook meerdere keren achter elkaar. Maar ook als ik vanaf mijn laptop meermaals een iperf3 test naar TransIP doe haal ik gewoon continu 25Mbit/s.

Iemand die hier een verklaring voor kan geven?

Edit:
Ook maar even een reverse test (iperf3 -R). En dan haal ik snelheden van tussen 150Mbit/s tot 200Mbit/s. Volgens mij is dat ook min of meer wat ze "beloven" (minimaal 100Mbit/s uit mijn hoofd?). En dat kan ik ook twee, drie keer achter elkaar doen. Lijkt dus wel alsof dan alleen "download" (vanaf VPS gezien) soms "geknepen" is (maar dan ook nog eens specifiek voor mijn thuis IP of laptop).

Edit2:
Om wifi ( ) uit te sluiten ook maar even vanaf m'n NAS/thuisserver getest, en dat geeft hetzelfde resultaat. De ene keer 25Mbit/s, de andere keer 2Mbit/s.

[ Voor 22% gewijzigd door RobertMe op 20-10-2020 22:56 ]

[Postman]

Het is niet zo dat je filesysteem iets raars aan het doen is waardoor het wegschrijven van een volgende bestand langzamer gaat?

[RobertMe]

Postman schreef op dinsdag 20 oktober 2020 @ 23:10:
Het is niet zo dat je filesysteem iets raars aan het doen is waardoor het wegschrijven van een volgende bestand langzamer gaat?

Dat zou de iperf performance niet verklaren, toch? Noch dat ik uiteindelijk die ene file (van paar honderd MB) wel snel kon over zetten door hem eerst naar m'n TransIP VPS te scp-en en daarna naar m'n Contabo VPS. Uiteindelijk heeft Contabo toen dus net zo veel filesystem bewerkingen moeten doen, en de TransIP => Contabo scp duurde wel maar een minuutje. Dat terwijl die vanaf m'n laptop al minuten liep met een resterende ETA van 20+ minuten (dus alles bij elkaar zeker 25, 30 minuten).

[RobertMe]

Kleine update m.b.t. bovenstaande issue: gisteravond een mailtje naar Contabo gestuurd hierover. Hun reactie komt in principe neer op "doe een speedtest op de VPS. Haal je 90% van de geadverteerde snelheid? Dan is het niet ons probleem".

Uiteraard even het scriptje waar ze naar refereren gedraaid en die deed, als ik het mij goed herinner, netjes 200Mbit/s.

Maar dat verklaart nog steeds niet waarom ik met meerdere systemen (in mijn thuisnetwerk) de ene keer correct met 20Mbit/s naar de VPS kan uploaden, en de andere keer / meteen daarna de snelheid inzakt naar 2Mbit/s. Dat terwijl ik met een test naar mijn TransIP VPS dit probleem dus niet heb. Daarnaast dan ook een reverse test gedaan, server laten uploaden naar thuis, en dan blijf ik wel consistent de 200Mbit/s behalen.

Doe ik dezelfde tests tussen mijn TransIP VPS en de Contabo VPS haal ik netjes elke keer minimaal 100Mbit/s (tot 200Mbit/s).

Vandaag ook nog een test gedaan met een ander systeem, in een ander netwerk (wel ook Ziggo, net zoals thuis), en de resultaten zijn dan hetzelfde. De ene keer is de test (met PC als upload en VPS als download) met de maximale 10Mbit/s (langzamer pakket dus) en de andere keer met 2Mbit/s.

Herhaal ik deze tests richting mijn VPS bij TransIP dan haal ik dus wel elke keer, in alle richtingen, om en nabij de maximale snelheid (van de Ziggo verbinding).

Wie zou mij hierin dus een mogelijk zetje in de juiste richting kunnen geven? Want ik heb het idee dat ik hier met Contabo niet uit ga komen, omdat zij puur zullen wijzen naar dat de speedtest wel een goede snelheid geeft.

[GlowMouse]

RobertMe schreef op donderdag 22 oktober 2020 @ 18:40:
Kleine update m.b.t. bovenstaande issue: gisteravond een mailtje naar Contabo gestuurd hierover. Hun reactie komt in principe neer op "doe een speedtest op de VPS. Haal je 90% van de geadverteerde snelheid? Dan is het niet ons probleem".

Ik zou hier even een apart topic over openen omdat het geen simpel probleem is. Kun je testen hoelang je moet wachten om de tweede keer toch een normale snelheid te halen? Is het probleem afhankelijk van het tijdstip? Heb je het probleem ook met UDP (kun je met iperf3 ook testen)?

[GrooV]

Ik denk dat het probleem gewoon je Ziggo verbinding is. Ziggo (Liberty global) is een tier-1 ISP die zo veel mogelijk betaalde peering contracten wil afsluiten. Contabo is juist een budget ISP die zo veel mogelijk gratis public peering wil doen. Voor de Duitse markt zullen ze vast zorgen voor voldoende connectiviteit maar voor NL minder.

Het zelfde had ik ook met Ziggo & Hetzner op bepaalde tijden, nu gelukkig overgestapt naar Tweak en die doet aan die onzin niet mee

Kan je eens een traceroute posten van/en naar je Ziggo & Contabo verbinding?

[ Voor 9% gewijzigd door GrooV op 23-10-2020 10:43 ]

[RobertMe]

GrooV schreef op vrijdag 23 oktober 2020 @ 10:42:
Ik denk dat het probleem gewoon je Ziggo verbinding is. Ziggo (Liberty global) is een tier-1 ISP die zo veel mogelijk betaalde peering contracten wil afsluiten. Contabo is juist een budget ISP die zo veel mogelijk gratis public peering wil doen. Voor de Duitse markt zullen ze vast zorgen voor voldoende connectiviteit maar voor NL minder.

Het zelfde had ik ook met Ziggo & Hetzner op bepaalde tijden, nu gelukkig overgestapt naar Tweak en die doet aan die onzin niet mee

Kan je eens een traceroute posten van/en naar je Ziggo & Contabo verbinding?

Daar zou je zomaar gelijk in kunnen hebben:

traceroute to <knip> (<knip>), 30 hops max, 60 byte packets
 1  192.168.1.1 (192.168.1.1)  0.610 ms  0.513 ms  0.714 ms
 2  10.254.39.1 (10.254.39.1)  7.688 ms  7.952 ms  7.906 ms
 3  213.51.198.77 (213.51.198.77)  9.375 ms  9.628 ms  11.050 ms
 4  asd-tr0021-cr101-be153-10.core.as9143.net (213.51.158.50)  15.156 ms  15.361 ms  17.597 ms
 5  nl-srk03a-ri1-ae51-0.aorta.net (213.51.64.198)  17.814 ms  17.502 ms  17.719 ms
 6  213.46.182.142 (213.46.182.142)  17.876 ms  15.210 ms  15.133 ms
 7  ae2-3221.edge8.Frankfurt1.level3.net (4.69.158.190)  20.955 ms  19.729 ms  19.759 ms
 8  GIGA-HOSTIN.edge8.Frankfurt1.Level3.net (62.67.36.138)  25.432 ms  27.265 ms  27.445 ms
 9  vmi458800.contaboserver.net (<knip>)  29.682 ms *  31.586 ms

En vanaf TransIP:

traceroute to <knip> (<knip>), 30 hops max, 60 byte packets
 1  * * *
 2  * * *
 3  f1.r2.ams0.transip.net (77.72.151.124)  0.268 ms f2.r2.ams0.transip.net (77.72.151.126)  0.245 ms f1.r2.ams0.transip.net (77.72.151.124)  0.256 ms
 4  r2-a0.e1.ams0.transip.net (157.97.168.10)  10.735 ms  10.736 ms r1-a0.e1.ams0.transip.net (157.97.168.9)  0.340 ms
 5  rt-ams-ix-1.contabo.net (80.249.209.38)  17.309 ms  17.672 ms  17.642 ms
 6  vmi458800.contaboserver.net (<knip>)  11.345 ms  11.292 ms  11.027 ms

Nu ben ik geen kenner, maar wat ik wel zie is dat Ziggo een stuk meer hops nodig heeft en het bij TransIP ook nog via een "directe" lijn op ams-ix lijkt te lopen.

Dan zou dat snelheidsverschil dus verklaart worden door de andere route die vaker "dicht" zit als ik het goed begrijp?

Blijft dan alleen dom. Ik ben lokaal wat met Docker bezig waarbij ik het image lokaal build en met docker save ... | ssh <contabo> docker load het image op de server zet. Dit is dus (soms) super langzaam. Laat ik het via de TransIP VPS lopen, middels docker save ... | ssh -A <transip> ssh <contabo> docker load is het dus wel snel.

offtopic:
Ja, ik weet dat ik ook gewoon een Docker repository kan opzetten waarbij alleen de gewijzigde layers over de lijn gaan i.p.v. 600MB aan image elke keer weer.

[GrooV]

TransIP's netwerk is inderdaad een stuk beter maar daar betaal je ook voor.

Ziggo gaat via Liberty Global -> Level 3 -> Contabo

Totale netwerk capaciteit van Contabo is 200Gbit: https://contabo.com/blog/...00-gbit-s-at-contabo-now/ Waarvan 60Gbit (waarschijnlijk 6x10Gbit) Level3/CenturyLink is.

Liberty Global heeft liever dat je betaald voor hun peering dus hun Level3 connectie zal niet de hoogste prioriteit hebben. Ze hebben dus liever dat Contabo direct bij hun Mbit in koopt ipv via Level3

Leesvoer: IP-Peering/Transit gevaar van twee grote ISPs (KPN/Ziggo)

[ Voor 6% gewijzigd door GrooV op 23-10-2020 11:31 ]

[RobertMe]

GrooV schreef op vrijdag 23 oktober 2020 @ 11:29:
TransIP's netwerk is inderdaad een stuk beter maar daar betaal je ook voor.

Ziggo gaat via Liberty Global -> Level 3 -> Contabo

Totale netwerk capaciteit van Contabo is 200Gbit: https://contabo.com/blog/...00-gbit-s-at-contabo-now/ Waarvan 60Gbit (waarschijnlijk 6x10Gbit) Level3/CenturyLink is.

Liberty Global heeft liever dat je betaald voor hun peering dus hun Level3 connectie zal niet de hoogste prioriteit hebben. Ze hebben dus liever dat Contabo direct bij hun Mbit in koopt ipv via Level3

Leesvoer: IP-Peering/Transit gevaar van twee grote ISPs (KPN/Ziggo)

En is 200Gbit/s / 60Gbit/s veel of weinig? Voor een thuis verbinding natuurlijk veel, maar voor een hosting provider?

Maar ik vind het in ieder geval een verklaring die logisch over komt. Gedeeltelijk you get what you pay for dus. Alhoewel jij het probleem ook wat meer bij Ziggo neer legt, en die zijn nu weer niet perse heel goedkoop.

[GrooV]

RobertMe schreef op vrijdag 23 oktober 2020 @ 13:04:
[...]

En is 200Gbit/s / 60Gbit/s veel of weinig? Voor een thuis verbinding natuurlijk veel, maar voor een hosting provider?

Maar ik vind het in ieder geval een verklaring die logisch over komt. Gedeeltelijk you get what you pay for dus. Alhoewel jij het probleem ook wat meer bij Ziggo neer legt, en die zijn nu weer niet perse heel goedkoop.

Het ligt natuurlijk aan het verbruik maar ik vind het niet veel voor een provider die onbeperkte data aanbiedt

Dit heeft Hetzner bijvoorbeeld: https://www.hetzner.com/unternehmen/rechenzentrum/

[RobertMe]

GrooV schreef op vrijdag 23 oktober 2020 @ 13:14:
[...]

Het ligt natuurlijk aan het verbruik maar ik vind het niet veel voor een provider die onbeperkte data aanbiedt

Dit heeft Hetzner bijvoorbeeld: https://www.hetzner.com/unternehmen/rechenzentrum/

Hmm, 200Gbit/s is inderdaad niet heel veel, als je bv al ziet dat Hetzner alleen al met AMS-IX doet peeren met 300Gbit/s.

Misschien dan toch maar weer ergens anders naar over stappen Maar ik ben ook niet perse voorstander van (super) duur. TransIP betaal je echt vele malen meer voor hetzelfde. Maar als ik het goed begrijp is Hetzner + Ziggo dus ook geen goed huwelijk?

[GrooV]

RobertMe schreef op vrijdag 23 oktober 2020 @ 13:17:
[...]

Hmm, 200Gbit/s is inderdaad niet heel veel, als je bv al ziet dat Hetzner alleen al met AMS-IX doet peeren met 300Gbit/s.

Misschien dan toch maar weer ergens anders naar over stappen Maar ik ben ook niet perse voorstander van (super) duur. TransIP betaal je echt vele malen meer voor hetzelfde. Maar als ik het goed begrijp is Hetzner + Ziggo dus ook geen goed huwelijk?

Hetzner is ook niet perfect hoor, maar kijk gewoon even rond. Heb je niet altijd de snelheid nodig dan is Contabo misschien gewoon goed voor jou

[Kasper1985]

Voor wat het waard is: heb goede ervaringen met digital ocean. Wat minder bekend in NL.

Draai er een VPN dus geen direct transfers maar haal wel hoge doorvoer. Als je wil heb ik wel een referral linkje.

[kamerplant]

Kasper1985 schreef op vrijdag 23 oktober 2020 @ 18:28:
Voor wat het waard is: heb goede ervaringen met digital ocean. Wat minder bekend in NL.

Draai er een VPN dus geen direct transfers maar haal wel hoge doorvoer. Als je wil heb ik wel een referral linkje.

DigitalOcean is inderdaad uitstekend. Ook Vultr is een uitstekend alternatief.
Contabo’s website komt echt wel heel cheapy en treurig over zeg 😞

[RobertMe]

Hier op terug komende. Ik heb zojuist een mailtje naar Contabo gestuurd m.b.t. de "bevindingen" alhier dat het waarschijnlijk komt door de verschillende peering (over Level 3 / CenturyLink vs AMS-IX). En ook of dat kan verklaren waarom ik wel over het algemeen een "burst" kan doen waarbij de eerste tientallen / honderden MBs wel snel naar de server geüpload worden, en de snelheid daarna zo hard in zakt.

GrooV schreef op vrijdag 23 oktober 2020 @ 11:29:
Totale netwerk capaciteit van Contabo is 200Gbit: https://contabo.com/blog/...00-gbit-s-at-contabo-now/ Waarvan 60Gbit (waarschijnlijk 6x10Gbit) Level3/CenturyLink is.

Op die pagina verwijzen ze door naar deze pagina met datacenter info: https://contabo.com/?show=data_centers&fbcid=2201 . En daarop staan (gelukkig?) intussen wat hogere cijfers:

Internet access: Carrier-neutral

Numerous different fiber carriers using at least two different fiber directions into the building

The Contabo data centers are currently connected to the Internet with 460 Gbit/s:
- CenturyLink: 180 Gbit/s
- Telia Carrier: 180 Gbit/s
- Versatel: 20 Gbit/s
- DE-CIX: 20 Gbit/s
- AMS-IX: 20 Gbit/s
- M-NET: 10 Gbit/s
- Colt: 10 Gbit/s
- Cogent: 20 Gbit/s

De CenturyLink uplink zou dan dus 180Gbit/s zijn, 3x zoveel als de eerder gelinkte pagina.

[RobertMe]

@Kasper1985 @kamerplant DigitalOcean is mij inderdaad bekend, en Vultr ook wel eens van gehoord. En ja, Contabo ziet er uber cheap uit. Maar de paar weken dat ik het nu heb werkt het verder goed, en de prijs is "wel leuk" . Nu heb ik nog 2x de kleinste TransIP VPS draaien, in totaal E20 excl. BTW voor effectief 2 cores, 2GB RAM en 100GB opslag. Wat mij betreft hoeft Contabo hun "beloften" v.w.b. 4 cores, 8GB etc dan ook niet 100% waar te maken, zolang het maar goed/stabiel werkt. Ik draai er verder toch geen zware taken op, en die kan ik ook op mijn thuisserver draaien. Het gaat er meer om dat ik een "publiek toegankelijke" VPS heb (i.p.v. bv website thuis hosten) die stabiel draait dan dat ik echt de specs nodig heb.