WireGuard download zwaar instabiel

[ghostman]

Mijn vraag
Op mijn VPS heb ik via Podman een rootless WireGuard container draaien waarbij de download snelheid gigantisch instabiel en langzaam is. De VPS heeft een 1Gbps up en down verbinding en thuis heb ik een 100Mbps up en down (KPN glasvezel) verbinding, toch krijg ik als ik verbonden ben met WireGuard maar max 1Mbps down en 70Mbps up. Het aparte hierbij is dat als ik switch naar 4G of 5G via een hotspot (zowel Odido als KPN) dat het probleem zo goed als verholpen is (40/120Mbps).

Relevante software en hardware die ik gebruik
WireGuard: docker.io/linuxserver/wireguard:latest
VPS: Hetzner CAX11 - 2 cores, 4GB ram (Arm64) - Debian 12.
Podman: v4.9.4 met slirp4netns v1.2.1
Router: TP-Link AX3000, in Access Point Mode
Modem: KPN Experia Box V10
OS: Fedora 40 met KDE Plasma 6 + Samsung S23 met Android 14

Wat ik al geprobeerd heb
- Verifieren van internet snelheden: WiFi is solid 70Mbps up en down, VPS is een goede 1Gbps, en in de WireGuard container ook een goede 1Gbps verbinding.
- Verifieren VPS resources: Bij maximale load gebruikt de server max 40% van de CPU resources en 30% van het RAM.
- Zowel op de VPS als in de container heb ik verschillende combinaties van `net.ipv4.ip_forward=1` en `=0` geprobeerd in `/etc/sysctl.conf`.
- Via Podman heb ik verschillende combination van --add-capabilities geprobeerd met `NET_ADMIN`, `NET_RAW` en `SYS_MODULE`.
- Op de server alle andere zaken die invloed kunnen hebben uitgezet (e.g. NFTables)
- Verschillende MTU groottes geprobeerd op de server en peer die in dit schema staan.
- Gecontroleerd wat de maximale MTU grootte mag zijn gebasseerd op een gevonden bash script (zie hier). Ook als ik hier 80 van af haal i.v.m. de WireGuard overhead veranderd er niks.
- IPV6 uitgeschakeld op de Experia Box.
- NAT uitgeschakeld op de router en de Experia Box.
- De hele container en configuratie verwijderd en opnieuw opgezet.
- Een nieuwe VPS opgezet met enkel de WireGuard container om te testen.
- Hetzner firewall uitgezet
- Een complete kopie van de configuratie op een lokale Rasberrie Pi 5 gezet die verbonden is met de Experia Box. Deze heeft het probleem niet!

Wat ik al gevonden heb
Verder dan dit kom ik eigenlijk niet, er zijn wel wat package errors te vinden op de wg0 interface, maar dit is verwaarloosbaar (imho). Verder laten alle topics die ik online kan vinden zien dat het of een MTU probleem of een configuratie probleem moet zijn. De complete configuratie heb ik meerdere malen verwijderd en opnieuw opgebouwd en ik heb heel veel verschillende MTU waardes geprobeerd.

Zelf denk ik haast dat het aan het lokale netwerk moet liggen, maar de Rapberrie Pi heeft het probleem dan weer niet. Ook als ik mijn laptop direct verbind met de Experia Box (waar de RPI ook verbonden mee is) dan heb ik het probleem ook als ik verbind met de VPS.

Zie hier ook speedtest.net, en hoe weinig de download snelheid waarde geupdate wordt tegenover de upload snelheid.

Zie hier ook de quadlet files die ik gebruik (netwerk + container) voor Podman.

[ Voor 3% gewijzigd door ghostman op 23-05-2024 23:35 ]

[MasterL]

Zoals je weet gebruikt Wireguard UDP, ik heb dit soort gezeur ook wel eens gehad maar vooral met DNS (53) i.c.m. rate limiting vanuit de ISP. Heb je al eens geprobeerd om een andere poort te gebruiken? Zal mij niks verbazen als jouw ISP "iets" shaped. Op zich ook niet heel raar 100Mbps UDP verkeer is normaal gesproken ongebruikelijk. Misschien traditionele IPSEC poorten testen?

[ghostman]

MasterL schreef op vrijdag 24 mei 2024 @ 13:22:
Zoals je weet gebruikt Wireguard UDP, ik heb dit soort gezeur ook wel eens gehad maar vooral met DNS (53) i.c.m. rate limiting vanuit de ISP. Heb je al eens geprobeerd om een andere poort te gebruiken? Zal mij niks verbazen als jouw ISP "iets" shaped. Op zich ook niet heel raar 100Mbps UDP verkeer is normaal gesproken ongebruikelijk. Misschien traditionele IPSEC poorten testen?

Thanks! Maar helaas hetzelfde probleem met andere poorten (4500/5000/9999/51825)

[MasterL]

Op welk device (buiten je VPS) draai je eigenlijk Wireguard?

[Orion84]

En voor de duidelijkheid: die raspberry pi die je noemt, draai je die ter test als vervanging van de server of als vervanging van je laptop?

[Frogmen]

Ik kan mij niet voorstellen dat jouw budget VPS een 1Gb dedicated verbinding heeft. Zal ongetwijfeld shared zijn. Dan nog is het een vreemd verschil.

[ghostman]

MasterL schreef op maandag 27 mei 2024 @ 11:29:
Op welk device (buiten je VPS) draai je eigenlijk Wireguard?

Hoe bedoel je precies? De wireguard client draait op mijn mobiel (Samsung S23) en laptop (Lenovo Ideapad 5 Pro met Fedora 40).

Orion84 schreef op maandag 27 mei 2024 @ 11:36:
En voor de duidelijkheid: die raspberry pi die je noemt, draai je die ter test als vervanging van de server of als vervanging van je laptop?

Ter test als vervanging van de server, voornamelijk om zeker te zijn dat mijn configuratie en instellingen niet het probleem veroorzaken (RPI heeft precies hetzelfde distro en instellingen als de VPS). Ik kan nog even de RPI testen als client, maar aangezien ik het probleem zowel op mobiel als op laptop heb verwacht ik niet dat daar het verschil in zit.

Frogmen schreef op maandag 27 mei 2024 @ 14:27:
Ik kan mij niet voorstellen dat jouw budget VPS een 1Gb dedicated verbinding heeft. Zal ongetwijfeld shared zijn. Dan nog is het een vreemd verschil.

Volgens mij is het ook geen dedicated link, alhoewel ik wel constant die snelheden haal met speedtests. Hetzner geeft in hun documentatie volgens mij wel aan dat het zou gaan om een dedicated link (als ik het goed lees), maar voor die prijs (<5EU per maand) lijkt mij het ook sterk.

[DutchKel]

ghostman schreef op maandag 27 mei 2024 @ 22:12:
[...]


Hoe bedoel je precies? De wireguard client draait op mijn mobiel (Samsung S23) en laptop (Lenovo Ideapad 5 Pro met Fedora 40).


[...]


Ter test als vervanging van de server, voornamelijk om zeker te zijn dat mijn configuratie en instellingen niet het probleem veroorzaken (RPI heeft precies hetzelfde distro en instellingen als de VPS). Ik kan nog even de RPI testen als client, maar aangezien ik het probleem zowel op mobiel als op laptop heb verwacht ik niet dat daar het verschil in zit.


[...]


Volgens mij is het ook geen dedicated link, alhoewel ik wel constant die snelheden haal met speedtests. Hetzner geeft in hun documentatie volgens mij wel aan dat het zou gaan om een dedicated link (als ik het goed lees), maar voor die prijs (<5EU per maand) lijkt mij het ook sterk.

Volgens mij is de route van hetzner naar je provider erg slecht. Ik heb er ook problemen mee. Ik krijg vaak maar ongeveer 50mbit/s up en download naar mijn eigen verbinding (beide ondersteunen max 1 gbit/s en thuis haal ik dat ook). Als je via 4/5g gaat dan heb je een andere route.

[Orion84]

Dus bij testen met je RPi als server blijft het VPN verkeer binnen je LAN?

Dan zou de meest voor de hand liggende conclusie zijn dat of je router of je ISP iets geks doet met dat VPN verkeer.

[ghostman]

DutchKel schreef op maandag 27 mei 2024 @ 22:19:
[...]

Volgens mij is de route van hetzner naar je provider erg slecht. Ik heb er ook problemen mee. Ik krijg vaak maar ongeveer 50mbit/s up en download naar mijn eigen verbinding (beide ondersteunen max 1 gbit/s en thuis haal ik dat ook). Als je via 4/5g gaat dan heb je een andere route.

Daar ben ik ook bang voor inderdaad, Hetzner is verder top, maar ik hoor steeds vaker dat ze aparte netwerk problemen hebben.

Orion84 schreef op maandag 27 mei 2024 @ 22:22:
Dus bij testen met je RPi als server blijft het VPN verkeer binnen je LAN?

Dan zou de meest voor de hand liggende conclusie zijn dat of je router of je ISP iets geks doet met dat VPN verkeer.

Yes, RPi is binnen hetzelfde LAN netwerk. De router (of ISP) is ook wat ik vermoed, maar ik heb op de router meerdere instellingen geprobeerd (NAT etc) en het maakt geen verschil. De ISP (KPN zakelijk glasvezel) zou het anders moeten zijn, maar op 4G en 5G mobiel netwerk hebben ze het probleem dan weer niet..

--- EDIT

Niet verwacht dat dit het probleem zou zijn - en op dit moment weet ik het nog niet 100% zeker - maar het probleem lijkt mogelijk te maken te hebben met de ARM64 cpu bij Hetzner. Zojuist even snel een VPS opgezet met een x86 cpu en daar heb ik het probleem niet! Wel apart dat de RPI (ook ARM64) het probleem dan weer niet heeft.

Ik ga deze week even verder testen en zal de resultaten hier delen

[ Voor 15% gewijzigd door ghostman op 27-05-2024 22:55 ]

[DutchKel]

ghostman schreef op maandag 27 mei 2024 @ 22:47:
Niet verwacht dat dit het probleem zou zijn - en op dit moment weet ik het nog niet 100% zeker - maar het probleem lijkt mogelijk te maken te hebben met de ARM64 cpu bij Hetzner. Zojuist even snel een VPS opgezet met een x86 cpu en daar heb ik het probleem niet! Wel apart dat de RPI (ook ARM64) het probleem dan weer niet heeft.

Ik ga deze week even verder testen en zal de resultaten hier delen

Houd er ook rekening mee dat je andere vps in een ander datacenter/locatie kan staan waardoor je een andere route hebt naar hetzner. Controleer de route eens van beide machines naar je huis.