Pfsense ineens ~ 500Mbit ipv 1Gb?

[Decarsul]

Goedendag,

Gisteren merkte ik ineens dat een game download erg langzaam verliep. Na uitvoeren van een aantal speedtesten kwam ik erachter dat ik tussen de 250 en 450mbit scoor, zowel op de up als op de down. Voorheen had ik altijd op of boven de 900mbit (wat het theoretische limiet is voor mtu ~1500).
Dit is met een eigen modem (specs hieronder). met de KPN Experiabox haal ik wel de goede snelheid, dus het moet aan de PfSense configuratie liggen.

Waardoor is mijn internet snelheid ineens getankt?

Relevante software en hardware die ik gebruik
Op een topton machine 1U heb ik Proxmox geinstalleerd.
Deze topton heeft 8 cores met 16gb ram en een 1TB micron 5100 SSD (omdat het toen kon).
De VM waarop PfSense(plus) geinstalleerd is, heeft 4 cores als host gekregen met 4gb aan geheugen.
De NIC's zijn middels PCI-E passthrough doorgegeven aan de VM, zodat deze offloading e.d. kan gebruiken.
Naast de VM van PfSense draai ik ook nog een lxc container met pihole, deze heeft IGC5 gekregen. (kan waarschijnlijk beter met bridge of iets, maar dit werkt)

Binnen de configuratie van PfSense gebruik ik IX0 als WAN en IX2 als LAN. IGC1 t/m 4 zijn geconfigureerd als LAN met een eigen ip, mocht ik het ooit nodig hebben of ik mijzelf hebben buitengesloten, kan ik altijd nog via het andere poortje een reset uitvoeren.
Verder heb ik aan de LAN kant 5 actieve Vlan's.
Vlan4 voor iTV testen, Vlan5 voor home (waarop ook STB's zitten), Vlan6 voor IoT, Vlan7 voor game server hosting en Vlan8 voor offsite backups van familie. Deze staan allen geconfigureerd via IX2. IX2 is via een DAC kabel aangesloten op mijn grandstream GWN7822P.

Wat ik al gevonden of geprobeerd heb
De eerste conclusie welke ik trok, was dat tijdens een speedtest de CPU utilization op het dashboard van ~60% naar 99% sprong. En logischerwijs als het een single thread is, dan wordt het een cpu bottleneck.
- Hierop heb ik de VM 6 cores gegeven, geen resultaat
- CPU affiniteit ingesteld van cores 0 - 5, geen resultaat
- TSO4, TSO6 en LRO aan / uitgezet, geen resultaat

Intern testen.
- iperf3 naar unraid zelfde vlan resultaat: 1gbe transmissie (zowel met 1 als 10 streams)
- iperf3 naar unraid andere vlan resultaat: 1gbe transmissie (zowel met 1 als 10 streams)
- 100GB bestand van server naar client en vice versa resultaat: 1gbe transmissie
Conclusie: Intern werkt het wel gewoon. CPU piekt dan ook niet

Firewall rules.
Op alle vlan's als test een pass all als eerste regel ingezet. Geen effect.

VPN clients.
3 OpenVPN en 2 Wireguard tunnels uitgezet. geen effect.

PfSense versie upgrade: 24.11 naar 25.11.
CPU 'idle' van ~65% naar ~30%. Dus al flinke verbetering, maar nog steeds geen hogere internet snelheid.

Wat oh wat zie ik over het hoofd? Enige hulp zou fijn zijn!

[Decarsul]

En dan vraag je chatgpt om wat hulp, en die lost het op....

Anyway. Voor de mensen die een soortgelijk issue hebben. Dit zijn de stappen die ik heb uitgevoerd:

system tunables toegevoegd

net.isr.dispatch - direct
net.isr.maxthreads - 6
net.isr.bindthreads - 1
hw.pci.honor_msi_blacklist - 1
-- geen effect.

Cryptographic Hardware: none > AES-NI CPU-based Acceleration
-- geen effect


cpu cores verminderd van 6 naar 4.
NUMA aangezet.
affinity gezet op 1,3,5,7 om SMT uit te sluiten.
CPU core's naar performance gezet proxmox:
cpupower frequency-set -g performance

-- issue opgelost.

system tunables:
hw.ix.num_queues - 4
hw.ix.enable_aim - 0

-- issue nog steeds opgelost

hardware offloading weer aangezet

-- issue nog steeds opgelost, lager cpu%

[jurroen]

Ongevraagd advies:

Ik zou persoonlijk die setup drastisch eenvoudiger maken door de virtualisatie eruit TR halen. Dat voegt veel complexiteit toe. Met de standaard Proxmox instellingen heb je geen optimale setup, zelfs niet met PCI Passthrough voor hardware offloading.

Dat zeg ik met name omdat het in jouw setup geen must is. pfSense kun je configureren voor dezelfde DNS-level adblocking (en het zelfs firewallen en verkeer naar die IP adressen voorkomen) - misschien minus enkele fancy grafiekjes.

Als dat wel een must is kun je voor een paar tientjes een Raspberry Pi kopen (desnoods tweedehands) en zo je setup veel simpeler en robuuster maken.

Just my €0,02.

[Decarsul]

Is het complexiteit of is het tweakers mentaliteit?

Niet alles hoeft efficiënt te zijn. Ik weet dat er ook negatieve punten zijn aan virtualisatie. Maar de ervaring en ermee werken zijn ook dingen waard. De voornaamste reden dat ik een hypervisor gebruik is omdat het zonde is om 4 cores van hardware ongebruikt te laten.

[nelizmastr]

Pfsense heeft aan de WAN zijde weinig aan meer cores, omdat je KPN lijn pppoe gebruikt, wat single threaded is. Waarschijnlijk kun je prima af met 2.

Maar kennelijk is je cpu zonder de volle kloksnelheid te draaien te traag op single thread. Dan weet je iig dat je niet over moet stappen naar een >1G abonnement binnen de KPN familie

[_JGC_]

Al eens aan if_pppoe gedacht, de kernel PPPoE implementatie? Dan kan je CPU gewoon weer in low power mode.

[Decarsul]

nelizmastr schreef op zondag 18 januari 2026 @ 08:31:
Pfsense heeft aan de WAN zijde weinig aan meer cores, omdat je KPN lijn pppoe gebruikt, wat single threaded is. Waarschijnlijk kun je prima af met 2.

Maar kennelijk is je cpu zonder de volle kloksnelheid te draaien te traag op single thread. Dan weet je iig dat je niet over moet stappen naar een >1G abonnement binnen de KPN familie

Ja... Of de powerave optie die ik aan had staan was te aggressief. Heb ik een tijd geleden ingesteld, maar weet niet meer exact hoe. Nu met performance profiel tik hij maar 50% aan, dus kan nog naar 2gbe

@_JGC_ nee, maar ook omdat ik er nog nooit van heb gehoord. Ga van de week eens zoeken wat dit inhoudt

[Decarsul]

_JGC_ schreef op zondag 18 januari 2026 @ 08:36:
Al eens aan if_pppoe gedacht, de kernel PPPoE implementatie? Dan kan je CPU gewoon weer in low power mode.

Heb hem aangezet. Tijdens load middels speedtest en bufferbloat piekt de CPU nog steeds. Kan natuurlijk komen door virtualisatie.

[_JGC_]

Decarsul schreef op zondag 18 januari 2026 @ 10:57:
[...]


Heb hem aangezet. Tijdens load middels speedtest en bufferbloat piekt de CPU nog steeds. Kan natuurlijk komen door virtualisatie.

Wel reboot gedaan?

[Decarsul]

_JGC_ schreef op zondag 18 januari 2026 @ 12:15:
[...]

Wel reboot gedaan?

Jazeker, daar ontkom je niet aan. zodra je aanvinkt en op save / apply drukt, werkt je internet gewoon niet meer haha.

[Decarsul]

Er lijkt nu na uitzetten checksum offloading e.d. wel een flink verschil te zijn.
Heb nu een piek naar 60% bij draaien simulane up en download test (dus 2 testen gelijktijdig op andere band). wat voorheen dus 99% was op alleen upload of download.