PfSense: Netwerk issues

[Decarsul]

Beste,

Sinds afgelopen weekend, na een hoop problemen, eindelijk de switch gemaakt naar een PfSense installatie als vervanging van mijn KPN Experiabox. (hiervoor had ik een Edgerouter 12).

Mijn vorige post ging voornamelijk om toegang tot internet en het niet werken daarvan. Nu heb ik inmiddels alles werkend. Althans, het functioneert. Maar het loopt allemaal niet fijn en ik weet niet waar ik het zoeken moet.

Een paar issues:
1. Toegang tot fileserver via netwerk (Unraid). Ik kan alle mappen zien, maar er vanuit lezen is gigantisch traag, en soms weigert het compleet, waarna de verbinding met de netwerk map opnieuw lijkt te moeten worden opgebouwd.
2. Web interfaces van zowel van Unraid en Dockers gehost binnen unraid lijken kortstondige timeouts te hebben (pterodactyl netwerk grafieken b.v.b. lopen 5 a 10 seconden, daarna moet ik de interface verversen en dat duurt vaak ook nog eens lang).
3. Wireguard VPN op Unraid na statische route instellen wel toegang tot 'host' Vlan, niet tot andere vlan's.
4. iTV STB geeft kort na aanzetten 2 a 3x even een STB-400 melding, werkt daarna 'goed'.
5. WiFi netwerk lijkt te klapperen (lastig te zeggen wat hier gebeurt, maar lijkt alsof ip uitgifte te langzaam gaat) (Unifi AC AP Lite's via unifi controller in docker container op unraid.)
6. TV woonkamer zit achter een unifi flex switch op Vlan 30 samen met de chromecast ook op Vlan 30

Netwerk diagram:


Voor meer informatie graag vragen. Firewalling, IGMP proxy, ip options aanzetten etc. etc. ik heb zoveel instructies gezien de laatste dagen voor PfSense op KPN, dat ik niet weet welke uberhaupt correct is en niet.

[Decarsul]

Extra informatie:
Switch huis heeft igmp snooping v2 in passieve modus als globale setting.
Netwerk 30 op unifi devices heeft ook igmp snooping aan staan, geen idee welke versie

Hierbij wat screenies van de firewall rules etc.

[ Voor 5% gewijzigd door Decarsul op 26-06-2024 11:14 ]

[Plopeye]

Is de PFSense een VM op de proxmox?

Zo ja wat zijn de spec's van de hardware, wat heb je aan de VM toegwezen aan resources en wat draait er naast de PFSense nog meer.

2. De hardware wat betreft de netwerkkaarten, welk merk en type?

Je IGMP regel staat te laag, de regel ervoor zal altijd als eerste hitten aangezien * altijd match is.
Regels worden top down verwerkt en zodra er een match is gaat hij niet meer verder.

[ Voor 10% gewijzigd door Plopeye op 26-06-2024 12:57 ]

[Decarsul]

Plopeye schreef op woensdag 26 juni 2024 @ 12:54:
Is de PFSense een VM op de proxmox?

Ja

Plopeye schreef op woensdag 26 juni 2024 @ 12:54:
Zo ja wat zijn de spec's van de hardware, wat heb je aan de VM toegwezen aan resources en wat draait er naast de PFSense nog meer.

4 cores van Intel(R) Atom(TM) CPU C3758 @ 2.20GHz
4gb ram
Alleen pihole extra met 1 core en 512mb ram

Plopeye schreef op woensdag 26 juni 2024 @ 12:54:
2. De hardware wat betreft de netwerkkaarten, welk merk en type?

SFP: Intel I226-V
LAN: I225-V

Plopeye schreef op woensdag 26 juni 2024 @ 12:54:
Je IGMP regel staat te laag, de regel ervoor zal altijd als eerste hitten aangezien * altijd match is.

makes sence, veranderd

[Decarsul]

update:
netwerk interrupts lijken alleen bij routeren tussen vlan's te zijn.
Wanneer ik de graphs e.d. bekijk via native vlan's, dan blijven de grafieken etc. wel verversen.

[nike]

als pfsense virtueel draait:
Even de vakjes aanvinken.

code:

Network Interfaces
Hardware Checksum Offloading
Disable hardware checksum offload Checking this option will disable hardware checksum offloading.
Checksum offloading is broken in some hardware, particularly some Realtek cards. Rarely, drivers may have problems with checksum offloading and some specific NICs. This will take effect after a machine reboot or re-configure of each interface.
Hardware TCP Segmentation Offloading
Disable hardware TCP segmentation offload Checking this option will disable hardware TCP segmentation offloading (TSO, TSO4, TSO6). This offloading is broken in some hardware drivers, and may impact performance with some specific NICs. This will take effect after a machine reboot or re-configure of each interface.
Hardware Large Receive Offloading
Disable hardware large receive offload Checking this option will disable hardware large receive offloading (LRO). This offloading is broken in some hardware drivers, and may impact performance with some specific NICs. This will take effect after a machine reboot or re-configure of each interface.
hn ALTQ support
Enable the ALTQ support for hn NICs. Checking this option will enable the ALTQ support for hn NICs. The ALTQ support disables the multiqueue API and may reduce the system capability to handle traffic. This will take effect after a machine reboot.
ARP Handling
Suppress ARP messages This option will suppress ARP log messages when multiple interfaces reside on the same broadcast domain.
Reset All States
Reset all states if WAN IP Address changes This option resets all states when a WAN IP Address changes instead of only states associated with the previous IP Address.

[Decarsul]

@nike ben even niet thuis en leest wat lastiger op de telefoon.
Geldt dit nog steeds, ook als de hdd en nics verbonden zijn middels pci passthrough?

[nike]

Toen ik vroeger pfsense draaide virtueel zonder passthrough was het nodig.
Maar nu zou ik het niet weten, maar proberen kan geen kwaad.

Tegenwoordig draai ik pfsense bare metal en ga nooit meer terug.

[Decarsul]

Dus... zo?

[nike]

yes, om te testen, op bare metal hoeft het niet. maar met passthrough geen idee.
Volgens mij moet je wel rebooten hierna.

altq kan wel uit.

[ Voor 7% gewijzigd door nike op 27-06-2024 19:27 ]

[Decarsul]

nike schreef op donderdag 27 juni 2024 @ 19:27:
yes, om te testen, op bare metal hoeft het niet. maar met passthrough geen idee.
Volgens mij moet je wel rebooten hierna.

altq kan wel uit.

Ik zou hem ook wel even baremetal kunnen draaien als test. Dat was de hele reden dat ik nic en hdd passthrough heb gedaan. Als proxmox dood is voor wat voor een reden dan ook. Booten vanaf 2de schijf en gaan.

[nike]

Ik draai al jaren pfsense, vroeger virtueel, en later bare metal.
De keren dat pfsense is vastgelopen is nul.

Voor zowel bare metal als virtueel: trek gewoon af en toe de config bestand er uit. als je dan opnieuw pfsense installeerd en je upload je backup config is alles weer zoals het was.

[EverLast2002]

Decarsul schreef op donderdag 27 juni 2024 @ 19:33:
[...]

Ik zou hem ook wel even baremetal kunnen draaien als test. Dat was de hele reden dat ik nic en hdd passthrough heb gedaan. Als proxmox dood is voor wat voor een reden dan ook. Booten vanaf 2de schijf en gaan.

Om die reden hoef je toch geen hardware passthrough te configureren in Proxmox?
Mocht Proxmox wegvallen dan start je op vanaf een 2e schijf begrijp ik.
Dan heeft passthrough toch geen nut/functie meer?
Of maak ik een denkfout?

[Decarsul]

EverLast2002 schreef op donderdag 27 juni 2024 @ 19:59:
[...]


Om die reden hoef je toch geen hardware passthrough te configureren in Proxmox?
Mocht Proxmox wegvallen dan start je op vanaf een 2e schijf begrijp ik.
Dan heeft passthrough toch geen nut/functie meer?
Of maak ik een denkfout?

Zonder passthrough krijg je virtuele apparaten. Als je dan clean boot doet, heb je de fysieke Ids en weet een programma niet meer welke nic welke interface is.

[EverLast2002]

Decarsul schreef op donderdag 27 juni 2024 @ 20:05:
[...]

Zonder passthrough krijg je virtuele apparaten. Als je dan clean boot doet, heb je de fysieke Ids en weet een programma niet meer welke nic welke interface is.

Die 2e schijf waar je het over hebt, daar staat dan ook een Proxmox installatie op?

Mijn ervaring is met OPNsense, en met het terugzetten van een backup van machine A naar machine B (dus fysiek andere hardware en mac adressen) herkent OPNsense zelf de nics (na een herstart).

[Decarsul]

EverLast2002 schreef op donderdag 27 juni 2024 @ 20:24:
[...]


Die 2e schijf waar je het over hebt, daar staat dan ook een Proxmox installatie op?

Nee. De eerste schijf staat proxmox op met pihole en de vm voor pfsense.
De vm voor pfsense heeft de tweede schijf volledig voor zichzelf.

Als ik de schijf van proxmox eruit trek. Start pfsense gewoon op zonder verdere configuratie.

[EverLast2002]

Ik probeer je configuratie te begrijpen maar het lukt me niet helemaal (zal wel aan mijn denkwijze liggen).

Je draait pfSense vitrueel in Proxmox (schijf1).
Daarnaast heb je pfSense geinstalleerd staan op schijf2 die niet actief is wanneer Proxmox draait.
Klopt dit?

In mijn beleving heb je dan 2 aparte pfSense instanties, waar pfSense op schijf2 niet up to date is qua firmware en updates. Of update je alles zodra je pfSense schijf2 opstart (wanneer Proxmox dus is weggevallen).

[Decarsul]

@EverLast2002
Nee dat is het hem dus niet.
Ik draai proxmox op schijf 1.
Ik heb pihole op een container, op schijf 1.
De vm van pfsense heeft volledige controle over schijf 2 en 7 nice.

Als ik het omgedraaid zou uitleggen. Heb ik een bare install op schijf 2 staan die ik in een vm inlaad en virtualiseren.

[Decarsul]

Hier screenie van de PfSense VM.
Zoals je kan zien, is alles vio IOMMU gedeeld met de VM middels pci-e passthrough.

En de reden om dit zo te doen, is omdat de Qotom te krachtig is voor mijn doeleinden om alleen maar te gebruiken voor PfSense. Maar PfSense is wel het hoofddoel. Dus als proxmox en al die andere eventuele VM's eruit liggen, wil ik zonder problemen hem in kunnen zetten als router.

Vandaar deze config.

[ Voor 25% gewijzigd door Decarsul op 28-06-2024 07:55 ]

[Decarsul]

@nike
vinkjes aangepast. hardware checksum offloading V
hardware tcp offloading v
hardware large receive offloading v

de andere 3 niet aangevinkt.
geen verbetering op een enkel vlak.
cross vlan lijk ik nog steeds interrupts te hebben en iTV blijft ook nog met stb-400 komen.

[ Voor 7% gewijzigd door Decarsul op 28-06-2024 07:59 ]

[Decarsul]

Bijkomend issue op itv. Na pauzeren vod willen ze niet meer herstarten zonder terug te gaan naar het opname menu

[nike]

Wellicht moet je eerst een paar stappen terug nemen voordat je weer vooruit kan.
Ik zou beginnen met de basis en proberen dat werkend te krijgen, en dan zaken toevoegen.

Phole kan je voor de test weg halen, en later eventueel vervangen door pfblocker wat in pfsense zit.
Wellicht een oud pc-tje met 2 netwerk kaarten als pfsense inzetten om te testen, even simpel houden en dan uitbreiden.
Ik vind je config best lastig voor wat je wil bereiken, en wat er mis kan gaan.
Zelf heb ik ook alles draaien zoals pfblocker/vlans/cctv/openvpn server/clients/10gig .

Wifi en switches van unify.
Proxmox servertje met de diverse vm's maar wel een los routertje ervoor, wat het minder ingewikkeld maakt.

[Vorkie]

Decarsul schreef op woensdag 26 juni 2024 @ 10:53:
Extra informatie:
Switch huis heeft igmp snooping v2 in passieve modus als globale setting.
Netwerk 30 op unifi devices heeft ook igmp snooping aan staan, geen idee welke versie

Hierbij wat screenies van de firewall rules etc.

[Afbeelding]

[Afbeelding]

[Afbeelding]

[Afbeelding]

Bij je derde plaatje moeten je rules andersom. Je hit nu eerst alles en stopt nu met verwerken, terwijl ej juist eerst wilt dat IGMP enzo wordt gepakt en als laatste pas alles.

Dit is mijn werkende ruleset voor IPTV VLAN (ik blijf er vanaf in ieder geval )

[Decarsul]

@nike pihole heb ik al weggelaten in de config, ik gebruik op moment gewoon 1.1.1.1 en 8.8.8.8
verdere firewall ruling op de vlan's heb ik op any staan om geen limitatie te hebben, in theorie.
ik richt me op moment ook echt alleen op itv naar vlan 30. te vergelijken met een interface direct op een LAN poort zou dit niks anders moeten zijn.

Dus kort gezegd: WAN > VLAN30 > Switch

[Decarsul]

@Vorkie klopt, had hem al andersom gezet.
Heb even jouw config overgenomen op de Vlan309, we gaan snel zien...

[Decarsul]

@Vorkie jouw config doet voor mij niks verbeteren

[Uberprutser]

Decarsul schreef op donderdag 27 juni 2024 @ 20:05:
[...]

Zonder passthrough krijg je virtuele apparaten. Als je dan clean boot doet, heb je de fysieke Ids en weet een programma niet meer welke nic welke interface is.

Je virtuele NICs een hard MAC adres geven in je hypervisor. Gebruik dit al jaren en ook met cold failovers boot het vlekkeloos (en ik heb aardig wat gebouwd in de afgelopen 20 jaar). Enige wat in een uitzonderlijk geval zou kunnen is dat je een MAC adres gebruikt die toevallig al is uitgegeven door de hypervisor aan de andere kant uit eenzelfde pool maar ook dat kan je tweaken (in Proxmox bijvoorbeeld dat host 1 een andere MAC prefix uitdeeld dan host 2).

[Decarsul]

@Uberprutser Dat is ook een optie. Maar passthrough met volledige controle is net zo makkelijk

[ Voor 49% gewijzigd door Decarsul op 01-07-2024 15:32 ]

[Vorkie]

Decarsul schreef op maandag 1 juli 2024 @ 07:17:
@Vorkie jouw config doet voor mij niks verbeteren

Zet igmp eens uit op unifi.

[Decarsul]

Vorkie schreef op maandag 1 juli 2024 @ 17:40:
[...]

Zet igmp eens uit op unifi.

Done. So far so good.
Magoed. Vriendinnetje bijna thuis dus de echte test komt nog

[Decarsul]

Helaas. Na reset van stb zelfde probleem..

[Vorkie]

Bijzonder allemaal -

In mijn post history heb ik eens een post gewijd aan IPtV - mogelijk kan je die terug vinden.

Daar staan alle settings bij mij.

[Decarsul]

@Vorkie volgens mij is dat deze. heb ik overigens ook geprobeerd.
stormfly in "OPNsense & pfSense KPN/Telfort IPTV how-to"

Heb wel de reeksen anders genomen, omdat 213.75.0.0/16 die andere 2 zou moeten afvangen.

Het enige wat ik niet heb gedaan, is de DNS van IpTV.

p.s. ik denk wel dat je wat op het spoor bent met Unifi, want mijn STB boven lijkt geen last te hebben welke rechtstreeks op de brocade zit. (die gebruik ik echter bijna niet)

[Decarsul]

Heb vanavond als test maar even de Unifi flex mini ertussen uit gehaald. We gaan het zien!

[Decarsul]

Nope helaas, rechtstreeks op de Brocade switch werkt het ook niet.

[Decarsul]

Gisteren pfsense herstart, sindsdien ineens normaal tv....
ik test nog even wat langer.

[Decarsul]

Goed, ik heb de laatste dagen getest en het lijkt erop dat....
wanneer ik geen opnames (video on demand) kijk, dat de TV zonder problemen werkt.
Als ik kortstondig opnames kijk, lijkt de TV ook te blijven werken.
Zodra ik een volledige aflevering van een opname bekijk, heb ik grofweg 24 uur last van STB-400 foutmeldingen. (tenzij ik dus binnen die 24 uur weer een opname kijk)