PfSense + KPN Issue, geen internet (firewall issue?)

[Decarsul]

Hallo allen,

Recent mijn qotom 1u geconfigureerd met PfSense via Proxmox.
Nu dat ik hem wil gaan installeren in het thuisnetwerk, loop ik tegen het probleem aan dat ik geen internet krijg.

Het netwerk plaatje:


LAN 1-4 en SFP 1-3 zijn onderdeel van een Bridge, Homeswitch. SFP 4 is de WAN (in de PfSense is SFP4 overigens IX0, dit heb ik verkeerd genummerd) en LAN5 is de poort voor Proxmox en PiHole die in een container op proxmox draait (deze is niet passed through naar PfSense)

Ik krijg vanuit de Vlan's zonder problemen een IP adres toegekend.
De WAN poort is gewoon up, en krijgt mijn externe KPN IP. Dus zou moeten werken?
Hierom vermoed ik een firewall issue. Dit vermoed ik mede doordat ik (ineens) ook niet meer bij mijn PfSense kan vanuit DHCP toegekende ip adressen en alleen via de Homeswitch groep reeks toegang krijg.

Ik hoop dat jullie mij kunnen helpen.

Hieronder nog een aantal plaatjes van de configuratie binnen PfSense.

[Decarsul]

Goed.. we parkeren deze even. Want om 1 of andere reden ziet mijn qotom de SFP's niet meer.
En als ik herstart, ziet hij de hele interface niet meer.

[jadjong]

Je hebt twee gateways, gaat dat wel goed?

[Decarsul]

jadjong schreef op zondag 12 mei 2024 @ 16:42:
Je hebt twee gateways, gaat dat wel goed?

Hoe bedoel je die? De ip op de lan poorten?

[jadjong]

Nee, de zwarte vakjes.

[Decarsul]

jadjong schreef op zondag 12 mei 2024 @ 16:59:
Nee, de zwarte vakjes.

ah zo, ja, 1 is PPPOE voor internet, de andere is KPN ITV. Beiden zitten aan de WAN zijde

[Decarsul]

Goed... De nieuwe sfp is eindelijk binnen. Deze keer een fs.com geconfigureerd voor intel.

Ben weer aan. Wan geeft pfsense een ip. Itv wan krijgt ook een ip. Maar geen internet nog

Wanneer ik ping. Krijg ik een reactie van de switch groep. Als ik een tracert doe, komt hij niet voorbij de switch groep. Net of de switch groep geen toegang heeft tot de wan?

Er lijkt ook geen verkeer over de wan te lopen. Update klikken of iets binnen pfsense werkt ook niet. Package manager haalt ook niks op. Zou verwachten dat als het een firewall ruling ofzo is dat native dingen wel de wan kunnen gebruiken?

Iemand een idee?

[EverLast2002]

Gaat de fiber rechtstreeks in de Qotom sfp of zit er nog een KPN ONT kastje tussen?

[Decarsul]

EverLast2002 schreef op woensdag 19 juni 2024 @ 20:44:
Gaat de fiber rechtstreeks in de Qotom sfp of zit er nog een KPN ONT kastje tussen?

Gaat rechtstreeks. Dus extern ip adres. Hierom ook de iptv configuratie.

[EverLast2002]

Decarsul schreef op woensdag 19 juni 2024 @ 21:07:
[...]


Gaat rechtstreeks. Dus extern ip adres. Hierom ook de iptv configuratie.

Ik zit niet zo in de fiber techniek enzo, maar kan het zijn dat door het ontbreken van een ONT kastje jouw fiber aansluiting (nog) niet geactiveerd is bij KPN?
Of krijg je dan ook helemaal geen WAN ip adres als dat het euvel is?
(ik ben me aan het inlezen m.b.t. fiber dus don't shoot me).

[Decarsul]

EverLast2002 schreef op woensdag 19 juni 2024 @ 21:13:
[...]


Ik zit niet zo in de fiber techniek enzo, maar kan het zijn dat door het ontbreken van een ONT kastje jouw fiber aansluiting (nog) niet geactiveerd is bij KPN?
Of krijg je dan ook helemaal geen WAN ip adres als dat het euvel is?
(ik ben me aan het inlezen m.b.t. fiber dus don't shoot me).

Je hebt gelijk. Maar dit is ter voorbereiding op een ont. Voor nu gewoon fiber to the home. Gee. Serienummer nog nodig.

[EverLast2002]

"Update klikken of iets binnen pfsense werkt ook niet"

ik gebruik zelf OPNsense, maar wanneer ik geen DNS server(s) invul in "System > Settings > General" dan kan OPNsense zelf ook niets resolven.
Wellicht heeft pfSense een soortgelijke DNS setting die je kunt proberen?

[Decarsul]

EverLast2002 schreef op woensdag 19 juni 2024 @ 21:28:
"Update klikken of iets binnen pfsense werkt ook niet"

ik gebruik zelf OPNsense, maar wanneer ik geen DNS server(s) invul in "System > Settings > General" dan kan OPNsense zelf ook niets resolven.
Wellicht heeft pfSense een soortgelijke DNS setting die je kunt proberen?

Ik zal het zo eens bekijken, ik gebruik pihole, volgens mij had ik dit allemaal ingesteld richting pihole.

[jadjong]

Kan je 1.1.1.1 pingen vanuit de router?

[Decarsul]

jadjong schreef op woensdag 19 juni 2024 @ 22:13:
Kan je 1.1.1.1 pingen vanuit de router?

Neen
Reply van switchgroep. Ttl expired in transit

[jadjong]

Wat is de switchgroep?

[Decarsul]

EverLast2002 schreef op woensdag 19 juni 2024 @ 21:28:
"Update klikken of iets binnen pfsense werkt ook niet"

ik gebruik zelf OPNsense, maar wanneer ik geen DNS server(s) invul in "System > Settings > General" dan kan OPNsense zelf ook niets resolven.
Wellicht heeft pfSense een soortgelijke DNS setting die je kunt proberen?

Dns ingesteld naar lokale pihole en 1.1.1.1 als backup

[Decarsul]

jadjong schreef op woensdag 19 juni 2024 @ 22:19:
Wat is de switchgroep?

Switchgroep is een bridge. Home switch in de plaatjes.

[jadjong]

OK. Die moet je nog even negeren.
Diagnostics>Ping
Hostname: 1.1.1.1
Protocol: IPv4
Source: KPN WAN interface

[Decarsul]

jadjong schreef op woensdag 19 juni 2024 @ 22:25:
OK. Die moet je nog even negeren.
Diagnostics>Ping
Hostname: 1.1.1.1
Protocol: IPv4
Source: KPN WAN interface

Dat lijkt te werken

[jadjong]

Mooi, dan werkt je router.
Wat is de default gateway? Gezien de ttl expired ben je ergens in een rondje aan het routen.

[plizz]

Hoe zit je route tabel eruit op PfSense?

[Decarsul]

jadjong schreef op woensdag 19 juni 2024 @ 22:41:
Mooi, dan werkt je router.
Wat is de default gateway? Gezien de ttl expired ben je ergens in een rondje aan het routen.

Ik zit op subnet .30.*** default gateway is vlan adres 30.1 (ofwel pfsense).
Home switch zit in de .200.*** Reeks en heeft als gateway 200.1

[Decarsul]

jadjong schreef op woensdag 19 juni 2024 @ 22:41:
Mooi, dan werkt je router.
Wat is de default gateway? Gezien de ttl expired ben je ergens in een rondje aan het routen.

Of doel je op dit?

-- plaatje weggehaald --

[ Voor 43% gewijzigd door Decarsul op 19-06-2024 23:07 ]

[Decarsul]

Aha. Hier de default gateway naar wan gezet en dan kan ik pingen vanaf de bridge en laptop

[jadjong]

Why TF staat die homeswitch daar als gateway tussen? Weg met dat ding.

[Decarsul]

jadjong schreef op woensdag 19 juni 2024 @ 22:59:
Why TF staat die homeswitch daar als gateway tussen? Weg met dat ding.

Geen idee...
Kan mij ook niet herinneren dat te hebben geconfigureerd. Maar dat hoort dus op wan te staan? Graag bevestiging.

Dan kan ik vrijdag weer verder knutselen. (Het helpt niet dat er gaten van enkele maanden zitten in de configuratie stappen..)

[Decarsul]

jadjong schreef op woensdag 19 juni 2024 @ 22:59:
Why TF staat die homeswitch daar als gateway tussen? Weg met dat ding.

Ik denk... door het maken van de bridge, zodat ik de vlan's naar alle interfaces kan trunken, dat deze misschien automatisch erbij is gekomen? Lijkt mij namelijk een beetje op een NAT Loopback config.

[jadjong]

Weet je zeker dat die bridge goed gaat? Normaal maak je eerst een bridge aan over allerlei fysieke interfaces, dat geeft je dan 1 virtuele interface in het apparaat. Daarna ga je pas vlan aanmaken op die virtuele interface.

[Decarsul]

jadjong schreef op donderdag 20 juni 2024 @ 09:56:
Weet je zeker dat die bridge goed gaat? Normaal maak je eerst een bridge aan over allerlei fysieke interfaces, dat geeft je dan 1 virtuele interface in het apparaat. Daarna ga je pas vlan aanmaken op die virtuele interface.

Nee, documentatie die ik kon vinden was niet toereikend (voor mij), dus paar youtube filmpjes etc. gekeken en het lijkt te werken. Maar kon verder niet testen vanwege verkeerde SFP en heb geen managed switch spare liggen om tagging etc. mee te testen.

Telkens als ik mijn ip ververs krijg ik een ip reeks uit 1 van de subnets die ik heb geconfigureerd dus ik denk dat het goed gaat. Maar aangezien ik gewend ben een primary Vlan id te kunnen geven en dit niet bestaat binnen PfSense weet ik het niet zeker tot ik het daadwerkelijk testen kan.

Mijn theorie was als volgt:
Enable alle interfaces die ik wil gebruiken.
Maak Vlan's aan welke je nodig hebt. (zet dhcp aan voor elk van deze)
Wijs externe Vlan's toe aan WAN interface (of PPPOE in dit geval)
Wijs Vlan's toe aan LAN interfaces, maar omdat ik een vlan maar aan 1 interface mocht koppelen, van de 7, kwam ik uit op bridging.
Bridge aangemaakt en daar de interfaces aan toegevoegd en Vlan's

Dan begreep ik dat elke interface als trunk zou moeten functioneren en was het alleen de PVID en VID's toewijzen aan de ontvangende switchpoort / client en vanuit daar de rest doen.

[EverLast2002]

Je kan in pfSense aan 1 fysieke nic meerdere vlans toekennen.
Dat hele Bridging hoeft volgens mij niet eens.

[Decarsul]

EverLast2002 schreef op donderdag 20 juni 2024 @ 16:01:
Je kan in pfSense aan 1 fysieke nic meerdere vlans toekennen.
Dat hele Bridging hoeft volgens mij niet eens.

Nee dat klopt. 1 trunk poort maken is geen probleem (zie wan welke 4 en 6 heeft). Maar 7 trunks maken? Ofwel vlan 4 laten terugkomen op eth1, eth2, eth3 .... Dat is wat anders. Want eenmaal toegewezen aan een interface kan je hem niet opnieuw toewijzen.

[EverLast2002]

jadjong schreef op woensdag 19 juni 2024 @ 22:41:
Mooi, dan werkt je router.
Wat is de default gateway? Gezien de ttl expired ben je ergens in een rondje aan het routen.

Ping vanuit pfSense ook eens naar bijv : google.nl , one.one.one.one , tweakers.net

[Decarsul]

EverLast2002 schreef op donderdag 20 juni 2024 @ 21:25:
[...]


Ping vanuit pfSense ook eens naar bijv : google.nl , one.one.one.one , tweakers.net

Internet werkt inmiddels. Ga morgen waarschijnlijk testen met vlan tagging.

[Decarsul]

jadjong schreef op donderdag 20 juni 2024 @ 09:56:
Weet je zeker dat die bridge goed gaat? Normaal maak je eerst een bridge aan over allerlei fysieke interfaces, dat geeft je dan 1 virtuele interface in het apparaat. Daarna ga je pas vlan aanmaken op die virtuele interface.

Nope, tagging werkt niet. krijg maar 1 reeks op de managed switch binnen en dat is de reeks welke ik op de PVID heb staan aan de switch kant.

Bridge0 zit op interface IGC0
Vlan's zitten op interface IGC0 en zijn geactiveerd. (volgens een reddit post zou je de Vlans' moeten toewijzen aan 1 interface en deze onderdeel maken van de bridge)

Ben nu aan het testen met 2 Vlan's.
de ene welke 'werkt' doe ik even niks mee (Vlan 30)
De andere ben ik mee aan het proberen en zit een client op achter de managed switch (Vlan 120)

Vlan 120 toegevoegd aan IGC1. Dus 30 en 120 zitten op een andere interface maar zijn wel onderdeel van de interfaces binnen de bridge. Krijgt geen ip.

[ Voor 20% gewijzigd door Decarsul op 21-06-2024 08:31 ]

[Decarsul]

Dus de situatie voor nu:
Lan poorten 1,2,3,4 moeten vlan's 30(U), 4(T),120(T) hebben. (later zal ik dan SFP interfaces toevoegen)

[EverLast2002]

Misschien begrijp ik je uitleg niet helemaal,
maar die bovenste poort op de managed switch is in mijn beleving een Trunk poort.
Daar configureer je de Tagged vlans in die je vervolgens naar andere switchpoorten als Untagged instelt.

Untagged met een PVID werkt per switchpoort en op die poort gaat maar 1 vlan in/uit.

[Decarsul]

EverLast2002 schreef op vrijdag 21 juni 2024 @ 11:40:
Misschien begrijp ik je uitleg niet helemaal,
maar die bovenste poort op de managed switch is in mijn beleving een Trunk poort.
Daar configureer je de Tagged vlans in die je vervolgens naar andere switchpoorten als Untagged instelt.

Untagged met een PVID werkt per switchpoort en op die poort gaat maar 1 vlan in/uit.

Dat is exact wat ik aangeef.
T is tagged, U is untagged.
Trunk heeft beiden nodig, anders krijgt de switch zelf geen IP

[EverLast2002]

Decarsul schreef op vrijdag 21 juni 2024 @ 11:41:
[...]


Dat is exact wat ik aangeef.
T is tagged, U is untagged.
Trunk heeft beiden nodig, anders krijgt de switch zelf geen IP

Dan klopt 30U in de Trunk poort rechtsboven toch niet...?

[Decarsul]

EverLast2002 schreef op vrijdag 21 juni 2024 @ 11:44:
[...]


Dan klopt 30U in de Trunk poort rechtsboven toch niet...?

Jawel, dat is de PVID van die trunk, zodat ik de switch via Vlan 30 kan bereiken?

[EverLast2002]

Als je in de Trunk poort 30U omzet naar 30T dan werken VLAN 4 en 120 wel.

[Decarsul]

EverLast2002 schreef op vrijdag 21 juni 2024 @ 11:57:
Als je in de Trunk poort 30U omzet naar 30T dan werken VLAN 4 en 120 wel.

Is dit dan pfsense specifiek? Want deze configuratie is hoe het bij mij nu werkt met mijn edgerouter en brocade als router

[EverLast2002]

Decarsul schreef op vrijdag 21 juni 2024 @ 11:59:
[...]

Is dit dan pfsense specifiek? Want deze configuratie is hoe het bij mij nu werkt met mijn edgerouter en brocade als router

pfSense laat ik even voor wat het is, ik ga uit van die managed switch op je tekening, daar heb ik het over.

[Decarsul]

Ik zal zo na de lunch een poortje op de switch zetten die geen untagged /pvid heeft en alleen de vlans erop taggen en dan de pfsense router erop aan sluiten. Dan gaan we het zien.

[Decarsul]

Poortje 5 geconfigureerd zoals omschreven. Nu helemaal geen ip distributie vanuit pfsense.

[ Voor 25% gewijzigd door Decarsul op 21-06-2024 13:03 ]

[Decarsul]

Dus ja, mijn conclusie, niks mis met de configuratie van de switch.
@EverLast2002

[EverLast2002]

In mijn HP switch is de Trunk poort PVID "None".
Bij jou is het 4095 oftewel alles.
Andere benadering, zelfde resultaat dus.

Kun je poort 5 ook op "General" zetten, want ik lees dat het ingress filter soms bepaald verkeer tegenhoudt.

[ Voor 30% gewijzigd door EverLast2002 op 21-06-2024 14:03 ]

[Decarsul]

EverLast2002 schreef op vrijdag 21 juni 2024 @ 13:57:
In mijn HP switch is de Trunk poort PVID "None".
Bij jou is het 4095 oftewel alles.
Andere benadering, zelfde resultaat dus.

ok, en hoe gaat deze informatie mij helpen?

EverLast2002 schreef op vrijdag 21 juni 2024 @ 13:57:
Kun je poort 5 ook op "General" zetten, want ik lees dat het ingress filter soms bepaald verkeer tegenhoudt.

Geen idee wat je daarmee bedoeld. Als ik alles op tagged zet, voegt hij automatisch 4095 toe.

[ Voor 25% gewijzigd door Decarsul op 21-06-2024 14:08 ]

[Decarsul]

Dit zijn de per vlan opties

[EverLast2002]

"ok, en hoe gaat deze informatie mij helpen?"

Niet.
Maar even om aan te tonen dat bepaalde merken (Cisco, HP) andere termen gebruiken voor dezelfde functie.

[jadjong]

Decarsul schreef op vrijdag 21 juni 2024 @ 08:24:
[...]


Nope, tagging werkt niet. krijg maar 1 reeks op de managed switch binnen en dat is de reeks welke ik op de PVID heb staan aan de switch kant.

Je switch met een vlan untagged en de rest tagged is goed. In PFsense is het IP op de interface standaard untagged/vlan1. De vlans die je specifiek aanmaakt zijn tagged.

Ik denk dat je bridge ene puinhoop is geworden. Als ik jouw was zou ik even een extra interface met IP aanmaken op een dedicated UTP poort, dat is dan je config-poort die altijd werkt om te testen.
Daarna een bridge aanmaken op de resterende poorten en je default vlan/subnet/interface in pfsense aan die bridge koppelen. Daarna de tagged vlans op de bridge stapelen.

Wat jij wilt met meerdere trunks als een soort switch is niet hoe het in pfsense werkt, je trekt nu alles door de cpu heen. Een enkele trunk met daarachter een fysieke switch is 23x sneller.

[Decarsul]

@jadjong ik begrijp wat je zegt, maar soms is het begrijpen waarom iets wel of niet kan meer waardevol dan een truucje toepassen omdat mensen zeggen dat het zo moet en dat het beter is. Dat in combinatie met het feit dat ik een autodidact ben, ga ik het toch werkend proberen te krijgen.

Naar 1 trunk kan altijd nog.

OT: In theorie zou mijn configuratie wel gewoon moeten werken dus?

[Decarsul]

Goed.

Vanaf vanochtend bezig. Gaat niet lekker....
Huidige status.

Pfsense met 1 poort aangesloten op switch.
200.1 adres op poort. Vlans toegewezen aan ix2.
Ofwel alle vlans zouden tagged moeten zijn en 200.xxx de untagged reeks.

Switch reset uitgevoerd (foutje). Opnieuw geconfigureerd. Heeft statisch ip in 200.*** Reeks. Kan switch via netwerk bereiken.

Alle poorten met vlan1 geven .200 reeks uit.
Alle poorten met vlan30 geven .30 reeks uit.
Dus dat gaat goed.

Kan ook pingen en tracen naar 1.1.1.1

Nu de zijstap. Schuur switch aangesloten. Vlan30 untagged, vlan84 etc tagged. Kan de switch bereiken.

Nu komt het leukste.... Zodra ik de schuur aansluit, waar ook mijn unraid server staat. Gaat al het verkeer in de 30 reeks ineens via unraid?????

Hoe ik de trace verwacht:


Wat er gebeurt als ik alleen de schuur erbij aan sluit.

[ Voor 35% gewijzigd door Decarsul op 22-06-2024 22:50 ]

[Decarsul]

wijzigen ISC naar KEA dhcp werkt ook niet...
Dacht dat het eerst wel werkte, maar helaas.

Dit gebeurt overigens ook als ik de bridge compleet weghaal.

[ Voor 89% gewijzigd door Decarsul op 22-06-2024 23:18 ]

[Decarsul]

alle portforwarding etc. uitgezet.
en het netwerk werkt ineens grrrrrr

Naja, kan morgen in ieder geval de baas blij maken.
Alleen al mijn services liggen er even uit.

[Decarsul]

of toch weer niet...
ik heb nog wat troubleshooting te doen.
Er zit iets in mijn schuur wat issues veroorzaakt.

[Decarsul]

Goed...
uiteindelijk: beide switches stonden in router modus ipv switch modus.
En... het helpt als je de firewalls goed instelt...

op naar het volgende hoofdstuk... ITV...