[Aankoopadvies] 4Gb/s capable Netwerk

[FireDrunk]

Vanwege dit nieuws: nieuws: KPN begint over twee weken met 4Gbit/s-abonnement voor vast internet

En dat ik het zeker vet vind om dit te gaan gebruiken (ik heb momenteel 1Gb/s KPN Glasvezel), zit ik te kijken naar een netwerk upgrade.

Momenteel heb ik een Odroid H2 icm pfSense.
Deze heeft 'gewone' 1Gb poorten, en voor 4Gb zal ik dus naar 10Gb moeten overstappen.
Dit betekend dat ik voor een aantal apparaten een upgrade zal moeten kopen (rode lijntjes).

- Router
- 'core' switch(es), ik ben momenteel in bezit van meerdere TP-Link SG108E's
- misschien wat bekabeling (ik gok dat de kabel die ik ooit getrokken heb door mijn appartement heen, CAT5E is), maar dat lukt wel om die een keer te vervangen.

Mijn huis / netwerk indeling:



In de hoek van mijn woonkamer (Switch 1), komt mijn Glasvezel binnen. Daar hangt dus ook de NT1 met XGS-PON van KPN momenteel. De router heeft dus een upgrade nodig, en de switch die daar hangt ook.
Beide hangen in de hoek van mijn woonkamer aan de muur achter een gordijn, relatief uit het zicht.

Doel is dus om 10Gb in mijn studeerkamer te krijgen voor de apparaten daar. Minimaal 1 (Server), maar het liefst 3 (Server, en 2 * PC's).

Dingen die niet hoeven te veranderen (groene lijntjes):

AP's (zijn momenteel snel zat)
Switch 3 (zit in mijn tv meubel), daar zitten geen apparaten in die 10Gb gaan doen.

Vragen die ik heb:
Ik heb momenteel een paar VLAN's, maar gebruik het maar sporadisch (extra WLAN SSID, een IoT SSID wat ik niet gebruik, want heb alles Zigbee). Unmanaged 10Gb switches zijn (veel) goedkoper, misschien is het goed om die VLAN's te laten vallen zodat de upgrade betaalbaar wordt?

Welke router / sbc zou geschikt zijn voor 10Gb? Er zijn genoeg 2.5GbE mini pc's te vinden, maar 10GbE is behoorlijk zeldzaam. Iemand een goede tip?

Hoe zorg ik dat ik simpel de 10Gb naar de Studeerkamer krijg, zonder dat ik naast de router een extra 10Gb switch hoef te plaatsen terwijl dat ik daar lokaal helemaal geen gebruik van maak...

Slimme tips, opmerkingen, verbetersuggesties zijn zeker welkom!

Opmerkingen of 4Gb wel echt nuttig is, liever niet, dat vervuild het topic zo
Het is mijn hobby, en die mag geld kosten, ik ga ook niet steeds vragen aan anderen waarom ze graag in een Porsche rijden, terwijl een Dacia ze ook van A naar B brengt.

[WeirdEye]

Je zult in ieder geval je router moeten upgraden. Met minimaal 2 GbE poorten.

Tevens zul je inderdaad een switch moeten hebben met een aantal 10GbE poorten.
Afhankelijk hoeveel je nodig hebt.

Cat5E kan wel op een korte afstand 10GbE aan, maar dit zul je gewoon moeten testen en als niet een 10GbE link pakt de kabel wisselen, maar ik zelf heb het wel werkend gekregen. Advies zou dan Cat6 zijn.

Ik heb zelf een Netgear Prosafe S3300-28X-PoE+ welke via V&A heb overgenomen van een tweaker. Die heeft 4x 10GbE, waarvan 2 ethernet en de andere SPF

Via V&A is wel aanbod in 2e hands 10GbE swiches

[MrJoery]

In plaats van een mogelijk erg dure 10gbit router te kopen kun je mogelijk eens kijken naar een goedkopere met meerdere 1 of 2,5gbit poorten. pfSense / OPNsense ondersteunen LAGG (link aggregation), hiermee kun je meerdere poorten "samenvoegen" om zo aan de 4gbit te komen. Er zijn echter ook wel wat kleine nadelen / beperkingen aan LAGG.

Netgate Docs

[nelizmastr]

Er bestaat ook de tussenstandaard 5GbE, deze werkt ook over kwalitatief goede cat5e.
Op moderne multigig switches ook ondersteund.

Een LAG van 2 2,5GbE poorten levert i.t.t. hierboven beweerd geen 5Gbit op maar een kanaal welke 2 apparaten op 2,5GbE kan bedienen, dus je moet echt naar 5GbE of 10Gig.

[DVX73]

Er staat nog niet zoveel in de pricewatch.
Wel zag ik deze uitvoering: QNAP QHORA-322 die aan de meeste wensen lijkt te voldoen.

Misschien de belangrijkste vraag hier welk budget heb je in gedachte?
Want je kan helemaal los gaan met zakelijke apparatuur e.d.

Alternatief is zelf een router bouwen, zie hier de benodigde hardware https://www.netgate.com/blog/diy-10gbe-linux-router

[ Voor 15% gewijzigd door DVX73 op 09-10-2023 21:56 ]

[FireDrunk]

Zelf bouwen is zeker een optie. Heb al zitten kijken naar ITX plankjes en eventueel een 2x 10GbE PCIe kaartje, of M.2 -> 10GbE netwerk kaartjes.

Ik had stille hoop dat er ergens een 'mini' pc rondzwierf welke dit mooi support.
Online zijn er wel wat 1 poort 10GbE SBC's te krijgen, maar (nog) niet echt een router.

[edwinwd]

Servethehome heeft een review gedaan van een mini pc met 2 x 10gbps sfp poorten:
https://www.servethehome....virtualization-appliance/

Aangezien hier ook de nodige 2,5 gbps poorten op zitten, hoef je waarschijnlijk ook de switch in je woonkamer niet te vervangen, er vanuit gaande dat je alleen 10gbps naar je studeerkamer nodig hebt. De 2.5 gbit poorten zijn immers prima zelfs voor de snelste wifi 6 access points.

Ik weet verder niet wat er op je server draait, maar ik heb zelf met een wat eenvoudigere versie van deze mini pc (zonder 10gbps en met minder krachtige cpu) mijn bestaande server overbodig gemaakt (moet je wel je firewall/router gevirtualiseerd draaien op je server, wat uit security perspectief niet helemaal optimaal is, maar dat had ik er wel voor over. In mijn geval opnsense draait prima virtueel op een arch linux host waar ik verder nog een hele lading docker containers op draai).

Het basismodel op aliexpress is 430 euro (https://nl.aliexpress.com/item/1005005713408825.html - wel even het juiste model kiezen, niet de versie met 8x2.5 gbit), daar komt dan nog ram, storage en 2xsfp naar rj45 (tip: fs.com) bij, dus uiteindelijk niet heel goedkoop, aan de andere kant als je de prijs van een switch minder en eventueel de stroomkosten van je server er vanaf haalt, dan is het best te doen.

[FireDrunk]

Die is ook wel gaaf inderdaad! Ik zag ook de R86S-G3 als alternatief, die is ook erg gaaf!
Thanks voor de tip!

[DexterDee]

Hou ook even rekening met het feit dat je voor PPPoE op 4 gbps een behoorlijk krachtige CPU nodig hebt. OPNSense / pfSense hebben een single-core PPPoE implementatie waarbij de hoeveelheid cores dus niks gaat helpen, maar een hooggeklokte "beefy" CPU dus wel.

Met een Intel N100 (4 cores, 3,4 Ghz boost) haal je net geen 2gbps over PPPoE. Dat is een vrij populaire mobiele processor in zelfbouw-routers omdat die modern, zuinig en toch ook krachtig is. Wil je minstens 4 gbps doorvoersnelheid hebben, dan kom je al gauw uit op een desktop processor die lawaaierig en onzuinig is.

[FireDrunk]

Dat is nieuw voor mij, ik heb nu een 1Gb verbinding, en zie amper CPU load.
Is dat niet het probleem dat BSD (pfSense) niet zo goed met de offloading functies van je netwerkkaart om kunnen gaan? Die heb ik volgens mij uit gezet...

@DexterDee Net even gecheckt, als ik mijn verbinding dicht trek met een speedtest, doet mijn huidige CPU:
Intel(R) Celeron(R) J4105 CPU @ 1.50GHz
~51% CPU usage in pfSense. Ik heb Large Receive Offloading en TCP Segment Offloading uit staan.
Hardware Checksum offloading staat aan.

[ Voor 38% gewijzigd door FireDrunk op 11-10-2023 08:54 ]

[DexterDee]

FireDrunk schreef op dinsdag 10 oktober 2023 @ 15:02:
Dat is nieuw voor mij, ik heb nu een 1Gb verbinding, en zie amper CPU load.

Het gaat specifiek om verbindingen die vanuit de provider PPPoE moeten gebruiken, zoals KPN. Andere type verbindingen zijn hier niet zo gevoelig voor. Het is volgens mij redelijk common knowledge dat PPPoE een uitdaging kan zijn bij hoge bandbreedtes, zeker met routers gebaseerd op FreeBSD / OpenBSD.

Hier wat topics die ik met een snelle search kon vinden:
https://forum.opnsense.org/index.php?topic=27049.0
https://teklager.se/en/kn...gabit-throughput-pfsense/

Als je die speedtest op je eigen router draait, zie je dan één core veel meer belast worden dan andere cores? Want dat is een indicatie dat de PPPoE afhandeling single threaded werkt. Hoe dan ook ben ik er vrij zeker van dat een J4105 Celeron 4gbps bij lange na niet haalt.

[FireDrunk]

DexterDee schreef op woensdag 11 oktober 2023 @ 09:23:
[...]

Het gaat specifiek om verbindingen die vanuit de provider PPPoE moeten gebruiken, zoals KPN. Andere type verbindingen zijn hier niet zo gevoelig voor. Het is volgens mij redelijk common knowledge dat PPPoE een uitdaging kan zijn bij hoge bandbreedtes, zeker met routers gebaseerd op FreeBSD / OpenBSD.

Hier wat topics die ik met een snelle search kon vinden:
https://forum.opnsense.org/index.php?topic=27049.0
https://teklager.se/en/kn...gabit-throughput-pfsense/

Als je die speedtest op je eigen router draait, zie je dan één core veel meer belast worden dan andere cores? Want dat is een indicatie dat de PPPoE afhandeling single threaded werkt. Hoe dan ook ben ik er vrij zeker van dat een J4105 Celeron 4gbps bij lange na niet haalt.

Ik zie op 2 cores ~70% belasting, vooral "kernel re0/re1 taskq". Dat klinkt als gewoon ruwe packet transfers.
Ik zie niet specifiek iets van PPPoE load.

Dat de Celeron geen 4Gb zou trekken had ik op zich ook wel verwacht, maar dat geeft ook niet, hij heeft er uberhaupt de NIC's niet voor. Dus hij is toch ongeschikt

[Zenix]

Neem ook glasvezel (grotendeels) in je overweging, want minder stroomverbruik. Een simplex single mode kan 25Gbps/s doen met BiDi maar 100Gbps komt er ook aan. Als duplex past, dan liever dat natuurlijk, zijn de transcievers nog goedkoper. Ik zou ook de glasvezel verlengen naar een andere ruimte, want apparatuur dat 10Gbps kan doen, gaat ook meer herrie maken.

Als je naar glas gaat kijken, heb je ook meerdere mogelijkheden.
Bijvoorbeeld deze switch uitvoering: TP-Link JetStream TL-SX3008F
Voor 10Gb RJ-45 kan je paar modules van deze gebruiken uitvoering: TP-Link TL-SM5310-T
10Gb BiDI SFP+ https://www.fs.com/de-en/products/36353.html
Als de apparatuur dichtbij staat DAC kabels https://www.fs.com/de-en/products/30849.html
Keystone die je kan gebruiken in je patchpaneel en WDC met pre-made SMF: https://www.fs.com/de-en/products/143313.html
Voor glasvezel zijn bijvoorbeeld de Mellanox ConnectX-3 betaalbare en goede kaarten.

En voor de router kan je deze overwegen:
https://www.tp-link.com/n.../omada-sdn-router/er8411/
Volgens de specificaties kan die 10Gbps doen met PPPoE. Als je software routers wilt gaan gebruiken, dan zou ik geen FreeBSD gebruiken, want die gebruikt gewoon meer CPU. Dan kan je beter naar VyOS kijken of eventueel OpenWRT, waarbij de eerste zeer geavanceerd is met uitgebreide opties op de CLI.

[ Voor 27% gewijzigd door Zenix op 11-10-2023 16:56 ]

[FireDrunk]

Glasvezel trekken zou inderdaad kunnen, dat is op zich een idee. Als ik dat toch al ga doen, kan ik net zo goed, de 10Gb doortrekken naar de studeerkamer en de resterende 1Gb via de oude kabel 'terug' brengen.
Dat scheelt dan weer een switch. Dan kan ik toe met 1 * 10Gb switch, en misschien een extra 1Gb switch met een SFP(+) poort om de uplink naar de 10Gb in te stoppen.

Ik ga denk ik wel echt liever voor een software router dan voor een hardware router. Ik heb momenteel zoveel spul in pfSense draaien wat niet zomaar op een hardware router kan dat dat echt niet leuk meer is (VPN, HAProxy, Let's Encrypt). Ik denk dat ik het gewoon ga proberen met pfSense, en als ik dan maar (bij wijze van spreken) net 3/3/5Gb zou halen, moet ik daar misschien maar genoegen mee nemen...

[ Voor 11% gewijzigd door FireDrunk op 12-10-2023 08:59 ]

[FireDrunk]

Misschien toch maar eens naar deze kijken: YouTube: This is a SUPER Homelab REVOLUTION Evolution!

[Tortelli]

Glas in huis aanleggen is best een cool idee alleen praktisch wel lastig met afwerking etc. Wil je simpel klaar zijn koop je een koper gebaseerde switch die 2,5/5 en 10Gbit doet. 5Gbit werkt in de meeste gevallen probleemloos op goede Cat5e kabels waarmee je jou snelheidsprobleem direct opgelost hebt.
Nadeel is wel dat RJ45 switches gewoon duur zijn, onder de €400 zul je niets vinden.

In de basis zou ik niet zo snel gaan werken met trancievers als je met koper wil werken. Ik heb het zelf gedaan maar kreeg dit niet stabiel / probleemloos werkende met uitvoering: Ubiquiti UniFi Switch Aggregation en 10Gbit tranciers. Bleef onstabiel, transcievers werden erg warm etc. Zit ook redelijk op de kabellengte grens wat een van de problemen is denk ik. Trancievers zijn ook duur waardoor je onder de streep niet goedkoper uitbent.

FireDrunk schreef op donderdag 12 oktober 2023 @ 10:53:
Misschien toch maar eens naar deze kijken: YouTube: This is a SUPER Homelab REVOLUTION Evolution!

Hee tof kastje die qua temperaturen wel op de grens zit volgens mij. Eigenlijk zou je een eigen ITX systeempje moeten maken met een 10Gbit kaart erin en een simpele Core i3 ofzo. Alleen is dit al snel duurder en nog onzuiniger volgens mij.

Heb zelf een 4x2,5Gbit TopTon unit liggen met een N6005 waarmee ik nog aan de slag wil maar twijfel nog altijd of ik werkelijk die route moet bewandelen, vooral vanwege future opgrade mogelijkheden (2,5Gbit is nu al niet genoeg... zit zelf overigens niet in het XGS-PON gebied dus zal nog wel even op Gbit vast zitten...)

[ Voor 31% gewijzigd door Tortelli op 12-10-2023 15:13 ]