Het >10 Gbit zelfbouw router topic

Pagina: 1
Acties:

Acties:
  • +9 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
In onder andere het KPN en Delta XGS-PON topic worden 10 Gbit zelfbouw routers met SFP+ slots uitvoerig besproken.

Om daarin niet teveel off-topic te gaan, creeër ik bij deze dit topic zodat we alle zelfbouw opties hier kunnen bespreken :)

Binnenkort zal ik even tijd maken om deze topicstart uit te breiden.

Acties:
  • +3 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
Zelf zal ik even het spits afbijten:

Geïnspireerd door deze thread op STH, gebruik ik een Lenovo M720q omgebouwd tot router met Debian 12, systemd-networkd en firewalld. Wellicht dat ik in de toekomst nog naar OPNsense overstap.

Voor de uplink met Delta XGS-PON gebruik ik de Zaram XGS-PON ONU in een Dell 5N7Y5, gebaseerd op de Intel X710-DA2, met firmware 22.5.7, unlocked met xl710-unlocker. Dat werkt goed en stabiel en ik ben erg tevreden. Wel had ik achteraf waarschijnlijk de Intel X710-DA4 met 4 i.p.v. 2 SFP+ poorten genomen.

De Lenovo M720q ondersteunt low-profile PCIe kaarten d.m.v. een proprietary riser, typenummer 01AJ940. Wel verlies je dan de ruimte om een SATA SSD te plaatsen, dus je zult het met alleen een NVMe SSD moeten doen.

Tevens heb ik een Realtek RTL8125BG 2.5Gbit NIC in het WLAN slot geplaatst.

In totaal heb ik daarmee:
  • 2x 10 Gbit SFP+ (Intel X710)
  • 1x 2.5Gbit RJ45 (Realtek RTL8125)
  • 1x 1GBit RJ45 (Intel I219-V)
Tegen de volgende kosten:
  • Lenovo M720q met i3 8100T, 8GB RAM, 256GB NVMe SSD €110.00
  • PCIe riser €13.64
  • Intel X710-DA2 dual slot SFP+ card €73.03
  • Realtek RTL8125BG M.2 A+E 2.5G NIC €14.94
  • Lenovo VESA beugel voor M720q en voeding €20.41
  • Totaal: €232.02
De Zaram van €130,- heb ik in dit overzicht er even buiten gelaten.

Bijgevoegd nog een fotootje van hoe het er momenteel bij hangt. Aan kabelmanagement en een beugeltje voor de 2.5 Gbit NIC die met een riser cable uit het M.2 WLAN slot komt, wordt nog gewerkt. Er komt ook nog een nieuwe switch ter vervanging van de Edgerouter. Binnenkort trek ik namelijk nog 10 extra UTP kabels door het huis en dat is efficienter om in één keer aan te pakken. Ik wil namelijk een deel op 10Gbit aansluiten en sommige oudere devices of 2.5 of 1 Gbit.

De oplettende kijker zal opvallen dat op deze foto de BiDi module voor het AON nog niet door de Zaram vervangen is en ik de FRITZ!Box telefooncentrale, die tijdelijk doubleert als switch, even buiten beeld heb gelaten. Alles netjes ophangen is een work in progress en onhandig bij het kabels trekken en patchen in een ruimte kleiner dan een jerrycan.
Afbeeldingslocatie: https://tweakers.net/i/0WL0-h5V6Uilc1V4hu-WmIS2TMs=/x800/filters:strip_icc():strip_exif()/f/image/APLQ1lkg1GGSEZWc4thNNG5N.jpg?f=fotoalbum_large

[ Voor 129% gewijzigd door ikke26 op 30-04-2024 20:04 ]


Acties:
  • +1 Henk 'm!

  • zzattack
  • Registratie: Juli 2008
  • Laatst online: 22:44
Geen zelfbouw, maar heb zelf voor €750 een CCR2116 ingezet naar volle tevredenheid. In deze context waarschijnlijk geen heel gek alternatief.

Acties:
  • 0 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
@zzattack Zeker niet! Als je een kant-en-klaar en vendor ondersteund alternatief zoekt met veel SFP+ en meteen een switch erbij ziet dat eruit as een prima oplossing. Tevens A+B power supplies zie ik! Wel in een heel andere prijscategorie.

Even ter vergelijking, voor ca. €50,- extra zou ik de M720q met een X710-DA4 met 4 SFP+ poorten kunnen uitrusten, en een 1 of 2.5 gigabit switch kost ook de wereld niet meer.

[ Voor 3% gewijzigd door ikke26 op 30-04-2024 12:46 ]


Acties:
  • 0 Henk 'm!

  • Raven
  • Registratie: November 2004
  • Niet online

Raven

Marion Raven fan

ikke26 schreef op dinsdag 30 april 2024 @ 12:07:
gebruik ik een Lenovo M720q omgebouwd tot router met Debian 12, systemd-networkd en firewalld.
* Raven gebruikt nftables op zijn router-pc met Debian 12.
Is er een reden dat je firewalld gebruikt?
ikke26 schreef op dinsdag 30 april 2024 @ 12:07:
  • Lenovo M720q met i3 8100T, 8GB RAM, 256GB NVMe SSD €110.00
Ook hier een i3 8100T, maar in een uitvoering: Shuttle XPC XH310RV en 1Gb down en up i.p.v. 10. 1Gb doet ie zonder merkbare CPU-load, hierbij is er overigens geen sprake van IDS/IPS. Kan de 8100T 10Gb aan en is dit met of zonder IDS/IPS (Suricata)?

Overigens had ik bij het lezen van de titel iets over VPP verwacht :P

After the first glass you see things as you wish they were. After the second you see things as they are not. Finally you see things as they really are, and that is the most horrible thing in the world...

Oscar Wilde


Acties:
  • 0 Henk 'm!

  • stormfly
  • Registratie: Juli 2001
  • Laatst online: 22:26
@ikke26 @zzattack ik mist in jullie tips een aanbevelingen nog het daadwerkelijke stroomverbruik is dat nog toe te voegen?

Leuk topic ik ben sucbsribed

[ Voor 11% gewijzigd door stormfly op 30-04-2024 15:25 ]


Acties:
  • +1 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
Raven schreef op dinsdag 30 april 2024 @ 15:08:
[...]

* Raven gebruikt nftables op zijn router-pc met Debian 12.
Is er een reden dat je firewalld gebruikt?
De keuze voor firewalld is vooral gebruiksgemak.
De hoeveelheid dubbele firewall rules voor ipv4 en ipv6 zijn er minimaal mee geworden.
Dynamische reloads werken ook erg fijn.
Nu ik eenmaal een goed begrip heb van hoe zones werken en hoe die mappen naar nftables/iptables is het een mooie abstractie, vooral i.c.m. VLANs in networkd.

Nftables, heb ik nog niet veel ervaring mee, maar Firewalld genereert die op de achtergrond.

code:
1
2
3
4
5
6
sudo nft list tables

table ip filter
table ip io.systemd.nat
table ip6 io.systemd.nat
table inet firewalld


Ik had Firewalld al in gebruik voor een aantal VPS'en die ik beheer met Incus containers, en realiseerde me dat client devices in principe niet anders zijn.
[...]

Ook hier een i3 8100T, maar in een uitvoering: Shuttle XPC XH310RV en 1Gb down en up i.p.v. 10. 1Gb doet ie zonder merkbare CPU-load, hierbij is er overigens geen sprake van IDS/IPS. Kan de 8100T 10Gb aan en is dit met of zonder IDS/IPS (Suricata)?

Overigens had ik bij het lezen van de titel iets over VPP verwacht :P
Ik gebruik op dit moment nog geen IDS / IPS, maar zonder haal ik makkelijk 10Gb.
Dit is een iperf3 vanaf een van de Incus containers die op de router draait.
Wanneer ik dit run, gaat 1 core naar 100% en een andere naar ca. 80%.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
iperf3 -c 10.10.20.1 -p 5201
Connecting to host 10.10.20.1, port 5201
[  5] local 10.10.20.21 port 54212 connected to 10.10.20.1 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  4.03 GBytes  34.6 Gbits/sec    0    420 KBytes       
[  5]   1.00-2.00   sec  4.04 GBytes  34.7 Gbits/sec    0    420 KBytes       
[  5]   2.00-3.00   sec  4.00 GBytes  34.3 Gbits/sec    0    536 KBytes       
[  5]   3.00-4.00   sec  4.03 GBytes  34.6 Gbits/sec    0    650 KBytes       
[  5]   4.00-5.00   sec  4.05 GBytes  34.8 Gbits/sec    0    650 KBytes       
[  5]   5.00-6.00   sec  4.02 GBytes  34.5 Gbits/sec    0    686 KBytes       
[  5]   6.00-7.00   sec  4.05 GBytes  34.8 Gbits/sec    0    686 KBytes       
[  5]   7.00-8.00   sec  4.00 GBytes  34.4 Gbits/sec    0    686 KBytes       
[  5]   8.00-9.00   sec  4.05 GBytes  34.8 Gbits/sec    0    686 KBytes       
[  5]   9.00-10.00  sec  4.05 GBytes  34.8 Gbits/sec    0    686 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  40.3 GBytes  34.6 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  40.3 GBytes  34.6 Gbits/sec                  receiver

iperf Done.

[ Voor 11% gewijzigd door ikke26 op 30-04-2024 15:33 ]


Acties:
  • +2 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
stormfly schreef op dinsdag 30 april 2024 @ 15:23:
@ikke26 @zzattack ik mist in jullie tips een aanbevelingen nog het daadwerkelijke stroomverbruik is dat nog toe te voegen?

Leuk topic ik ben sucbsribed
Actueel stroomverbruik volgt! Ik heb een nieuwe energiemeter in bestelling.
Ben ook bezig met een uitgebreidere post met stappenplan, maar die is momenteel nog erg work-in-progress.

Als ik hier kijk halen anderen met de combi M720q en X710-DA2 zo'n 10W in idle met een DAC kabel.

In mijn geval heb ik er alleen wel een Zaram SFP+ module in zitten en geen DAC kabel, en de Realtek NIC zorgt waarschijnlijk ook nog voor wat verbruik. Ik vermoed dus zo'n 12-15W.

[ Voor 43% gewijzigd door ikke26 op 30-04-2024 15:47 ]


Acties:
  • +1 Henk 'm!

  • br00ky
  • Registratie: Januari 2014
  • Laatst online: 22:30

br00ky

Moderator Harde Waren
Wat dit in CSL doet is mij niet helemaal duidelijk. Schopje naar NT.

Acties:
  • 0 Henk 'm!

  • Raven
  • Registratie: November 2004
  • Niet online

Raven

Marion Raven fan

ikke26 schreef op dinsdag 30 april 2024 @ 15:28:
[...]


De keuze voor firewalld is vooral gebruiksgemak.
De hoeveelheid dubbele firewall rules voor ipv4 en ipv6 zijn er minimaal mee geworden.
Dynamische reloads werken ook erg fijn.
Nu ik eenmaal een goed begrip heb van hoe zones werken en hoe die mappen naar nftables/iptables is het een mooie abstractie, vooral i.c.m. VLANs in networkd.

Nftables, heb ik nog niet veel ervaring mee, maar Firewalld genereert die op de achtergrond.

code:
1
2
3
4
5
6
sudo nft list tables

table ip filter
table ip io.systemd.nat
table ip6 io.systemd.nat
table inet firewalld


Ik had Firewalld al in gebruik voor een aantal VPS'en die ik beheer met Incus containers, en realiseerde me dat client devices in principe niet anders zijn.
Ah okee, ik heb de firewall met een nftables-script geschreven, hierbij IPv4 en IPv6 apart omdat ik voor de overstap naar KPN van een IPv6-tunnel gebruik maakte, waarvan het verkeer over een andere (virtuele) interface gaat, wat het combineren van regels onmogelijk maakt :P

Sinds de overstap naar KPN nog niets met IPv6 gedaan, zit met dubbel NAT i.v.m. issue tussen Debian en PPPoE :/ Maar heb al wel eens gekeken naar hoeveel ik kan combineren met "inet", zodra ik mijn eigen router-pc rechtstreeks aangesloten heb (moet ik nog eens weer naar kijken) ga ik daar mee aan de gang.
ikke26 schreef op dinsdag 30 april 2024 @ 15:28:
[...]


Ik gebruik op dit moment nog geen IDS / IPS, maar zonder haal ik makkelijk 10Gb.
Dit is een iperf3 vanaf een van de Incus containers die op de router draait.
Wanneer ik dit run, gaat 1 core naar 100% en een andere naar ca. 80%.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
iperf3 -c 10.10.20.1 -p 5201
Connecting to host 10.10.20.1, port 5201
[  5] local 10.10.20.21 port 54212 connected to 10.10.20.1 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  4.03 GBytes  34.6 Gbits/sec    0    420 KBytes       
[  5]   1.00-2.00   sec  4.04 GBytes  34.7 Gbits/sec    0    420 KBytes       
[  5]   2.00-3.00   sec  4.00 GBytes  34.3 Gbits/sec    0    536 KBytes       
[  5]   3.00-4.00   sec  4.03 GBytes  34.6 Gbits/sec    0    650 KBytes       
[  5]   4.00-5.00   sec  4.05 GBytes  34.8 Gbits/sec    0    650 KBytes       
[  5]   5.00-6.00   sec  4.02 GBytes  34.5 Gbits/sec    0    686 KBytes       
[  5]   6.00-7.00   sec  4.05 GBytes  34.8 Gbits/sec    0    686 KBytes       
[  5]   7.00-8.00   sec  4.00 GBytes  34.4 Gbits/sec    0    686 KBytes       
[  5]   8.00-9.00   sec  4.05 GBytes  34.8 Gbits/sec    0    686 KBytes       
[  5]   9.00-10.00  sec  4.05 GBytes  34.8 Gbits/sec    0    686 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  40.3 GBytes  34.6 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  40.3 GBytes  34.6 Gbits/sec                  receiver

iperf Done.
..... meer dan 30Gbps? :? Maar wel lagere CPU load dan ik had verwacht :)

After the first glass you see things as you wish they were. After the second you see things as they are not. Finally you see things as they really are, and that is the most horrible thing in the world...

Oscar Wilde


Acties:
  • +1 Henk 'm!

  • Kanarie
  • Registratie: Oktober 2000
  • Laatst online: 15:50

Kanarie

תֹ֙הוּ֙ וָבֹ֔הוּ

Afbeeldingslocatie: https://tweakers.net/i/UrF_L256Mcm5HK9Uu5lX9icRIt4=/800x/filters:strip_icc():strip_exif()/f/image/XmkFexF9nbG6OjvUogc8aX6i.jpg?f=fotoalbum_large

Voor mijn 10Gbit router gebruik ik een R86S-N met N305 CPU en een Mellanox ConnectX3 OCP netwerkkaart. Ook te krijgen met een Intel NIC, maar die kan in dit systeem geen 2x full duplex 10Gbit aan vanwege PCIe bandbreedte (Gen2 kaart, 4x connectie). Een Mellanox ConnectX4 kaart kan ook, voor dual 25G met SFP28, maar die kaart alleen al heeft een idle power draw van 9W en kan vanwege de PCIe bandbreedte (Gen3 kaart, 4x connectie) niet full duplex 25G verwerken.

Idle power is 14W met een 10G SFP+ DAC, 1G SFP BiDI fiber optic en een 1Gbit UTP verbonden.

We're trapped in the belly of this horrible machine. And the machine is bleeding to death.


Acties:
  • +1 Henk 'm!

  • stormfly
  • Registratie: Juli 2001
  • Laatst online: 22:26
Kanarie schreef op dinsdag 30 april 2024 @ 17:37:
[Afbeelding]

Voor mijn 10Gbit router gebruik ik een R86S-N met N305 CPU en een Mellanox ConnectX3 OCP netwerkkaart. Ook te krijgen met een Intel NIC, maar die kan in dit systeem geen 2x full duplex 10Gbit aan vanwege PCIe bandbreedte (Gen2 kaart, 4x connectie). Een Mellanox ConnectX4 kaart kan ook, voor dual 25G met SFP28, maar die kaart alleen al heeft een idle power draw van 9W en kan vanwege de PCIe bandbreedte (Gen3 kaart, 4x connectie) niet full duplex 25G verwerken.

Idle power is 14W met een 10G SFP+ DAC, 1G SFP BiDI fiber optic en een 1Gbit UTP verbonden.
Wat kan dit kastje aan bandbreedte routeren over de N-305? Heb je dat kunnen testen, via PPPoE encapsulatie en/of DHCP/static IP?

Acties:
  • +1 Henk 'm!

  • Kanarie
  • Registratie: Oktober 2000
  • Laatst online: 15:50

Kanarie

תֹ֙הוּ֙ וָבֹ֔הוּ

stormfly schreef op dinsdag 30 april 2024 @ 18:08:
[...]


Wat kan dit kastje aan bandbreedte routeren over de N-305? Heb je dat kunnen testen, via PPPoE encapsulatie en/of DHCP/static IP?
<20% CPU voor full duplex 1GBit met Cake-SQM en PPPoE (iperf3 naar een eigen colocated server). Routed IP heb ik al een tijdje niet meer getest, maar trekt full duplex 10Gbit vol (Lokaal, maar wel routed voor de test).

We're trapped in the belly of this horrible machine. And the machine is bleeding to death.


Acties:
  • +1 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
Raven schreef op dinsdag 30 april 2024 @ 17:17:
[...]
Ah okee, ik heb de firewall met een nftables-script geschreven, hierbij IPv4 en IPv6 apart omdat ik voor de overstap naar KPN van een IPv6-tunnel gebruik maakte, waarvan het verkeer over een andere (virtuele) interface gaat, wat het combineren van regels onmogelijk maakt :P

Sinds de overstap naar KPN nog niets met IPv6 gedaan, zit met dubbel NAT i.v.m. issue tussen Debian en PPPoE :/ Maar heb al wel eens gekeken naar hoeveel ik kan combineren met "inet", zodra ik mijn eigen router-pc rechtstreeks aangesloten heb (moet ik nog eens weer naar kijken) ga ik daar mee aan de gang.
Het mooie van FirewallD is dus dat zelfs dat heel eenvoudig kan. Je voegt dan simpelweg de interface van de ipv6 upstream toe aan de "public" zone en de interne blijft hetzelfde. Op die manier kun je ook leuke setups bouwen met bijvoorbeeld wireguard tunnels die je in een bepaalde zone zet, waar vanaf of naartoe je restricties opzet tussen bijvoorbeeld en je "vpn", "home", "camera" of "iot" LAN en ook tussen die zones weer.

En mocht je er dan niet meer uitkomen, ik heb goeie ervaringen met zowel de firewalld als de nft ruleset printen en ChatGPT vragen wat er gebeurd. Die legt dat dan redelijk duidelijk uit, en weet zelfs vaak te vertellen waarom wat je beoogt te bereiken op dat moment nog niet werkt.
[...]

..... meer dan 30Gbps? :? Maar wel lagere CPU load dan ik had verwacht :)
Ja, maar wel met een virtio connectie lokaal tussen de host en een Incus container over een network bridge.
Over een paar weken is mijn 10 Gbit NAS ready, dan kan ik binnen het LAN ook testen.

De load op de eerste core is van de host iPerf3 server, de tweede voor de client in de LXC container. Dus eigenlijk zou je wat dat betreft de load zelfs nog door 2 moeten delen.

Afbeeldingslocatie: https://tweakers.net/i/6zFZ3C49GsARsJ51br5qSQE8q20=/800x/filters:strip_exif()/f/image/nqS1TIHrxdEgKO1UquqCO5HX.png?f=fotoalbum_large

Acties:
  • 0 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
br00ky schreef op dinsdag 30 april 2024 @ 16:24:
Wat dit in CSL doet is mij niet helemaal duidelijk. Schopje naar NT.
Prima, ik wist niet zeker waar dit topic het meest gepast was en had voor CSL gekozen vanwege het vergelijkbare "Het grote zuinige server topic". In NT is ook prima!

Acties:
  • 0 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
Kanarie schreef op dinsdag 30 april 2024 @ 17:37:
[Afbeelding]

Voor mijn 10Gbit router gebruik ik een R86S-N met N305 CPU en een Mellanox ConnectX3 OCP netwerkkaart. Ook te krijgen met een Intel NIC, maar die kan in dit systeem geen 2x full duplex 10Gbit aan vanwege PCIe bandbreedte (Gen2 kaart, 4x connectie). Een Mellanox ConnectX4 kaart kan ook, voor dual 25G met SFP28, maar die kaart alleen al heeft een idle power draw van 9W en kan vanwege de PCIe bandbreedte (Gen3 kaart, 4x connectie) niet full duplex 25G verwerken.

Idle power is 14W met een 10G SFP+ DAC, 1G SFP BiDI fiber optic en een 1Gbit UTP verbonden.
Mooie setup! Heb daar ook naar gekeken, maar de R86S was helaas wat boven mijn budget.
Net idle stroomverbruik ook, zeker als je in acht neemt dat de CX3 geen ASPM ondersteunt.

Wel lees ik wisselende verhalen over hoe warm ze kunnen worden en dat sommige mensen daarom twijfels hadden over hoe lang ze daarom mee kunnen gaan. Hoe is dat bij jou?

Acties:
  • 0 Henk 'm!

  • gwabber
  • Registratie: September 2020
  • Laatst online: 18:43
Weet iemand een goede nic voor een firewall met pfsense? Liefst met 2x RJ45 :)

Acties:
  • 0 Henk 'm!

  • Kanarie
  • Registratie: Oktober 2000
  • Laatst online: 15:50

Kanarie

תֹ֙הוּ֙ וָבֹ֔הוּ

ikke26 schreef op dinsdag 30 april 2024 @ 20:03:
[...]


Mooie setup! Heb daar ook naar gekeken, maar de R86S was helaas wat boven mijn budget.
Net idle stroomverbruik ook, zeker als je in acht neemt dat de CX3 geen ASPM ondersteunt.

Wel lees ik wisselende verhalen over hoe warm ze kunnen worden en dat sommige mensen daarom twijfels hadden over hoe lang ze daarom mee kunnen gaan. Hoe is dat bij jou?
Out of the box werd die van mij ook behoorlijk heet, met throttlen tot gevolg. CPU maakte geen goed contact met de heat sink. Koperen shim ertussen gedaan en toen was het goed. Kon toen zelfs de TDP verhogen van de standaard 9-15W voor de N305 naar 25W.

Met 8 core CPU stress test, wordt de CPU dan 80C, idle op 30C en met gewoon gebruik heb ik geen temps boven de 65C gezien.

[ Voor 4% gewijzigd door Kanarie op 30-04-2024 22:08 ]

We're trapped in the belly of this horrible machine. And the machine is bleeding to death.


Acties:
  • +5 Henk 'm!

  • jurri@n
  • Registratie: Maart 2000
  • Laatst online: 01-05 13:02
Bij zelfbouw-routers ga ik er van uit dat het OS vaak Linux of *BSD gaat zijn. Let er op dat die niet altijd even efficient pakketten afhandelen tussen verschillende netwerk-interfaces. Een goede oplossing hiervoor is VPP, wat er voor zorgt dat de kernel stukken minder tijd (en dus CPU) besteed aan pakketten forwarden.

Hier wat linkjes naar een aantal goede blogposts:
https://ipng.ch/s/articles/2021/08/12/vpp-1.html
https://ipng.ch/s/articles/2021/08/13/vpp-2.html
https://ipng.ch/s/articles/2021/08/15/vpp-3.html
https://ipng.ch/s/articles/2021/08/25/vpp-4.html
https://ipng.ch/s/articles/2021/09/02/vpp-5.html
https://ipng.ch/s/articles/2021/09/11/vpp-6.html
https://ipng.ch/s/articles/2021/09/21/vpp-7.html

Acties:
  • +1 Henk 'm!

  • Raven
  • Registratie: November 2004
  • Niet online

Raven

Marion Raven fan

@jurri@n Ik heb in de loop der jaren wel het een en ander over VPP gelezen (zie ook laatste zin van Raven in "Het >10 Gbit zelfbouw router topic" :P ) maar een tutorial voor basis router-functionaliteit met VPP heb ik nog niet kunnen vinden. Het gaat vooral om achtergrondartikelen dat ik heb gevonden.

After the first glass you see things as you wish they were. After the second you see things as they are not. Finally you see things as they really are, and that is the most horrible thing in the world...

Oscar Wilde


Acties:
  • 0 Henk 'm!

  • jurri@n
  • Registratie: Maart 2000
  • Laatst online: 01-05 13:02
Raven schreef op donderdag 2 mei 2024 @ 08:40:
... maar een tutorial voor basis router-functionaliteit met VPP heb ik nog niet kunnen vinden.
VPP is ook geen router, het zorgt alleen voor efficiënte en snelle(re) packet-forwarding doordat de kernel geen tijd hoeft te besteden aan ieder individueel packet. Routing doe je nog steeds met static routes of applicaties die een routing-protocol als RIP, OSPF of BGP spreken, zoals bv. Quagga, BIRD of BGPD.

Acties:
  • 0 Henk 'm!

  • Raven
  • Registratie: November 2004
  • Niet online

Raven

Marion Raven fan

@jurri@n I know ;) Maar ik heb nog niets kunnen vinden over hoe een bestaande Linux-router (ik gebruik Debian daarvoor) gebruik kan laten maken van VPP. Niet dat het nodig is, CPU-load is bij het doorvoeren van 1Gbps al niet noemenswaardig op een i3 8100T :P Wil alleen weten wat daar bij komt kijken om de hele config naar VPP om te zetten.

After the first glass you see things as you wish they were. After the second you see things as they are not. Finally you see things as they really are, and that is the most horrible thing in the world...

Oscar Wilde


Acties:
  • 0 Henk 'm!

  • Uberprutser
  • Registratie: Januari 2000
  • Laatst online: 15:20
10Gbps is niet zo heel bijzonder voor moderne hardware, als je alleen routing/NAT gebruikt.
Als je andere zaken zoals IDS/IPS e.d. gebruikt begint het aardig in te kakken.

Mijn Portwell CAF-0260 (C3558 4C/8T) doet ook 10Gbps tussen de 2 SFP+ 10Gbps (X553) interfaces en die is alweer wat jaartjes oud.

As you may already have guessed, following the instructions may break your system and you are on your own to fix it again.


Acties:
  • 0 Henk 'm!

  • hawaltie
  • Registratie: September 2002
  • Laatst online: 23-04 14:18
@ikke26 Je geeft dat je als je opnieuw de keuze had voor een IntelX710 kaart dat je dan voor de Intel X710-DA4 met 4 had gekozen. Is dat omdat je in dat geval 2 van de 4 poorten kunt gebruiken voor bijvoorbeeld 2.5 Gbps RJ45 SFPs? Ik ben nog aan het onderzoeken hoe ik de multi 2.5G support voor elkaar kan krijgen ;-)

Acties:
  • 0 Henk 'm!

  • ArnoldSmit
  • Registratie: November 2016
  • Laatst online: 29-04 20:36
hawaltie schreef op dinsdag 7 mei 2024 @ 11:25:
@ikke26 Je geeft dat je als je opnieuw de keuze had voor een IntelX710 kaart dat je dan voor de Intel X710-DA4 met 4 had gekozen. Is dat omdat je in dat geval 2 van de 4 poorten kunt gebruiken voor bijvoorbeeld 2.5 Gbps RJ45 SFPs? Ik ben nog aan het onderzoeken hoe ik de multi 2.5G support voor elkaar kan krijgen ;-)
Ik heb ook voor die keuze gestaan, ben zelf in bezit van de Intel X710-BM2, deze kaart is voor mij een perfect compromis tussen verbruik en performance:
5.1W maximaal verbruik.
het is een PCIe kaart versie 3.0 met 8 lanes.
1 lane is gelijk aan 984.6 MB/s
8 lanes levert 7880 MB/s op

7880 MB/s omgerekend naar Mb/s is: 63.040, wat ruimschoots de behoefte moet dekken van 2 X of 4 X10Gb/s

In mijn geval heb ik OPNsense met 4 VLAN's via de Ubiquiti USW-Aggregation draaien.
Vanaf de USW-Aggregation heb ik twee switches aangesloten:
USW-Enterprise-8-PoE, wat me 8 X 2.5Gb/s porten geeft waarop o.a. mijn wifi 7 AP is aangesloten de U7-Pro
USW-Lite-8-PoE, Geeft me 4 X 1Gb/s Poe porten, en 4 X 1Gb/s porten.

Acties:
  • 0 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
@hawaltie Zoiets maar net anders.

Op dit moment gebruik ik 1 van de 2 poorten voor de Delta Zaram SFP en is de tweede nog ongebruikt voor een nog aan te schaffen switch. Dan zit meteen de hele kaart vol.
Onze schuur is met single mode glasvezel verbonden (nu nog op 1 Gbit SFP), dus eigenlijk heb ik 3 SFP+ poorten nodig.
Helaas zijn managed switches met 4x SFP+, genoeg 2.5 Gbit, goeie software en PoE nog vrij prijzig.
Ik denk dus dat ik binnenkort alsnog de X710-DA2 wissel voor een X710-DA4.

Dan heb ik:
  • Slot 1: Zaram SFP voor Delta WAN
  • Slot 2: RJ45 of optical SFP+ module naar workstation (TBD, moet nog nieuwe kabel trekken)
  • Slot 3: FS.com SFP transceiver naar schuur
  • Slot 4: RJ45 SFP+ module voor NAS
  • Ingebouwde Intel NIC: 16-poorts managed gigabit switch voor overige apparaten (TV, camera's, P1 lezer, etc.)
  • Extra Realtek RTL8125BG 2.5 Gbit: ongebruikt.
Op die manier is iedere muuraansluiting in huis permanent aangesloten en hou ik nog 2 poorten over in de meterkast. Alles is bij ons bedraad, behalve apparaten zoals laptops / tablets / smartphones.

Eventueel voeg ik in de toekomst nog een switch toe met 2x SFP+ en extra 2.5 Gbit poorten, maar daar is nu nog geen behoefte aan. Dat wordt voor ons vooral relevant bij de volgende generatie WiFi APs met 2.5Gb poorten, maar dat is nu nog niet aan de orde. Ik denk namelijk dat goedkope 2.5Gb switches in de nabije toekomst nog een stuk beter worden, zowel qua energieverbruik als software

In jouw geval zou je ws met 1x SFP+ input en 2.5Gb output ook toe kunnen. Dat wij een schuur op glasvezel hebben is natuurlijk een vrij specifieke situatie.

[ Voor 10% gewijzigd door ikke26 op 07-05-2024 12:41 ]


Acties:
  • 0 Henk 'm!

  • ArnoldSmit
  • Registratie: November 2016
  • Laatst online: 29-04 20:36
@ikke26
Wellicht is dit een interessant product voor je:
https://www.servethehome....ged-4-port-2-5gbe-switch/
Kosten zijn 60 Dollar, en je kan ze gemakkelijk daisy chainen.

Acties:
  • 0 Henk 'm!

  • Mich
  • Registratie: December 2000
  • Laatst online: 17:17
ArnoldSmit schreef op dinsdag 7 mei 2024 @ 12:09:
[...]


Ik heb ook voor die keuze gestaan, ben zelf in bezit van de Intel X710-BM2, deze kaart is voor mij een perfect compromis tussen verbruik en performance:
5.1W maximaal verbruik.
het is een PCIe kaart versie 3.0 met 8 lanes.
1 lane is gelijk aan 984.6 MB/s
8 lanes levert 7880 MB/s op

7880 MB/s omgerekend naar Mb/s is: 63.040, wat ruimschoots de behoefte moet dekken van 2 X of 4 X10Gb/s

In mijn geval heb ik OPNsense met 4 VLAN's via de Ubiquiti USW-Aggregation draaien.
Vanaf de USW-Aggregation heb ik twee switches aangesloten:
USW-Enterprise-8-PoE, wat me 8 X 2.5Gb/s porten geeft waarop o.a. mijn wifi 7 AP is aangesloten de U7-Pro
USW-Lite-8-PoE, Geeft me 4 X 1Gb/s Poe porten, en 4 X 1Gb/s porten.
Draai je die Intel kaart in linux? Heb je toevallig de output van lspci -vvv er van? Zodat ik kan zien wat aspm doet.

Het lijkt erop dat een hoop Intel netwerkkaarten van 5xx en 7xx uit 2015 en 2016 komen. Waarom maken ze zo weinig nieuwe kaarten?

Acties:
  • +1 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
@Mich

Dit is de output van lspci -vvv op een M720q met X710-DA2 in het x8 en RTL8125BG in het M.2 A+E slot.

Volgens Intel komt de DA2 komt uit dezelfde familie als de BM2. Volgens deze Intel Ark vergelijking alleen net iets nieuwer.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
    Subsystem: Intel Corporation Ethernet 10G 2P X710 Adapter
    Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
    Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
    Latency: 0, Cache Line Size: 64 bytes
    Interrupt: pin A routed to IRQ 16
    IOMMU group: 2
    Region 0: Memory at b1000000 (64-bit, prefetchable) [size=16M]
    Region 3: Memory at b2008000 (64-bit, prefetchable) [size=32K]
    Expansion ROM at b4280000 [disabled] [size=512K]
    Capabilities: [40] Power Management version 3
        Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
        Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
    Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Address: 0000000000000000  Data: 0000
        Masking: 00000000  Pending: 00000000
    Capabilities: [70] MSI-X: Enable+ Count=129 Masked-
        Vector table: BAR=3 offset=00000000
        PBA: BAR=3 offset=00001000
    Capabilities: [a0] Express (v2) Endpoint, MSI 00
        DevCap: MaxPayload 2048 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
            ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
        DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
            RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop- FLReset-
            MaxPayload 256 bytes, MaxReadReq 512 bytes
        DevSta: CorrErr+ NonFatalErr- FatalErr- UnsupReq+ AuxPwr- TransPend-
        LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM L1, Exit Latency L1 <16us
            ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
            ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
        LnkSta: Speed 8GT/s, Width x4 (downgraded)
            TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
        DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR-
             10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
             EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
             FRS- TPHComp- ExtTPHComp-
             AtomicOpsCap: 32bit- 64bit- 128bitCAS-
        DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR- 10BitTagReq- OBFF Disabled,
             AtomicOpsCtl: ReqEn-
        LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink- Retimer- 2Retimers- DRS-
        LnkCtl2: Target Link Speed: 2.5GT/s, EnterCompliance- SpeedDis-
             Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
             Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
        LnkSta2: Current De-emphasis Level: -3.5dB, EqualizationComplete+ EqualizationPhase1+
             EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
             Retimer- 2Retimers- CrosslinkRes: unsupported
    Capabilities: [e0] Vital Product Data
        Product Name: X710 10GbE Controller
        Read-only fields:
            [V0] Vendor specific: FFV22.5.7
            [PN] Part number: 5N7Y5
            [MN] Manufacture ID: 1028
            [V1] Vendor specific: DSV1028VPDR.VER2.0
            [V3] Vendor specific: DTINIC
            [V4] Vendor specific: DCM10010391C521010391C512020391C523020391C514030391C525030391C516040391C527040391C518050391C529050391C51A060391C52B060391C51C070391C52D070391C51E080391C52F080391C5
            [V5] Vendor specific: NPY2
            [V6] Vendor specific: PMTA
            [V7] Vendor specific: NMVIntel Corp
            [V8] Vendor specific: L1D0
            [RV] Reserved: checksum good, 1 byte(s) reserved
        Read/write fields:
            [Y1] System specific: CCF1
        End
    Capabilities: [100 v2] Advanced Error Reporting
        UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt+ UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
        CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
        CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
        AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
            MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
        HeaderLog: 00000000 00000000 00000000 00000000
    Capabilities: [140 v1] Device Serial Number e0-4a-00-ff-ff-fe-fd-3c
    Capabilities: [1a0 v1] Transaction Processing Hints
        Device specific mode supported
        No steering table available
    Capabilities: [1b0 v1] Access Control Services
        ACSCap: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
        ACSCtl: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
    Capabilities: [1d0 v1] Secondary PCI Express
        LnkCtl3: LnkEquIntrruptEn- PerformEqu-
        LaneErrStat: 0
    Kernel driver in use: i40e
    Kernel modules: i40e

01:00.1 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
    Subsystem: Intel Corporation Ethernet Converged Network Adapter X710
    Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
    Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
    Latency: 0, Cache Line Size: 64 bytes
    Interrupt: pin A routed to IRQ 16
    IOMMU group: 2
    Region 0: Memory at b0000000 (64-bit, prefetchable) [size=16M]
    Region 3: Memory at b2000000 (64-bit, prefetchable) [size=32K]
    Expansion ROM at b4200000 [disabled] [size=512K]
    Capabilities: [40] Power Management version 3
        Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
        Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
    Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Address: 0000000000000000  Data: 0000
        Masking: 00000000  Pending: 00000000
    Capabilities: [70] MSI-X: Enable+ Count=129 Masked-
        Vector table: BAR=3 offset=00000000
        PBA: BAR=3 offset=00001000
    Capabilities: [a0] Express (v2) Endpoint, MSI 00
        DevCap: MaxPayload 2048 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
            ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 0W
        DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
            RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop- FLReset-
            MaxPayload 256 bytes, MaxReadReq 512 bytes
        DevSta: CorrErr+ NonFatalErr- FatalErr- UnsupReq+ AuxPwr- TransPend-
        LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM L1, Exit Latency L1 <16us
            ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
            ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
        LnkSta: Speed 8GT/s, Width x4 (downgraded)
            TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
        DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR-
             10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
             EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
             FRS- TPHComp- ExtTPHComp-
             AtomicOpsCap: 32bit- 64bit- 128bitCAS-
        DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR- 10BitTagReq- OBFF Disabled,
             AtomicOpsCtl: ReqEn-
        LnkSta2: Current De-emphasis Level: -3.5dB, EqualizationComplete- EqualizationPhase1-
             EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
             Retimer- 2Retimers- CrosslinkRes: unsupported
    Capabilities: [e0] Vital Product Data
        Product Name: X710 10GbE Controller
        Read-only fields:
            [V0] Vendor specific: FFV22.5.7
            [PN] Part number: 5N7Y5
            [MN] Manufacture ID: 1028
            [V1] Vendor specific: DSV1028VPDR.VER2.0
            [V3] Vendor specific: DTINIC
            [V4] Vendor specific: DCM10010391C521010391C512020391C523020391C514030391C525030391C516040391C527040391C518050391C529050391C51A060391C52B060391C51C070391C52D070391C51E080391C52F080391C5
            [V5] Vendor specific: NPY2
            [V6] Vendor specific: PMTA
            [V7] Vendor specific: NMVIntel Corp
            [V8] Vendor specific: L1D0
            [RV] Reserved: checksum good, 1 byte(s) reserved
        Read/write fields:
            [Y1] System specific: CCF1
        End
    Capabilities: [100 v2] Advanced Error Reporting
        UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt+ UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
        CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
        CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
        AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
            MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
        HeaderLog: 00000000 00000000 00000000 00000000
    Capabilities: [140 v1] Device Serial Number e0-4a-00-ff-ff-fe-fd-3c
    Capabilities: [1a0 v1] Transaction Processing Hints
        Device specific mode supported
        No steering table available
    Capabilities: [1b0 v1] Access Control Services
        ACSCap: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
        ACSCtl: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
    Kernel driver in use: i40e
    Kernel modules: i40e

03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
    Subsystem: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller
    Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
    Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
    Latency: 0, Cache Line Size: 64 bytes
    Interrupt: pin A routed to IRQ 17
    IOMMU group: 10
    Region 0: I/O ports at 3000 [size=256]
    Region 2: Memory at b4000000 (64-bit, non-prefetchable) [size=64K]
    Region 4: Memory at b4010000 (64-bit, non-prefetchable) [size=16K]
    Capabilities: [40] Power Management version 3
        Flags: PMEClk- DSI- D1+ D2+ AuxCurrent=375mA PME(D0+,D1+,D2+,D3hot+,D3cold+)
        Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
    Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Address: 0000000000000000  Data: 0000
        Masking: 00000000  Pending: 00000000
    Capabilities: [70] Express (v2) Endpoint, MSI 01
        DevCap: MaxPayload 256 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
            ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset- SlotPowerLimit 10W
        DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
            RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop-
            MaxPayload 256 bytes, MaxReadReq 4096 bytes
        DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
        LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
            ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
        LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
            ExtSynch- ClockPM+ AutWidDis- BWInt- AutBWInt-
        LnkSta: Speed 5GT/s, Width x1
            TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
        DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
             10BitTagComp- 10BitTagReq- OBFF Via message/WAKE#, ExtFmt- EETLPPrefix-
             EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
             FRS- TPHComp+ ExtTPHComp-
             AtomicOpsCap: 32bit- 64bit- 128bitCAS-
        DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR- 10BitTagReq- OBFF Disabled,
             AtomicOpsCtl: ReqEn-
        LnkCap2: Supported Link Speeds: 2.5-5GT/s, Crosslink- Retimer- 2Retimers- DRS-
        LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-
             Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
             Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
        LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
             EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
             Retimer- 2Retimers- CrosslinkRes: unsupported
    Capabilities: [b0] MSI-X: Enable+ Count=32 Masked-
        Vector table: BAR=4 offset=00000000
        PBA: BAR=4 offset=00000800
    Capabilities: [d0] Vital Product Data
pcilib: sysfs_read_vpd: read failed: No such device
        Not readable
    Capabilities: [100 v2] Advanced Error Reporting
        UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
        CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
        CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
        AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
            MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
        HeaderLog: 00000000 00000000 00000000 00000000
    Capabilities: [148 v1] Virtual Channel
        Caps:   LPEVC=0 RefClk=100ns PATEntryBits=1
        Arb:    Fixed- WRR32- WRR64- WRR128-
        Ctrl:   ArbSelect=Fixed
        Status: InProgress-
        VC0:    Caps:   PATOffset=00 MaxTimeSlots=1 RejSnoopTrans-
            Arb:    Fixed- WRR32- WRR64- WRR128- TWRR128- WRR256-
            Ctrl:   Enable+ ID=0 ArbSelect=Fixed TC/VC=ff
            Status: NegoPending- InProgress-
    Capabilities: [168 v1] Device Serial Number 01-00-00-00-68-4c-e0-00
    Capabilities: [178 v1] Transaction Processing Hints
        No steering table available
    Capabilities: [204 v1] Latency Tolerance Reporting
        Max snoop latency: 0ns
        Max no snoop latency: 0ns
    Capabilities: [20c v1] L1 PM Substates
        L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
              PortCommonModeRestoreTime=150us PortTPowerOnTime=150us
        L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
               T_CommonMode=0us LTR1.2_Threshold=81920ns
        L1SubCtl2: T_PwrOn=150us
    Capabilities: [21c v1] Vendor Specific Information: ID=0002 Rev=4 Len=100 <?>
    Kernel driver in use: r8169
    Kernel modules: r8169


Volgens Powertop is de router vrijwel permanent in C7, ondanks constante traffic en een paar lightweight VMs.

Afbeeldingslocatie: https://tweakers.net/i/wbuRen32l_TPogNsqSvSUHWc0tI=/x800/filters:strip_exif()/f/image/JIT0GcLR2guqS6tw5MFGeqvT.png?f=fotoalbum_large

[ Voor 37% gewijzigd door ikke26 op 07-05-2024 14:22 ]


Acties:
  • +1 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
ArnoldSmit schreef op dinsdag 7 mei 2024 @ 12:57:
@ikke26
Wellicht is dit een interessant product voor je:
https://www.servethehome....ged-4-port-2-5gbe-switch/
Kosten zijn 60 Dollar, en je kan ze gemakkelijk daisy chainen.
Die zijn zeker interessant, bedankt voor de link!
Dat is dan plan B als een betaalbare low-profile X710-DA4 niet lukt.

Acties:
  • +1 Henk 'm!

  • dion_b
  • Registratie: September 2000
  • Laatst online: 23:35

dion_b

Moderator Harde Waren

say Baah

ikke26 schreef op dinsdag 7 mei 2024 @ 12:38:
[...]

Eventueel voeg ik in de toekomst nog een switch toe met 2x SFP+ en extra 2.5 Gbit poorten, maar daar is nu nog geen behoefte aan. Dat wordt voor ons vooral relevant bij de volgende generatie WiFi APs met 2.5Gb poorten, maar dat is nu nog niet aan de orde. Ik denk namelijk dat goedkope 2.5Gb switches in de nabije toekomst nog een stuk beter worden, zowel qua energieverbruik als software
Licht offtopic, maar dat moment is IMHO met de Realtek RTL837x aangekomen:

RTL8371 9p 2.5Gbps
RTL8372 4x 2.5Gbps 2p SFP+
RTL8373 8x 2.5Gbps 1p SFP+

Meest opvallende zijn de kosten- geen drol. Er zijn unmanaged switches met RTL8372 (dus met 2x 10Gbps SFP+) te koop voor EUR 26 incl verzendkosten bij Ali. Tweede opvallende is stroomverbruik, zoals de review die @ArnoldSmit post doen ze idle 1W en onder de 3W met een 10Gb SFP+ erin.

In NL zijn de prijzen een stuk hoger (begint bij EUR 89 voor Trendnet apparaaat met dezelfde specs en muv sticker ws exact zelfde inhoud als dat ding van EUR 26), dus daar wordt vol winst gemaakt.

Ik had sowieso nog een managed switch nodig dus heb ik eentje bij Ali gekocht van Lianguo die muv sticker op de voorkant identiek is aan de gereviewde Xikestor (ook onder de motorkap en in de GUI) en dat kostte EUR 55 incl verzendkosten. Hij ligt hier voor me en werkt iig op 2.5Gbps, maar nog geen tijd gehad het volledig uit te testen en in gebruik te nemen. Mooi uitzicht - en voor dat soort bedrag, zowel qua aanschaf als vooral qua stroomkosten, maakt het >1Gbps networking eindelijk betaalbaar.


Ben trouwens ook bezig met een 10Gbps-capable thuisserver te bouwen op een Dell EMC VEP1445 (octocore low-power Atom geval waar ik de WiFI uit gesloopt heb en vervangen heb door een mPCIe SATA adapter voor m'n dataschijven). Ik ga het niet als router inzetten ben teveel fan van m'n huidige Mikrotik hEX en heb toch maar 200Mbps internet, maar met 2x SFP+ en laag verbruik zou het wel een mooi platform zijn als ik dat wel wilde - allicht een aanrader ;)

Oslik blyat! Oslik!


Acties:
  • +1 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
@dion_b Ik ben het wat betreft de hardware met je eens! Ik hoop alleen dat er binnenkort support komt in OpenWRT of een andere firmware waarbij je weet dat je de software jarenlang kunt blijven upgraden. Willekeurige Chinese firmware die niet geupgrade wordt blijf ik toch liever weg van voor een managed switch.

Voor de RTL838x is dat al redelijk het geval, lees ik. Zo te zien zelfs gemerged 1,5e maand terug.

Nu dat zo is, moet ik de afweging denk ik nog even opnieuw maken om meteen naar 2.5 te gaan voor alles i.p.v. deels op 1Gbit te blijven.

Die Dell ziet er interessant uit! Echte enterprise hardware, maar op eBay wel nog wat prijzig, met de VEP1425 voor zo'n €700,-.

[ Voor 7% gewijzigd door ikke26 op 07-05-2024 17:47 ]


Acties:
  • 0 Henk 'm!

  • ArnoldSmit
  • Registratie: November 2016
  • Laatst online: 29-04 20:36
Nee Windows, met Hyper-V.
Ik heb wel een Linux VM, ik weet niet of je daar iets aan heb.

Intel is ondertussen overgegaan op 25, 40 en 100Gb netwerk kaarten.
10Gb zal denk ik op langere termijn meer voor thuis gebruikers worden.
Data centers zitten op hogere snelheden.
Mich schreef op dinsdag 7 mei 2024 @ 13:30:
[...]


Draai je die Intel kaart in linux? Heb je toevallig de output van lspci -vvv er van? Zodat ik kan zien wat aspm doet.

Het lijkt erop dat een hoop Intel netwerkkaarten van 5xx en 7xx uit 2015 en 2016 komen. Waarom maken ze zo weinig nieuwe kaarten?

Acties:
  • +1 Henk 'm!

  • dion_b
  • Registratie: September 2000
  • Laatst online: 23:35

dion_b

Moderator Harde Waren

say Baah

ikke26 schreef op dinsdag 7 mei 2024 @ 17:44:
@dion_b Ik ben het wat betreft de hardware met je eens! Ik hoop alleen dat er binnenkort support komt in OpenWRT of een andere firmware waarbij je weet dat je de software jarenlang kunt blijven upgraden. Willekeurige Chinese firmware die niet geupgrade wordt blijf ik toch liever weg van voor een managed switch.
In principe heb je gelijk. Maar risico is de vermenigvuldiging van kans * impact. Als de impact klein is (lees: je doet weinig boeiends met je thuisnetwerk en downtime van paar uur als iemand ongein uithaalt met je switch config kost je weinig tot niets), is de risico dat ook, al helemaal als er een paar goede deny-all rules tussen switch en internet zitten en je een aparte management VLAN gebruikt zonder routering van/naar internet.

Op het werk zou ik zo'n switch niet overwegen [sub[nouja, niet voor inzet bij klanten - toevallig eentje incl factuurprijs laten slingeren als iemand me een switch uit exact zelfde fabriek met 15-jaar oude specs voor 2x de prijs komt aanbieden heb ik wel gedaan >:)[/].
Die Dell ziet er interessant uit! Echte enterprise hardware, maar op eBay wel nog wat prijzig, met de VEP1425 voor zo'n €700,-.
Deze dingen zitten in die zombiecategorie waar er nog een kleine markt is van mensen die ze specifiek nodig hebben en daarom degenen die nog stock hebben de hoofdprijs blijven vragen, maar tegelijkertijd de apparaten financieel afgeschreven zijn bij de early adopters en ondertussen vervangen worden door nieuwe modellen. Dat biedt soms mogelijkheden ;)
ArnoldSmit schreef op woensdag 8 mei 2024 @ 02:35:
[...]

Intel is ondertussen overgegaan op 25, 40 en 100Gb netwerk kaarten.
10Gb zal denk ik op langere termijn meer voor thuis gebruikers worden.
Data centers zitten op hogere snelheden.]
Idd. Dat is ook waarom je 10Gbps spul zo spotgoedkoop kunt krijgen, althans, optical of koper zonder 802.3bz support. Overstock vanuit datacenters dat gedumpt wordt.

Ik ben trouwens erg benieuwd wat er voor thuisgebruik gaat gebeuren zodra we voorbij de 10Gbps gaan. Dat kan nog relatief eenvoudig met bestaande infra en met nieuwe chips (dus niet 10 jaar oude overstock) is het ook tegen acceptabel stroomverbruik te doen. Zodra we voorbij de 10Gbps gaan loopt stroomverbruik fors op over koper, voldoet bestaande bekabeling niet meer en gaat met Cat8.1 afstand uitdagend worden (30m klinkt lang, maar in een wat grotere woning met kabels die zigzaggen door de muren ben je er zo). Stroomverbruik is echt een ding omdat fabrikanten van consumentenapparatuur binnenkort targets van 50% en op langere termijn 90% reductie van verbruik gaan krijgen. Dat ga je niet halen als iedere poort het dubbele verbruikt tov nu. Ik vermoed dat we stiekem toch richting glas voor binnenhuis moeten Dat ga je in de volgende generatie apparaten (vanaf ~2025/6) nog niet zien, daar zal het normaal zijn om een of twee 10Gb poorten te hebben, maar de generatie erna (~2028/9) gaat interessant worden op een manier dat we niet gezien hebben sinds ergens rond 1997 de BNC-connector van hubs gesloopt is :P

[ Voor 34% gewijzigd door dion_b op 08-05-2024 10:22 ]

Oslik blyat! Oslik!


Acties:
  • +1 Henk 'm!

  • ArnoldSmit
  • Registratie: November 2016
  • Laatst online: 29-04 20:36
@dion_b
Ik vraag me af of we 10Gb verbindingen als gemeengoed gaan zien de komende 10 jaar.
Voor bijna alle gebruikers is de bandbreedte behoefte onder een 1Gb.
Ik durf zelfs te stellen dat een internet verbinding van 500mb snel genoeg is voor 85% van de thuis gebruikers.
Plus 10Gb lijnen thuis zijn niet altijd praktisch, je moet nog steeds extra kosten maken, en je stroomverbruik stijgt.

Ik denk wel dat 10Gb wel veel breder verspreid gaat worden de komende jaren onder thuis gebruikers.
Maar dan specifieke niece gebruikersgroepen zoals content creators en mensen die videos bewerken, voor deze groep kan ook multi gigabyte internet interessant zijn.
Prosumers, power users en nieuwsgierige hobbyisten.

Maar voor de gemiddelde persoon zie ik de komende jaren geen meerwaarde voor meer dan 1Gb/s.
Ook zijn er geen ontwikkelingen bij mij bekend die dat snel zullen veranderen, stel al zou 8K de norm worden, iets wat nog ver weg lijkt want HD is nog steeds de norm, niet eens 4K.
Dan zou je met alle compressie een stream krijgen van 50mb/s voor een 8K stream.
Zelf met een grote familie kan je dan nog steeds af met 500Mb/s internet en 1Gb heeft voor de normale gebruiker geen meerwaarde.
Laat staan 2.5Gb/s of 10Gb/s.

Toch hoop ik dat de volgende generatie game consoles met 2.5 Gb/s uit komt, nieuwe spellen zijn dan zo gedownload maar ik denk wel dat wij bij een niche horen dat wij extra geld voor dit soort snelheid willen neerleggen.

Ik denk dat het inderdaad komt van glasvezel in huis in ieder geval voor de verbindingen tussen, routers, ont's, switches, en op den duur mogelijk ook accespoint(s).
Denk alleen dat we dan al 10 jaar verder zijn voor dit de norm wordt, met als hoofd argument het lagere stroom verbruik en daarmee is de warmteontwikkeling ook direct minder dan onder koper.

Zelf beschouw ik mezelf als early adoptor, alle verbindingen van 10Gb zijn glas, mijn switches, server/router, en dadelijk direct een SFP+ module voor KPN glasvezel 4Gb/s.
Vind de snelheden van de toekomst, nu tot mijn beschikking hebben erg prettig en mijn vriendin ook.
Heb ook een stevige server/nas/Plex server, dat is voor mij mijn excuus geweest om mijn netwerk te upgraden.
En down en upload snelheden van boven de 1800Mb/s met een ping van +/- 7ms over draadloos (WiFi 7) is erg lekker.

[ Voor 20% gewijzigd door ArnoldSmit op 09-05-2024 02:24 ]


Acties:
  • +1 Henk 'm!

  • Uberprutser
  • Registratie: Januari 2000
  • Laatst online: 15:20
ikke26 schreef op dinsdag 7 mei 2024 @ 17:44:
@dion_b Ik ben het wat betreft de hardware met je eens! Ik hoop alleen dat er binnenkort support komt in
Die Dell ziet er interessant uit! Echte enterprise hardware, maar op eBay wel nog wat prijzig, met de VEP1425 voor zo'n €700,-.
Ik heb een paar VEP1425 & VEP1445 rondslingeren en voor dat geld zou ik eerder een instap Minisforum MS-01 kopen met een veel betere performance. Is echt voor de long term support dat je voor dit soort dingen gaat en daarom de extra knaken daarvoor wil neerleggen. Net als met de Optiplex XE bijvoorbeeld.

Er staat Dell op maar zelf ben ik minder tevreden over die broodtrommels (reference: ervaring met 1000+ examplaren in de meest uitlopende hoeken van de wereld).
ArnoldSmit schreef op donderdag 9 mei 2024 @ 02:05:
@dion_b
Maar voor de gemiddelde persoon zie ik de komende jaren geen meerwaarde voor meer dan 1Gb/s.
Weinig use-case waar grote bestanden heen en weer worden gesleept en zo ja dan vaak met een consumenten SSD zijn waarbij de snelheid dusdanig inkakt als de cache vol zit... Ik zie het ook nog niet zo snel gebeuren op de thuis(werk)markt. Enterprise is een ander verhaal natuurlijk.

[ Voor 42% gewijzigd door Uberprutser op 13-05-2024 10:27 ]

As you may already have guessed, following the instructions may break your system and you are on your own to fix it again.


Acties:
  • 0 Henk 'm!

  • bastian433
  • Registratie: Juli 2004
  • Laatst online: 23:33
Ik zit te denken een zelfde soort iets te proberen (Lenovo M720q), maar gaat dit wel 4 gbit+ op PPPoE halen met een enkele thread zoals de box14 wel kan?
Andere optie is een Minisforum MS-01

Ik heb nu iets van een QOTOM Q20331g9 met een Intel Atom C3758R Denverton, maar die is blijkbaar te traag voor 4 gbit van KPN via PPPoE. dat wil zeggen met een enkele thread.
Ik heb het ook al getest met iets als OpenWRT.
Het lijkt er ook op dat je de Intel QAT niet kunt gebruiken voor iets als PPPoE.
Verschil tussen 1 enkele download op de Atom en en enkele download via de Box 14 is ~220 mbyte/sec en ~400 mbyte /sec. Een speedtest met meerdere threads gaat wel allebei maximaal.

Als het allemaal goed gaat werken ga ik nog een Zaram module overwegen, maar eerst moet het maar eens goed/optimaal werken.

Acties:
  • +1 Henk 'm!

  • dion_b
  • Registratie: September 2000
  • Laatst online: 23:35

dion_b

Moderator Harde Waren

say Baah

Uberprutser schreef op maandag 13 mei 2024 @ 10:11:
[...]

Weinig use-case waar grote bestanden heen en weer worden gesleept en zo ja dan vaak met een consumenten SSD zijn waarbij de snelheid dusdanig inkakt als de cache vol zit... Ik zie het ook nog niet zo snel gebeuren op de thuis(werk)markt. Enterprise is een ander verhaal natuurlijk.
Sowieso weinig echt zinnige use case, maar dat geldt voor dit hele topic natuurlijk ;)

Toch komt het er alleen al vanwege de marketing aan - verschillende providers hebben al aankondigingen gedaan of demo's getoond van >10Gbps over glas en coax. Geheid gaan die dingen ook op gegeven moment voor consumenten beschikbaar komen. Zolang mensen nog geloven dat sneller = beter = meer geld waard, gaat die circus door. En zodra mensen >10Gbps op de WAN hebben gaan ze het LAN ook willen kunnen. Dat er geen zinnige toepassing is voorbij patsen met je speedtest doet daar niet aan af 8)7

Oslik blyat! Oslik!


Acties:
  • 0 Henk 'm!

  • ArnoldSmit
  • Registratie: November 2016
  • Laatst online: 29-04 20:36
Behalve het pronken met de speedtests :)
Heb ik wel echt profijt van mijn multi Gigabit snelheden.
Werk vaak met grote bestanden voor me werk en heb mijn download systeem volledig geautomatiseerd, het is heerlijk om als ik een film of serie in overseerr toevoeg dat ik het via plex al binnen 2 minuten kan kijken.

Ik het noodzakelijk, nope, maar wel heel prettig.
Voor mijn vriendin, de gemiddelde gebruiker, maakt het niet uit.
dion_b schreef op maandag 13 mei 2024 @ 22:02:
[...]

Sowieso weinig echt zinnige use case, maar dat geldt voor dit hele topic natuurlijk ;)

Toch komt het er alleen al vanwege de marketing aan - verschillende providers hebben al aankondigingen gedaan of demo's getoond van >10Gbps over glas en coax. Geheid gaan die dingen ook op gegeven moment voor consumenten beschikbaar komen. Zolang mensen nog geloven dat sneller = beter = meer geld waard, gaat die circus door. En zodra mensen >10Gbps op de WAN hebben gaan ze het LAN ook willen kunnen. Dat er geen zinnige toepassing is voorbij patsen met je speedtest doet daar niet aan af 8)7

Acties:
  • 0 Henk 'm!

  • raiden1985
  • Registratie: Juli 2007
  • Laatst online: 29-11-2024
Ik ga deze bestellen: https://www.gowinfanless....-2u-server/gw-bs-1ur2-25g

Waar dus een ConnectX4 in zit. Gaat die FS module daar gewoon in werken of moet ik dit via een switch laten lopen?

Overigens super gaaf om dit zelfbouw 10GB+ topic tegen te komen :D

Acties:
  • +1 Henk 'm!

  • leander-s
  • Registratie: November 2011
  • Laatst online: 22:42
raiden1985 schreef op dinsdag 28 mei 2024 @ 00:14:
Ik ga deze bestellen: https://www.gowinfanless....-2u-server/gw-bs-1ur2-25g

Waar dus een ConnectX4 in zit. Gaat die FS module daar gewoon in werken of moet ik dit via een switch laten lopen?

Overigens super gaaf om dit zelfbouw 10GB+ topic tegen te komen :D
De FS of Zaram is in de basis een gewone SFP dus praktisch elke netwerkkaart die 10gbits of hoger ondersteund kan worden ingezet. Ik ken die kaart zelf niet maar sommige vendoren kunnen een whitelist implementeren voor 'compatible' SFP's

Acties:
  • +1 Henk 'm!

  • Frogmen
  • Registratie: Januari 2004
  • Niet online
ArnoldSmit schreef op dinsdag 14 mei 2024 @ 01:30:
Behalve het pronken met de speedtests :)
Heb ik wel echt profijt van mijn multi Gigabit snelheden.
Werk vaak met grote bestanden voor me werk en heb mijn download systeem volledig geautomatiseerd, het is heerlijk om als ik een film of serie in overseerr toevoeg dat ik het via plex al binnen 2 minuten kan kijken.

Ik het noodzakelijk, nope, maar wel heel prettig.
Voor mijn vriendin, de gemiddelde gebruiker, maakt het niet uit.


[...]
Je bent er in ieder geval eerlijk in, als ik een vraag mag stellen over hoe grote bestanden heb je het dan voor je werk en wat is je daadwerkelijke tijdwinst ten opzichte van een 300 Mb verbinding? Wat voor verbinding heeft je werk dan wel niet liggen om dit nuttig te laten zijn voor al zijn medewerkers?
Dat die films naar binnen vliegen snap ik wel, maar zelfs dan is de winst in tijd beperkt. (niet meer dan het maken van kop koffie).

Voor een Tweaker is de weg naar het resultaat net zo belangrijk als het resultaat.


Acties:
  • 0 Henk 'm!

  • ArnoldSmit
  • Registratie: November 2016
  • Laatst online: 29-04 20:36
Frogmen schreef op dinsdag 28 mei 2024 @ 08:58:
[...]

Je bent er in ieder geval eerlijk in, als ik een vraag mag stellen over hoe grote bestanden heb je het dan voor je werk en wat is je daadwerkelijke tijdwinst ten opzichte van een 300 Mb verbinding? Wat voor verbinding heeft je werk dan wel niet liggen om dit nuttig te laten zijn voor al zijn medewerkers?
Dat die films naar binnen vliegen snap ik wel, maar zelfs dan is de winst in tijd beperkt. (niet meer dan het maken van kop koffie).
Ik gebruik voor mijn werk enorm grote data bestanden voor onder andere analyzes, transformeren, en/of geautomatiseerde uitwisselingen realiseren.
De bestanden hierin lopen behoorlijk uiteen van 1 GB tot 90GB.
Kloon ik ook complete VM's om dingen te testen en te ontwikkelen die ik daarna weer terug stuur.
Mijn werk heeft een 20Gb verbinding.
Vaak lukt het me zelfs over Wifi om deze dingen vrij vlot te doen, ik heb Wifi 7, 9 van de 10 keer gooi ik mijn laptop niet eens meer aan de kabel thuis.

En dat van die films, je hebt een punt, maar aan de andere kant ik kan nu met deze snelheden gewoon dingen aanklikken en de bijna direct afspelen, noodzakelijk nee, maar luxe ja zeker.

Onder de noemer, omdat het kan .
Maar zou ik terug moeten op een 1Gb lijn, zou ik toch vaker naar de zaak afreizen om mijn werk te doen, gewoon omdat ik niet hou van wachten :)

Om die zelfde reden hoop ik ook dat de volgende generatie spelcomputers een 2.5Gb poort hebben, en anders als plan B een goede WiFi 7 ondersteuning.

[ Voor 5% gewijzigd door ArnoldSmit op 28-05-2024 13:51 ]


Acties:
  • 0 Henk 'm!

  • Yariva
  • Registratie: November 2012
  • Laatst online: 22:33

Yariva

Moderator Internet & Netwerken

Power to the people!

raiden1985 schreef op dinsdag 28 mei 2024 @ 00:14:
Ik ga deze bestellen: https://www.gowinfanless....-2u-server/gw-bs-1ur2-25g

Waar dus een ConnectX4 in zit. Gaat die FS module daar gewoon in werken of moet ik dit via een switch laten lopen?

Overigens super gaaf om dit zelfbouw 10GB+ topic tegen te komen :D
Uit interesse, waarom zou je kijken naar dit soort apparatuur voor het geld en niet kijken naar een netwerk router zoals een MikroTik CCR2004 welke ook 10G op zijn sloffen kan forwarden? :)

Misschien vloeken in de kerk in dit topic maar ik ben oprecht nieuwsgierig naar de beweegredenen.

Mensen zijn gelijk, maar sommige zijn gelijker dan andere | Humans need not apply


Acties:
  • +1 Henk 'm!

  • GarBaGe
  • Registratie: December 1999
  • Laatst online: 22:01
Yariva schreef op dinsdag 28 mei 2024 @ 17:03:
[...]


Uit interesse, waarom zou je kijken naar dit soort apparatuur voor het geld en niet kijken naar een netwerk router zoals een MikroTik CCR2004 welke ook 10G op zijn sloffen kan forwarden? :)

Misschien vloeken in de kerk in dit topic maar ik ben oprecht nieuwsgierig naar de beweegredenen.
Eerlijk is eerlijk...
Ik volg dit topic al een tijdje en ben ook wel benieuwd.
Maar enige jaren terug heb ik mijn eerste Mikrotik router gekocht.
Dat bevalt echt heel goed.
Voor 10G zou ik zeker de CCR2004 nemen met 10x SFP+ (10G) en 2x SFP28 (25G).

Ryzen9 5900X; 16GB DDR4-3200 ; RTX-4080S ; 7TB SSD


Acties:
  • 0 Henk 'm!

  • hussie01
  • Registratie: December 2015
  • Niet online
Yariva schreef op dinsdag 28 mei 2024 @ 17:03:
[...]


Uit interesse, waarom zou je kijken naar dit soort apparatuur voor het geld en niet kijken naar een netwerk router zoals een MikroTik CCR2004 welke ook 10G op zijn sloffen kan forwarden? :)

Misschien vloeken in de kerk in dit topic maar ik ben oprecht nieuwsgierig naar de beweegredenen.
Ik denk voor pfsense/opnsense?

Acties:
  • +1 Henk 'm!

  • Yariva
  • Registratie: November 2012
  • Laatst online: 22:33

Yariva

Moderator Internet & Netwerken

Power to the people!

hussie01 schreef op dinsdag 28 mei 2024 @ 18:37:
[...]

Ik denk voor pfsense/opnsense?
Dat zou best kunnen, maar opnsense is een middel, geen doel :)

Mensen zijn gelijk, maar sommige zijn gelijker dan andere | Humans need not apply


Acties:
  • 0 Henk 'm!

  • Kanarie
  • Registratie: Oktober 2000
  • Laatst online: 15:50

Kanarie

תֹ֙הוּ֙ וָבֹ֔הוּ

raiden1985 schreef op dinsdag 28 mei 2024 @ 00:14:
Ik ga deze bestellen: https://www.gowinfanless....-2u-server/gw-bs-1ur2-25g

Waar dus een ConnectX4 in zit. Gaat die FS module daar gewoon in werken of moet ik dit via een switch laten lopen?

Overigens super gaaf om dit zelfbouw 10GB+ topic tegen te komen :D
Hoogstwaarschijnlijk werkt dat gewoon. Die ConnectX 3 en 4 zijn in mijn ervaring niet zo kieskeurig qua branding voor de SFPs. Ik heb er Ubiquiti, Mikrotik, Mellanox en "OEM" branded SFPs in gebruikt.
Yariva schreef op dinsdag 28 mei 2024 @ 17:03:
[...]


Uit interesse, waarom zou je kijken naar dit soort apparatuur voor het geld en niet kijken naar een netwerk router zoals een MikroTik CCR2004 welke ook 10G op zijn sloffen kan forwarden? :)

Misschien vloeken in de kerk in dit topic maar ik ben oprecht nieuwsgierig naar de beweegredenen.
GarBaGe schreef op dinsdag 28 mei 2024 @ 17:53:
[...]

Eerlijk is eerlijk...
Ik volg dit topic al een tijdje en ben ook wel benieuwd.
Niet degene aan wie jullie het vroegen, maar ik heb de small form factor variant van deze rack mounted router. De CCR2004 is een top router, zeker voor het geld, maar heeft 4 relatief langzame Cortex A57 cores (meer dan 10 jaar oud) en 4GB RAM. Die cores zouden mij beperken in m'n wens voor SQM/QoS met Cake en verplichten je om gebruik te maken van dingen die passen binnen de mogelijkheden van hardware acceleration om de hoge snelheden halen.
Ik ben iets te vaak gebeten door issues met hardware acceleration om daar op te willen vertrouwen. Wel van Ubiquiti/Cavium in dat geval, maar bugs die zorgden voor lossy UDP packet handling, acceleratie die wel/niet/half werkt met ipv6 en combinaties van PPPoE en VLANs.

Op zo'n Gowin router kun je makkelijk (zwaardere) containers draaien, een NVMe SSD inpluggen en er zo veel meer mee dan alleen routen. Het is simpelweg een linux/bsd/whatever server die ook >10Gbit kan routen. Die van mij is bijvoorbeeld ook een steam/lancache.

Als ik alleen had willen routen zou ik ook zo'n CCR2004 ophangen, zou een Ubiquiti aggregation switch gescheeld hebben.

We're trapped in the belly of this horrible machine. And the machine is bleeding to death.


Acties:
  • 0 Henk 'm!

  • raiden1985
  • Registratie: Juli 2007
  • Laatst online: 29-11-2024
Kanarie schreef op dinsdag 28 mei 2024 @ 20:15:
[...]


Hoogstwaarschijnlijk werkt dat gewoon. Die ConnectX 3 en 4 zijn in mijn ervaring niet zo kieskeurig qua branding voor de SFPs. Ik heb er Ubiquiti, Mikrotik, Mellanox en "OEM" branded SFPs in gebruikt.


[...]


[...]


Niet degene aan wie jullie het vroegen, maar ik heb de small form factor variant van deze rack mounted router. De CCR2004 is een top router, zeker voor het geld, maar heeft 4 relatief langzame Cortex A57 cores (meer dan 10 jaar oud) en 4GB RAM. Die cores zouden mij beperken in m'n wens voor SQM/QoS met Cake en verplichten je om gebruik te maken van dingen die passen binnen de mogelijkheden van hardware acceleration om de hoge snelheden halen.
Ik ben iets te vaak gebeten door issues met hardware acceleration om daar op te willen vertrouwen. Wel van Ubiquiti/Cavium in dat geval, maar bugs die zorgden voor lossy UDP packet handling, acceleratie die wel/niet/half werkt met ipv6 en combinaties van PPPoE en VLANs.

Op zo'n Gowin router kun je makkelijk (zwaardere) containers draaien, een NVMe SSD inpluggen en er zo veel meer mee dan alleen routen. Het is simpelweg een linux/bsd/whatever server die ook >10Gbit kan routen. Die van mij is bijvoorbeeld ook een steam/lancache.

Als ik alleen had willen routen zou ik ook zo'n CCR2004 ophangen, zou een Ubiquiti aggregation switch gescheeld hebben.
Niks aan toe te voegen :*) Ik draai nu OPNSense virtueel op KVM samen met HomeAssistant op een mini-pc(helaas geen 2.5GB) en ben op zoek naar vervanging :)

Acties:
  • 0 Henk 'm!

  • raiden1985
  • Registratie: Juli 2007
  • Laatst online: 29-11-2024
Ik kreeg ook van FS de volgende reactie:
Dear Jeffrey,

Livia again.

I have confirmed with our tech team that your connection is OK. GW-BS-1UR2-25G has two 10/25G ports: one is connected to the XGSPON module, and the other is connected to the NIC. Additionally, the UDM SE you mentioned can also be accessed as hardware.

Any requirements, pls feel free to contact me.
Best regards,

Acties:
  • +6 Henk 'm!

  • raiden1985
  • Registratie: Juli 2007
  • Laatst online: 29-11-2024
Afbeeldingslocatie: https://tweakers.net/i/vu9-jIDMBp5tNLqCxFgkSjnIehk=/800x/filters:strip_icc():strip_exif()/f/image/UXw81n01alGmqHgsx4sb0IBS.jpg?f=fotoalbum_large

Dit is de rack versie van die Gowin server. Ziet er nog niet netjes uit maar is nog work in progress(de rackmount kit van die unifi switch is niet leverbaar) :*)

Acties:
  • 0 Henk 'm!

  • ocf81
  • Registratie: April 2000
  • Niet online

ocf81

Gewoon abnormaal ;-)

ik zag in het andere zelfbouw routers topic de opmerking dat linux beter dan *BSD is in routing (en firewalling? weet dat niet meer zo zeker) bij snelheden boven de 1Gbit. Wat is daar van waar?

© ocf81 1981-infinity
Live the dream! | Politiek Incorrecte Klootzak uitgerust met The Drive to Survive
Bestrijd de plaag die woke heet! | <X> as a Service --> making you a poor & dependent slave


Acties:
  • +1 Henk 'm!

  • Raven
  • Registratie: November 2004
  • Niet online

Raven

Marion Raven fan

@ocf81 Dat gaat specifiek over PPPoE dat in *BSD single threaded wordt afgehandeld.

[ Voor 7% gewijzigd door Raven op 25-06-2024 18:45 ]

After the first glass you see things as you wish they were. After the second you see things as they are not. Finally you see things as they really are, and that is the most horrible thing in the world...

Oscar Wilde


Acties:
  • 0 Henk 'm!

  • daniellippens
  • Registratie: Mei 2013
  • Laatst online: 06-11-2024
raiden1985 schreef op dinsdag 25 juni 2024 @ 14:32:
[Afbeelding]

Dit is de rack versie van die Gowin server. Ziet er nog niet netjes uit maar is nog work in progress(de rackmount kit van die unifi switch is niet leverbaar) :*)
Ik heb ongeveer dezelfde setup maar loop tegen een probleem aan met mijn Zaram SFP. Hij geeft aan "no carrier (Power budget exceeded)" en het lampje knippert oranje. Ik heb het vermoeden dat het hier iets mee te maken heeft: https://forums.developer....er-budget-exceeded/207134

Ik krijg dit alleen niet voor elkaar in opnsense. Is er iemand die hier toevallig ook tegenaan gelopen is?

Acties:
  • 0 Henk 'm!

  • SaMiNaToR
  • Registratie: November 2019
  • Laatst online: 04-04 11:24
Om ook even een duit in het zakje te doen voor wat betreft de XikeStor SKS7300-8GPY4XGS-P switch...

Deze is van de week binnen gekomen echter kom ik niet in de switch. Het lijkt erop dat de default login,
admin / blank (admin / admin overigens ook niet) simpelweg niet werkt. Het maakt niet uit via welke weg ik probeer in te loggen, zowel console, telnet en de webinterface geven aan de verkeerde login te krijgen.

Alles doorgelezen en elk videootje op YT wat te vinden is gekeken, je kent het wel, wég weekend!!!
Er moet toch een manier zijn om een dergelijke switch zonder wachtwoord te kunnen resetten ofzo.
Nu is dit zo vanaf dat de switch uit de doos kwam echter kun je ook een keer je wachtwoord vergeten of gewoon kwijtraken o.i.d. dan zal er toch ook een wachtwoord gereset moeten kunnen worden??

Iemand nog suggesties om dit op te lossen voor deze specifieke switch?

Grtz,

SaM. :(

[ Voor 3% gewijzigd door SaMiNaToR op 29-09-2024 15:57 ]


Acties:
  • 0 Henk 'm!

  • walberg
  • Registratie: Juni 2007
  • Laatst online: 25-04 16:18
GarBaGe schreef op dinsdag 28 mei 2024 @ 17:53:
[...]


Voor 10G zou ik zeker de CCR2004 nemen met 10x SFP+ (10G) en 2x SFP28 (25G).
Oei! dan zie je zeker af van een nieuwe auto? alleen al die ccr2004 kost al iets van 400 euro, en die switch die jij erbij wil is helemaal niet te betalen.

Acties:
  • 0 Henk 'm!

  • Egbert Jan
  • Registratie: September 2008
  • Laatst online: 23:20
Ik heb nu een aon 1gb verbinding over het KPN Netwerk van HeldenVanNu en wil daar gaan overstappen op een 4GB verbinding met XGS-PON.

Ik heb een zelf gebouwde pc met pfsense erop waar de glasvezel kabel direct in gaat.

Intel i7700k
16gb
ASUS STRIX Z270F Gaming
Intel X520-DA1 met een sfp module
Intel Ethernet Network Adapter X710-T4L

Nu heb ik een paar vragen?
Is deze pc snel genoeg om 4gb over pppoe af te kunnen handelen?
kan ik de Intel X520-DA1 kaart blijven gebruiken in combinatie met de Zaram ZXOS11NPI of ben ik een nieuwere Intel X710-DA2 nodig om deze Zaram ZXOS11NPI werkende te krijgen? bijvoorbeeld de Intel X710-DA2. Ik lees hier dat als je die kaart wil gebruiken je een xl710-unlocker nodig bent om Zaram ZXOS11NPI werkende te krijgen? Als je die xl710-unlocker nodig bent werkt dat dan ook met de nieuwste NVM firmware en moet je xl710-unlocker bij elke NVM update weer toepassen? Klopt het ook dat je de xl710-unlocker onder ubuntu kan installeren en dat je het commando per poort op de kaart moet topassen?

Acties:
  • 0 Henk 'm!

  • ArnoldSmit
  • Registratie: November 2016
  • Laatst online: 29-04 20:36
Egbert Jan schreef op maandag 21 oktober 2024 @ 22:48:
bijvoorbeeld de Intel X710-DA2. Ik lees hier dat als je die kaart wil gebruiken je een xl710-unlocker nodig bent om Zaram ZXOS11NPI werkende te krijgen? Als je die xl710-unlocker nodig bent werkt dat dan ook met de nieuwste NVM firmware en moet je xl710-unlocker bij elke NVM update weer toepassen? Klopt het ook dat je de xl710-unlocker onder ubuntu kan installeren en dat je het commando per poort op de kaart moet topassen?
Je kan de Intel X710 ook unlocked kopen zoals hier:
https://www.fs.com/uk/pro...OTfjVCsfPbeQaAtW0EALw_wcB

Heb deze zelf, firmware updates en dergelijke zijn geen probleem, kaart blijkt netjes unlocked.

Acties:
  • 0 Henk 'm!

  • Egbert Jan
  • Registratie: September 2008
  • Laatst online: 23:20
ArnoldSmit schreef op maandag 21 oktober 2024 @ 23:43:
[...]

Je kan de Intel X710 ook unlocked kopen zoals hier:
https://www.fs.com/uk/pro...OTfjVCsfPbeQaAtW0EALw_wcB

Heb deze zelf, firmware updates en dergelijke zijn geen probleem, kaart blijkt netjes unlocked.
Werkt dit met originele intel NVMu firmware bestanden op deze kaart?

Acties:
  • 0 Henk 'm!

  • Kabouterplop01
  • Registratie: Maart 2002
  • Laatst online: 01-05 07:36

Kabouterplop01

chown -R me base:all

Egbert Jan schreef op maandag 21 oktober 2024 @ 22:48:
Ik heb nu een aon 1gb verbinding over het KPN Netwerk van HeldenVanNu en wil daar gaan overstappen op een 4GB verbinding met XGS-PON.

Ik heb een zelf gebouwde pc met pfsense erop waar de glasvezel kabel direct in gaat.

Intel i7700k
16gb
ASUS STRIX Z270F Gaming
Intel X520-DA1 met een sfp module
Intel Ethernet Network Adapter X710-T4L

Nu heb ik een paar vragen?
Is deze pc snel genoeg om 4gb over pppoe af te kunnen handelen?
kan ik de Intel X520-DA1 kaart blijven gebruiken in combinatie met de Zaram ZXOS11NPI of ben ik een nieuwere Intel X710-DA2 nodig om deze Zaram ZXOS11NPI werkende te krijgen? bijvoorbeeld de Intel X710-DA2. Ik lees hier dat als je die kaart wil gebruiken je een xl710-unlocker nodig bent om Zaram ZXOS11NPI werkende te krijgen? Als je die xl710-unlocker nodig bent werkt dat dan ook met de nieuwste NVM firmware en moet je xl710-unlocker bij elke NVM update weer toepassen? Klopt het ook dat je de xl710-unlocker onder ubuntu kan installeren en dat je het commando per poort op de kaart moet topassen?
De PC is hoogstwaarschijnlijk nog behoorlijk wat sneller, de beperkende factor is in dit geval pfsense.
Dat maakt geen gebruik van de multicored / hyperthreaded options in de CPU en zal 1 core dedicated belasting met de pppoe thread.

Acties:
  • +1 Henk 'm!

  • ArnoldSmit
  • Registratie: November 2016
  • Laatst online: 29-04 20:36
Kabouterplop01 schreef op dinsdag 22 oktober 2024 @ 09:12:
[...]


De PC is hoogstwaarschijnlijk nog behoorlijk wat sneller, de beperkende factor is in dit geval pfsense.
Dat maakt geen gebruik van de multicored / hyperthreaded options in de CPU en zal 1 core dedicated belasting met de pppoe thread.
Als je pfsense / OpnSense virtueel draait onder bijvoorbeeld proxmox dan kan je via je virtuele nic je performance flink opkrikken door het host OS de PPPoE pakketten te laten sorteren,:
https://www.neelc.org/posts/opnsense-pppoe-kvm/
Met hyper-v werkt dit als het goed is al met de standaard virtuele nic

Acties:
  • 0 Henk 'm!

  • Egbert Jan
  • Registratie: September 2008
  • Laatst online: 23:20
Ik draai pfsense niet virtueel

Acties:
  • 0 Henk 'm!

  • ArnoldSmit
  • Registratie: November 2016
  • Laatst online: 29-04 20:36
Egbert Jan schreef op maandag 21 oktober 2024 @ 23:50:
[...]

Werkt dit met originele intel NVMu firmware bestanden op deze kaart?
Ja probleemloos

Acties:
  • 0 Henk 'm!

  • ArnoldSmit
  • Registratie: November 2016
  • Laatst online: 29-04 20:36
Misschien het overwegen waard.
Zelf draai ik OPNSense virtueel onder Hyper-V.
heb een 2.5Gb lijn PPPoE van TriNED, CPU load komt bij volle belasting niet boven de 60%
De snelheid die ik dan met nieuwsgroepen behaal is 290MB, +/- 2320Megabit/ps.
(Ik zie wel dat ik dan met mijn lijn precies de 2500 mbps aantikt, dus er zit overhead bij waardoor mijn netto snelheid rond de 2300mbps is)

[ Voor 16% gewijzigd door ArnoldSmit op 22-10-2024 13:20 ]


Acties:
  • 0 Henk 'm!

  • Egbert Jan
  • Registratie: September 2008
  • Laatst online: 23:20
Gaat XXV710-DA2 https://ark.intel.com/con...k-adapter-xxv710-da2.html deze kaart ook werken met Zaram ZXOS11NPI als ik hem met de xl710-unlocker unlock? Ik kan namelijk goedkoop aan deze kaart komen

Acties:
  • 0 Henk 'm!

  • Egbert Jan
  • Registratie: September 2008
  • Laatst online: 23:20
Hoe kan je in ubuntu zien of de SPF+ module werkt in de intel xxv710-da2 met de Zaram XGS-PON ONU SFP+. Ik wil dit graag weten voor ik het pon id laat registeren.

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 19:55
Egbert Jan schreef op vrijdag 15 november 2024 @ 12:47:
Hoe kan je in ubuntu zien of de SPF+ module werkt in de intel xxv710-da2 met de Zaram XGS-PON ONU SFP+. Ik wil dit graag weten voor ik het pon id laat registeren.
ethtool -m <interface>


Dan zie je zoiets:


root@pve:~# ethtool -m enp2s0f1np1 
	Identifier                                : 0x03 (SFP)
	Extended identifier                       : 0x04 (GBIC/SFP defined by 2-wire interface ID)
	Connector                                 : 0x01 (SC)
	Transceiver codes                         : 0x20 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00
	Transceiver type                          : 10G Ethernet: 10G Base-LR
	Encoding                                  : 0x06 (64B/66B)
	BR, Nominal                               : 10300MBd
	Rate identifier                           : 0x00 (unspecified)
	Length (SMF,km)                           : 20km
	Length (SMF)                              : 20000m
	Length (50um)                             : 0m
	Length (62.5um)                           : 0m
	Length (Copper)                           : 0m
	Length (OM3)                              : 0m
	Laser wavelength                          : 1270nm
	Vendor name                               : Zaram
	Vendor OUI                                : 00:0b:6f
	Vendor PN                                 : ZXOS11NPI
	Vendor rev                                : 1B
	Option values                             : 0x22 0x02
	Option                                    : RX_LOS implemented
	Option                                    : Power level 2 requirement
	Option                                    : Power level 3 requirement
	BR margin, max                            : 0%
	BR margin, min                            : 0%
	Vendor SN                                 : *knip*
	Date code                                 : *knip*
	Optical diagnostics support               : Yes
	Laser bias current                        : 18.752 mA
	Laser output power                        : 4.5034 mW / 6.54 dBm
	Receiver signal average optical power     : 0.0156 mW / -18.07 dBm
	Module temperature                        : 56.50 degrees C / 133.70 degrees F
	Module voltage                            : 3.3590 V
	Alarm/warning flags implemented           : Yes
	Laser bias current high alarm             : Off
	Laser bias current low alarm              : Off
	Laser bias current high warning           : Off
	Laser bias current low warning            : Off
	Laser output power high alarm             : Off
	Laser output power low alarm              : Off
	Laser output power high warning           : Off
	Laser output power low warning            : Off
	Module temperature high alarm             : Off
	Module temperature low alarm              : Off
	Module temperature high warning           : Off
	Module temperature low warning            : Off
	Module voltage high alarm                 : Off
	Module voltage low alarm                  : Off
	Module voltage high warning               : Off
	Module voltage low warning                : Off
	Laser rx power high alarm                 : Off
	Laser rx power low alarm                  : Off
	Laser rx power high warning               : Off
	Laser rx power low warning                : Off
	Laser bias current high alarm threshold   : 90.000 mA
	Laser bias current low alarm threshold    : 2.000 mA
	Laser bias current high warning threshold : 80.000 mA
	Laser bias current low warning threshold  : 4.000 mA
	Laser output power high alarm threshold   : 6.5535 mW / 8.16 dBm
	Laser output power low alarm threshold    : 2.1380 mW / 3.30 dBm
	Laser output power high warning threshold : 6.5535 mW / 8.16 dBm
	Laser output power low warning threshold  : 2.3442 mW / 3.70 dBm
	Module temperature high alarm threshold   : 90.00 degrees C / 194.00 degrees F
	Module temperature low alarm threshold    : -45.00 degrees C / -49.00 degrees F
	Module temperature high warning threshold : 85.00 degrees C / 185.00 degrees F
	Module temperature low warning threshold  : -40.00 degrees C / -40.00 degrees F
	Module voltage high alarm threshold       : 4.0000 V
	Module voltage low alarm threshold        : 3.0000 V
	Module voltage high warning threshold     : 3.5000 V
	Module voltage low warning threshold      : 3.1000 V
	Laser rx power high alarm threshold       : 0.1995 mW / -7.00 dBm
	Laser rx power low alarm threshold        : 0.0006 mW / -32.22 dBm
	Laser rx power high warning threshold     : 0.1778 mW / -7.50 dBm
	Laser rx power low warning threshold      : 0.0008 mW / -30.97 dBm


Even niets...


Acties:
  • 0 Henk 'm!

  • Egbert Jan
  • Registratie: September 2008
  • Laatst online: 23:20
FireDrunk schreef op vrijdag 15 november 2024 @ 14:47:
[...]


ethtool -m <interface>


Dan zie je zoiets:


root@pve:~# ethtool -m enp2s0f1np1 
	Identifier                                : 0x03 (SFP)
	Extended identifier                       : 0x04 (GBIC/SFP defined by 2-wire interface ID)
	Connector                                 : 0x01 (SC)
	Transceiver codes                         : 0x20 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00
	Transceiver type                          : 10G Ethernet: 10G Base-LR
	Encoding                                  : 0x06 (64B/66B)
	BR, Nominal                               : 10300MBd
	Rate identifier                           : 0x00 (unspecified)
	Length (SMF,km)                           : 20km
	Length (SMF)                              : 20000m
	Length (50um)                             : 0m
	Length (62.5um)                           : 0m
	Length (Copper)                           : 0m
	Length (OM3)                              : 0m
	Laser wavelength                          : 1270nm
	Vendor name                               : Zaram
	Vendor OUI                                : 00:0b:6f
	Vendor PN                                 : ZXOS11NPI
	Vendor rev                                : 1B
	Option values                             : 0x22 0x02
	Option                                    : RX_LOS implemented
	Option                                    : Power level 2 requirement
	Option                                    : Power level 3 requirement
	BR margin, max                            : 0%
	BR margin, min                            : 0%
	Vendor SN                                 : *knip*
	Date code                                 : *knip*
	Optical diagnostics support               : Yes
	Laser bias current                        : 18.752 mA
	Laser output power                        : 4.5034 mW / 6.54 dBm
	Receiver signal average optical power     : 0.0156 mW / -18.07 dBm
	Module temperature                        : 56.50 degrees C / 133.70 degrees F
	Module voltage                            : 3.3590 V
	Alarm/warning flags implemented           : Yes
	Laser bias current high alarm             : Off
	Laser bias current low alarm              : Off
	Laser bias current high warning           : Off
	Laser bias current low warning            : Off
	Laser output power high alarm             : Off
	Laser output power low alarm              : Off
	Laser output power high warning           : Off
	Laser output power low warning            : Off
	Module temperature high alarm             : Off
	Module temperature low alarm              : Off
	Module temperature high warning           : Off
	Module temperature low warning            : Off
	Module voltage high alarm                 : Off
	Module voltage low alarm                  : Off
	Module voltage high warning               : Off
	Module voltage low warning                : Off
	Laser rx power high alarm                 : Off
	Laser rx power low alarm                  : Off
	Laser rx power high warning               : Off
	Laser rx power low warning                : Off
	Laser bias current high alarm threshold   : 90.000 mA
	Laser bias current low alarm threshold    : 2.000 mA
	Laser bias current high warning threshold : 80.000 mA
	Laser bias current low warning threshold  : 4.000 mA
	Laser output power high alarm threshold   : 6.5535 mW / 8.16 dBm
	Laser output power low alarm threshold    : 2.1380 mW / 3.30 dBm
	Laser output power high warning threshold : 6.5535 mW / 8.16 dBm
	Laser output power low warning threshold  : 2.3442 mW / 3.70 dBm
	Module temperature high alarm threshold   : 90.00 degrees C / 194.00 degrees F
	Module temperature low alarm threshold    : -45.00 degrees C / -49.00 degrees F
	Module temperature high warning threshold : 85.00 degrees C / 185.00 degrees F
	Module temperature low warning threshold  : -40.00 degrees C / -40.00 degrees F
	Module voltage high alarm threshold       : 4.0000 V
	Module voltage low alarm threshold        : 3.0000 V
	Module voltage high warning threshold     : 3.5000 V
	Module voltage low warning threshold      : 3.1000 V
	Laser rx power high alarm threshold       : 0.1995 mW / -7.00 dBm
	Laser rx power low alarm threshold        : 0.0006 mW / -32.22 dBm
	Laser rx power high warning threshold     : 0.1778 mW / -7.50 dBm
	Laser rx power low warning threshold      : 0.0008 mW / -30.97 dBm


ik krijg dit te zien

root@egbert-jan-All-Series:/home/egbert-jan# ethtool -m enp2s0f1np1
Identifier : 0x03 (SFP)
Extended identifier : 0x04 (GBIC/SFP defined by 2-wire interface ID)
Connector : 0x01 (SC)
Transceiver codes : 0x20 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00
Transceiver type : 10G Ethernet: 10G Base-LR
Encoding : 0x06 (64B/66B)
BR, Nominal : 10300MBd
Rate identifier : 0x00 (unspecified)
Length (SMF,km) : 20km
Length (SMF) : 20000m
Length (50um) : 0m
Length (62.5um) : 0m
Length (Copper) : 0m
Length (OM3) : 0m
Laser wavelength : 1270nm
Vendor name : Zaram
Vendor OUI : 00:0b:6f
Vendor PN : ZXOS11NPI
Vendor rev : 1B
Option values : 0x22 0x02
Option : RX_LOS implemented
Option : Power level 2 requirement
Option : Power level 3 requirement
BR margin, max : 0%
BR margin, min : 0%
Vendor SN : *knip*
Date code : *knip*
Optical diagnostics support : Yes
Laser bias current : 0.000 mA
Laser output power : 0.0000 mW / -inf dBm
Receiver signal average optical power : 0.0000 mW / -inf dBm
Module temperature : 39.00 degrees C / 102.20 degrees F
Module voltage : 3.3119 V
Alarm/warning flags implemented : Yes
Laser bias current high alarm : Off
Laser bias current low alarm : On
Laser bias current high warning : Off
Laser bias current low warning : On
Laser output power high alarm : Off
Laser output power low alarm : On
Laser output power high warning : Off
Laser output power low warning : On
Module temperature high alarm : Off
Module temperature low alarm : Off
Module temperature high warning : Off
Module temperature low warning : Off
Module voltage high alarm : Off
Module voltage low alarm : Off
Module voltage high warning : Off
Module voltage low warning : Off
Laser rx power high alarm : Off
Laser rx power low alarm : On
Laser rx power high warning : Off
Laser rx power low warning : On
Laser bias current high alarm threshold : 90.000 mA
Laser bias current low alarm threshold : 2.000 mA
Laser bias current high warning threshold : 80.000 mA
Laser bias current low warning threshold : 4.000 mA
Laser output power high alarm threshold : 6.5535 mW / 8.16 dBm
Laser output power low alarm threshold : 2.1380 mW / 3.30 dBm
Laser output power high warning threshold : 6.5535 mW / 8.16 dBm
Laser output power low warning threshold : 2.3442 mW / 3.70 dBm
Module temperature high alarm threshold : 90.00 degrees C / 194.00 degrees F
Module temperature low alarm threshold : -45.00 degrees C / -49.00 degrees F
Module temperature high warning threshold : 85.00 degrees C / 185.00 degrees F
Module temperature low warning threshold : -40.00 degrees C / -40.00 degrees F
Module voltage high alarm threshold : 4.0000 V
Module voltage low alarm threshold : 3.0000 V
Module voltage high warning threshold : 3.5000 V
Module voltage low warning threshold : 3.1000 V
Laser rx power high alarm threshold : 0.1995 mW / -7.00 dBm
Laser rx power low alarm threshold : 0.0006 mW / -32.22 dBm
Laser rx power high warning threshold : 0.1778 mW / -7.50 dBm
Laser rx power low warning threshold : 0.0008 mW / -30.97 dBm

Kan ik hier uit concluderend dat de sfp+ module goed gezien wordt en er geen lock meer op de kaart zit?

Acties:
  • 0 Henk 'm!

  • Egbert Jan
  • Registratie: September 2008
  • Laatst online: 23:20
Ik las ook ergens dat je instellingen voor de sfp+ module niet op auto negotiation speed moet hebben staan bij kpn ,maar vast moet zetten op 10gb. Als dit zo is hoe kan ik dat doen in pfsense. Ik kan bij de wan interface geen speed instellen of moet ik dat via de command line doen? als dat moet wat zijn dan de freebsd commando's omdat te doen.

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 19:55
Ik heb niets aan de autonegotiation aangepast.

Als je de kpn glasvezel kabel er in prikt zou de link gewoon op moeten komen.
Ookal heb je je ponid nog niet gewijzigd.

Even niets...


Acties:
  • 0 Henk 'm!

  • mrdemc
  • Registratie: Juni 2010
  • Laatst online: 23:40
Egbert Jan schreef op zaterdag 16 november 2024 @ 00:09:
Ik las ook ergens dat je instellingen voor de sfp+ module niet op auto negotiation speed moet hebben staan bij kpn ,maar vast moet zetten op 10gb. Als dit zo is hoe kan ik dat doen in pfsense. Ik kan bij de wan interface geen speed instellen of moet ik dat via de command line doen? als dat moet wat zijn dan de freebsd commando's omdat te doen.
Als ik het mij goed herinner geldt dat alleen voor een van de UDM soorten van Unifi.

Acties:
  • 0 Henk 'm!

  • Egbert Jan
  • Registratie: September 2008
  • Laatst online: 23:20
FireDrunk schreef op zaterdag 16 november 2024 @ 07:49:
Ik heb niets aan de autonegotiation aangepast.

Als je de kpn glasvezel kabel er in prikt zou de link gewoon op moeten komen.
Ookal heb je je ponid nog niet gewijzigd.
Weet jij of iemand anders misschien het commando in Linux hoe ik kan checken dat de link opkomt. Ik zit op dit moment met de volgende probleem ik zit voor de glasvezel bij Helden van nu via het kpn netwerk en bij hun gaat iets fout met het registeren van het pon id van zaram. Ze zijn nu aan het uitzoeken waar het probleem ligt.

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 19:55
Link changes staan standaard in dmesg.

Even niets...


Acties:
  • +1 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
@Egbert Jan Welke netwerk configuratie tools gebruik je en welke Linux distro? Indien systemd-networkd, dan kom je met analyseren mbv networkctl ook een heel eind.

E.g.

code:
1
2
3
sudo networkctl
sudo networkctl status
sudo networkctl status enp3s0f0

[ Voor 18% gewijzigd door ikke26 op 18-11-2024 15:51 ]


Acties:
  • +2 Henk 'm!

  • Raven
  • Registratie: November 2004
  • Niet online

Raven

Marion Raven fan

Interessant voor hier?

After the first glass you see things as you wish they were. After the second you see things as they are not. Finally you see things as they really are, and that is the most horrible thing in the world...

Oscar Wilde


Acties:
  • +1 Henk 'm!

  • victoryo
  • Registratie: Maart 2007
  • Laatst online: 24-04 10:24
Kabouterplop01 schreef op dinsdag 22 oktober 2024 @ 09:12:
[...]


De PC is hoogstwaarschijnlijk nog behoorlijk wat sneller, de beperkende factor is in dit geval pfsense.
Dat maakt geen gebruik van de multicored / hyperthreaded options in de CPU en zal 1 core dedicated belasting met de pppoe thread.
Al beschrijft OPNsense tegenwoordig zelf hoe je RSS kan toepassen om packages over de cores te verdelen. Afhankelijk van je netwerkkaart kan dit zeker werken.

Ik gebruik het zelf al een tijdje zonder problemen icm een Intel I350-AM2 wat een Igb kaart is.

https://docs.opnsense.org/troubleshooting/performance.html

Acties:
  • +2 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 19:55
Voor de mensen die zich druk maken dat PPPoE op 1 core de limiterende factor is bij pfSense, dat valt volgens mij wel mee.
VirtIO is in mijn geval eerder de beperkende factor.

Dit is tijdens een 4Gb speedtest:

Afbeeldingslocatie: https://tweakers.net/i/J5y8sRIKTlTzhwpbubfgB4UFljA=/800x/filters:strip_exif()/f/image/OoSDvtqXCkiLC5rQJnOsidxT.png?f=fotoalbum_large
Links is KVM host, rechts pfSense VM.

Er zijn 2 VirtIO IRQ's waar de wcpu stevig is. Tijdens hoge upload krijg ik daar ook Interrupt storms op.
Ik zou passthrough kunnen doen, maar de power management van BSD is prut, waardoor de NIC's meer gaan verbruiken.

Ik hoop ooit naar een LXC OpenWRT container te switchen, dan heb ik best of both worlds :)

Even niets...


Acties:
  • 0 Henk 'm!

  • Egbert Jan
  • Registratie: September 2008
  • Laatst online: 23:20
Bedankt voor jullie hulp hier. De Intel XXV710-DA2 werk inmiddels met de Zaram en nvm 9.52 met pfsense 24.11. Na eerst in ubuntu 24.04 een unlock script te hebben gedraaid. Nu heb ik nog wel een vraag hoe kan ik het beste testen of ik de 4gb haal. Als ik de kpn speedtest doe kom ik download 3,7gb en upload op 3,2gb en mijn pfsense machine heeft dan 8% cpu verbruik (7700K). Wie kan mij hier bij helpen?

Acties:
  • 0 Henk 'm!

  • Polyphemus
  • Registratie: Maart 2003
  • Laatst online: 20:11
Egbert Jan schreef op maandag 2 december 2024 @ 21:21:
Bedankt voor jullie hulp hier. De Intel XXV710-DA2 werk inmiddels met de Zaram en nvm 9.52 met pfsense 24.11. Na eerst in ubuntu 24.04 een unlock script te hebben gedraaid. Nu heb ik nog wel een vraag hoe kan ik het beste testen of ik de 4gb haal. Als ik de kpn speedtest doe kom ik download 3,7gb en upload op 3,2gb en mijn pfsense machine heeft dan 8% cpu verbruik (7700K). Wie kan mij hier bij helpen?
Kun je niets met het iperf commando testen?

https://novoserve.com/speedtest-nl

Acties:
  • 0 Henk 'm!

  • analog_
  • Registratie: Januari 2004
  • Niet online
Een tijdje terug heb ik een Cisco t-rex setup gebouwd waarmee ik tot een paar honderd gbit kan valideren.

Ik ben toen overgestapt naar een Qotom Q20322G9 C3558 (~30w) en Q20342G9 C3808 (~20w) met VyOS rolling met wat proc settings. Hier kwam (routing) 5gbit imix, 20gbit 1518 en 25 gbit 8k voor C3558. Ik herinner me dat de slappere, de helft deed. Ik heb ook nat masquerading met een paar acls getest en dat kwam op hetzelfde neer (zowel stateful als less, na conntrack wat meer rek te geven).

Acties:
  • 0 Henk 'm!

  • FireDrunk
  • Registratie: November 2002
  • Laatst online: 19:55
Egbert Jan schreef op maandag 2 december 2024 @ 21:21:
Bedankt voor jullie hulp hier. De Intel XXV710-DA2 werk inmiddels met de Zaram en nvm 9.52 met pfsense 24.11. Na eerst in ubuntu 24.04 een unlock script te hebben gedraaid. Nu heb ik nog wel een vraag hoe kan ik het beste testen of ik de 4gb haal. Als ik de kpn speedtest doe kom ik download 3,7gb en upload op 3,2gb en mijn pfsense machine heeft dan 8% cpu verbruik (7700K). Wie kan mij hier bij helpen?
Fast.com is ook wel prima.

Even niets...


Acties:
  • 0 Henk 'm!

  • MMaster23
  • Registratie: November 2002
  • Laatst online: 17:40
Wat voor software draaien jullie voor jullie zelfbouw 10gbit router? Ik heb een Minisforum MS-01, i5 12600H, 64GB RAM, 2x 10G SFP+ Intel X710 en probeer daar diverse combinaties op maar krijg maar rare resultaten. Soms krijg ik bv bij opnsense/pfsense aan de LAN kant "maar" 3 gbit/sec, en vaak zelfs maar 500mbit. Zelfs wanneer ik het virtueel draai onder Hyper-V of Proxmox, van VM naar VM (haal ik meestal 9.9gbit of over de vswitch richting de 17gbit/sec), blijf ik rare cijfers krijgen.

Veel na zitten lezen over BSD en zijn netwerk stack, over hoe het single core zou zijn etc. Een miljard tunables geprobeerd, diverse offloading, pci-e passthrough, bare metal etc. Ik krijg uiteindelijk niet meer dan 2,5gbit/sec van mijn 5~7gbit WAN verbinding.

Ik krijg op mijn UDM Pro ook niet meer dan 3gbit/sec, maar dat komt door de PPPoE performance op die processor. Ik kijk dus actief naar een nieuwe router maar de zelfbouw route heeft de afgelopen 4 dagen vrijwel geen goede resultaten gegeven.

Geprobeerd:

- Virtueel met Hyper-V 2025, Proxmox
- Baremetal
- Virtueel met pci-e passthrough
- Alles virtueel met puur vswitches (kale FreeBSD haalt gewoon nooit meer dan 500mbit op iPerf3?)
- RSC settings op Hyper-V switch
- BSD Tunables van iedere optimalisatiegids/reddit post die kan vinden
- X710 firmware update
- HT op cpu uit
- E-cores uit
- Windows en Ubuntu haalt 10gbit prima, BSD gewoon niet
- Ook even IPFire geprobeerd, haalt 10gbit op LAN maar niet meer dan 2gbit op WAN PPPoE (single core)
- Diverse power settings op uit gezet (NICs, CPU etc).
- Drie verschillende virtualisatie software (ook gewoon VMWare op mijn 7900X desktop, FreeBSD clean install, 500mbit iperf3)

Moet ik dan maar gewoon een CCR2004 kopen? Stiekem wil ik gewoon een UDM die goed werkt met PPPoE maar zelfs de nieuwe UDM Pro Max versie kan er schijnbaar niet veel uithalen.

Acties:
  • 0 Henk 'm!

  • stormfly
  • Registratie: Juli 2001
  • Laatst online: 22:26
MMaster23 schreef op woensdag 8 januari 2025 @ 02:29:
Wat voor software draaien jullie voor jullie zelfbouw 10gbit router? Ik heb een Minisforum MS-01, i5 12600H, 64GB RAM, 2x 10G SFP+ Intel X710 en probeer daar diverse combinaties op maar krijg maar rare resultaten. Soms krijg ik bv bij opnsense/pfsense aan de LAN kant "maar" 3 gbit/sec, en vaak zelfs maar 500mbit. Zelfs wanneer ik het virtueel draai onder Hyper-V of Proxmox, van VM naar VM (haal ik meestal 9.9gbit of over de vswitch richting de 17gbit/sec), blijf ik rare cijfers krijgen.

Veel na zitten lezen over BSD en zijn netwerk stack, over hoe het single core zou zijn etc. Een miljard tunables geprobeerd, diverse offloading, pci-e passthrough, bare metal etc. Ik krijg uiteindelijk niet meer dan 2,5gbit/sec van mijn 5~7gbit WAN verbinding.

Ik krijg op mijn UDM Pro ook niet meer dan 3gbit/sec, maar dat komt door de PPPoE performance op die processor. Ik kijk dus actief naar een nieuwe router maar de zelfbouw route heeft de afgelopen 4 dagen vrijwel geen goede resultaten gegeven.

Geprobeerd:

- Virtueel met Hyper-V 2025, Proxmox
- Baremetal
- Virtueel met pci-e passthrough
- Alles virtueel met puur vswitches (kale FreeBSD haalt gewoon nooit meer dan 500mbit op iPerf3?)
- RSC settings op Hyper-V switch
- BSD Tunables van iedere optimalisatiegids/reddit post die kan vinden
- X710 firmware update
- HT op cpu uit
- E-cores uit
- Windows en Ubuntu haalt 10gbit prima, BSD gewoon niet
- Ook even IPFire geprobeerd, haalt 10gbit op LAN maar niet meer dan 2gbit op WAN PPPoE (single core)
- Diverse power settings op uit gezet (NICs, CPU etc).
- Drie verschillende virtualisatie software (ook gewoon VMWare op mijn 7900X desktop, FreeBSD clean install, 500mbit iperf3)

Moet ik dan maar gewoon een CCR2004 kopen? Stiekem wil ik gewoon een UDM die goed werkt met PPPoE maar zelfs de nieuwe UDM Pro Max versie kan er schijnbaar niet veel uithalen.
Wat zie je aan processor load tijdens de testen, zijn dat singlecore threads, schiet het direct maar 100% en ligt de max daarmee ook op processor niveau?

Acties:
  • 0 Henk 'm!

  • Charlie_Root
  • Registratie: November 2018
  • Laatst online: 01-05 09:50
MMaster23 schreef op woensdag 8 januari 2025 @ 02:29:
Wat voor software draaien jullie voor jullie zelfbouw 10gbit router? Ik heb een Minisforum MS-01, i5 12600H, 64GB RAM, 2x 10G SFP+ Intel X710 en probeer daar diverse combinaties op maar krijg maar rare resultaten. Soms krijg ik bv bij opnsense/pfsense aan de LAN kant "maar" 3 gbit/sec, en vaak zelfs maar 500mbit. Zelfs wanneer ik het virtueel draai onder Hyper-V of Proxmox, van VM naar VM (haal ik meestal 9.9gbit of over de vswitch richting de 17gbit/sec), blijf ik rare cijfers krijgen.

Veel na zitten lezen over BSD en zijn netwerk stack, over hoe het single core zou zijn etc. Een miljard tunables geprobeerd, diverse offloading, pci-e passthrough, bare metal etc. Ik krijg uiteindelijk niet meer dan 2,5gbit/sec van mijn 5~7gbit WAN verbinding.

Ik krijg op mijn UDM Pro ook niet meer dan 3gbit/sec, maar dat komt door de PPPoE performance op die processor. Ik kijk dus actief naar een nieuwe router maar de zelfbouw route heeft de afgelopen 4 dagen vrijwel geen goede resultaten gegeven.

Geprobeerd:

- Virtueel met Hyper-V 2025, Proxmox
- Baremetal
- Virtueel met pci-e passthrough
- Alles virtueel met puur vswitches (kale FreeBSD haalt gewoon nooit meer dan 500mbit op iPerf3?)
- RSC settings op Hyper-V switch
- BSD Tunables van iedere optimalisatiegids/reddit post die kan vinden
- X710 firmware update
- HT op cpu uit
- E-cores uit
- Windows en Ubuntu haalt 10gbit prima, BSD gewoon niet
- Ook even IPFire geprobeerd, haalt 10gbit op LAN maar niet meer dan 2gbit op WAN PPPoE (single core)
- Diverse power settings op uit gezet (NICs, CPU etc).
- Drie verschillende virtualisatie software (ook gewoon VMWare op mijn 7900X desktop, FreeBSD clean install, 500mbit iperf3)

Moet ik dan maar gewoon een CCR2004 kopen? Stiekem wil ik gewoon een UDM die goed werkt met PPPoE maar zelfs de nieuwe UDM Pro Max versie kan er schijnbaar niet veel uithalen.
Hoe staan je ring buffers ingesteld?

Ik zou als ik jou was VyOS eens proberen, daarmee zou je met deze specs makkelijk 10Gbit moeten kunnen halen.

The cause of the problem is: network down, IP packets delivered via UPS


Acties:
  • +1 Henk 'm!

  • MMaster23
  • Registratie: November 2002
  • Laatst online: 17:40
stormfly schreef op woensdag 8 januari 2025 @ 07:19:
[...]


Wat zie je aan processor load tijdens de testen, zijn dat singlecore threads, schiet het direct maar 100% en ligt de max daarmee ook op processor niveau?
Verschilt een beetje per situatie. In het geval van BSD/*sense, vaak kreeg ik ineens niet meer dan 500mbit over de LAN zijde, waardoor de WAN zijde niet eens de kans kreeg om veel te doen. Ik heb ook wel 5gbit++ gehaald met opnsense, onder proxmox een keer en onder Hyper-V met pci-e passthrough van de NIC. Ik kan maar niet verklaren waarom BSD netwerk performance zo enorm hard inkakt.

Bv bij IPFire kan ik 10gbit aan de LAN zijde halen maar haal ik maar 2gbit op de WAN zijde, met een cpu core op 100%. Niet heel erg geoptimaliseerd. IPFire was ook meer een test.

Acties:
  • 0 Henk 'm!

  • MMaster23
  • Registratie: November 2002
  • Laatst online: 17:40
Charlie_Root schreef op woensdag 8 januari 2025 @ 07:26:
[...]


Hoe staan je ring buffers ingesteld?

Ik zou als ik jou was VyOS eens proberen, daarmee zou je met deze specs makkelijk 10Gbit moeten kunnen halen.
Ring buffers heb ik in tweaking niet voorbij zien komen. Heb je daar meer info over?

VyOS heb ik even kort mee gespeeld maar het is wel erg hardcore. Niet alles hoeft point and click te zijn maar de kans dat ik een onveilige config via cmdline in mekaar flats is wel groot. Opnsense e.d. zet een solide basis neer waar ik verder op kan bouwen en heb ik best vertrouwen in om jaren lang draaiende te houden. Bij VyOS zet ik daar mijn vraagtekens bij (voor mijzelf, that is).. en stiekem ook wel beetje bij Mikrotik.

Acties:
  • 0 Henk 'm!

  • Charlie_Root
  • Registratie: November 2018
  • Laatst online: 01-05 09:50
MMaster23 schreef op woensdag 8 januari 2025 @ 10:32:
[...]


Ring buffers heb ik in tweaking niet voorbij zien komen. Heb je daar meer info over?

VyOS heb ik even kort mee gespeeld maar het is wel erg hardcore. Niet alles hoeft point and click te zijn maar de kans dat ik een onveilige config via cmdline in mekaar flats is wel groot. Opnsense e.d. zet een solide basis neer waar ik verder op kan bouwen en heb ik best vertrouwen in om jaren lang draaiende te houden. Bij VyOS zet ik daar mijn vraagtekens bij (voor mijzelf, that is).. en stiekem ook wel beetje bij Mikrotik.
Ring buffers bekijken doe je zo:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
# ethtool -g eth0
Ring parameters for eth0:
Pre-set maximums:
RX:                     4096
RX Mini:                n/a
RX Jumbo:               n/a
TX:                     4096
TX push buff len:       n/a
Current hardware settings:
RX:                     4096
RX Mini:                n/a
RX Jumbo:               n/a
TX:                     4096


Vaak staan die ingesteld op 512 terwijl je hem kunt verhogen naar 4096 (zoals hierboven). Dat helpt enorm met de doorvoersnelheden, als ik hem terugzet op 512 haal ik ook maar 2-3Gbit.

Instellen doe je zo:
code:
1
ethtool -G eth0 rx 4096 tx 4096


VyOS is inderdaad niet de meest eenvoudige CLI, helemaal mee eens. Maar de ring-buffers zijn niet VyOS specifiek dus zou ik zeker nakijken.

The cause of the problem is: network down, IP packets delivered via UPS


Acties:
  • 0 Henk 'm!

  • MMaster23
  • Registratie: November 2002
  • Laatst online: 17:40
Charlie_Root schreef op woensdag 8 januari 2025 @ 16:08:
[...]

Instellen doe je zo:
code:
1
ethtool -G eth0 rx 4096 tx 4096
Is dat ook voor BSD/Opnsense? Ik dacht dat ethtool Linux was?

Acties:
  • 0 Henk 'm!

  • MMaster23
  • Registratie: November 2002
  • Laatst online: 17:40
Wat ik gewoon echt niet kan begrijpen.. ik heb nu even een Hyper-V VM met Opnsense (en pfsense, zelfde), X710 in PCI-E passthrough voor de LAN nic. Stock settings, alleen iperf3 en OS updates erop. Ene keer als de VM opstart, kan ik een kleine 4,5gbit single thread door iperf3 gooien. Doe ik een reboot van de VM, 250mbit/sec. En daar blijft hij dan. Apply dan wat random settings op de interface heen en terug, ineens weer 4,5gbit. Reboot ik weer, 200mbit / sec. De hele netwerkstack van BSD lijkt zo random.

Ik zag overigens hetzelfde met baremetal.

Ook wat tunables van deze pagina geprobeerd, lijkt weinig effect te hebben. HW Offload lijkt soms iets te doen maar is meer placebo effect omdat de nic random slecht of beter werkt.

Acties:
  • +1 Henk 'm!

  • Charlie_Root
  • Registratie: November 2018
  • Laatst online: 01-05 09:50
MMaster23 schreef op woensdag 8 januari 2025 @ 18:02:
Wat ik gewoon echt niet kan begrijpen.. ik heb nu even een Hyper-V VM met Opnsense (en pfsense, zelfde), X710 in PCI-E passthrough voor de LAN nic. Stock settings, alleen iperf3 en OS updates erop. Ene keer als de VM opstart, kan ik een kleine 4,5gbit single thread door iperf3 gooien. Doe ik een reboot van de VM, 250mbit/sec. En daar blijft hij dan. Apply dan wat random settings op de interface heen en terug, ineens weer 4,5gbit. Reboot ik weer, 200mbit / sec. De hele netwerkstack van BSD lijkt zo random.

Ik zag overigens hetzelfde met baremetal.

Ook wat tunables van deze pagina geprobeerd, lijkt weinig effect te hebben. HW Offload lijkt soms iets te doen maar is meer placebo effect omdat de nic random slecht of beter werkt.
Ik zou beginnen met 1 OS kiezen en daarmee testen, steeds een andere setup maakt het zoeken naar de oorzaak erg lastig. Ik test zelf altijd met VyOS of gewoon een kale debian installatie.

Het verschil in de tests kan komen omdat je 8 Efficient-cores hebt, en maar 4 Performance-cores. Als je dit wilt uitsluiten kun je testen met de -A flag en optimaliseer je offloading;
code:
1
ethtool -K eth1 rx on tx on sg on tso off gso off gro off lro off ntuple on rxhash on


Wat mij ook hielp is MAX RPS flow counts:
code:
1
2
3
4
5
6
echo 32768 > /proc/sys/net/core/rps_sock_flow_entries
for card in eth1 eth3; do
  for queue in $(seq 0 5); do
    echo 5461 > /sys/class/net/$card/queues/rx-$queue/rps_flow_cnt
  done
done


Check ook
code:
1
cpupower frequency-info

Hier zie je output zoals:
code:
1
2
3
4
current policy: frequency should be within 1.50 GHz and 2.50 GHz.
                  The governor "performance" may decide which speed to use
                  within this range.
  current CPU frequency: 2.50 GHz (asserted by call to hardware)


Om hem op performance te zetten:
code:
1
cpupower frequency-set --governor performance

The cause of the problem is: network down, IP packets delivered via UPS


Acties:
  • 0 Henk 'm!

  • MMaster23
  • Registratie: November 2002
  • Laatst online: 17:40
Voor mij was dat primaire OS dus opnsense (freebsd). E cores en HT had ik al eerder getest door ze in de eufi uit te schakelen.

Acties:
  • 0 Henk 'm!

  • Videopac
  • Registratie: November 2000
  • Laatst online: 23:01

Videopac

Rommelt wat aan.

Valt een Banana R4 onder zelfbouw?

Asustor AS6704T (32GB, 4x16TB MG08), OpenWrt (3x GL.iNet Flint 2 MT6000), Lyrion Media Server, Odroid H2/N2+/C4/C2, DS918+ (4x8TB WD RED)


Acties:
  • 0 Henk 'm!

  • sambaloedjek
  • Registratie: Juni 2015
  • Laatst online: 22:03
MMaster23 schreef op donderdag 9 januari 2025 @ 07:25:
Voor mij was dat primaire OS dus opnsense (freebsd). E cores en HT had ik al eerder getest door ze in de eufi uit te schakelen.
Had die MS01 ook bijna besteld maar de prijs en het idle verbruik hield me tegen.

Je zou nog eens OpenWRT x64 kunnen overwegen; plain Linux met een GUI. Als die ook zo slecht performed dan zou ik eens verder kijken naar jouw kabels e/o test methodiek. Het is bijv. welbekend dat als je hoge throughput testen uitvoerd met interne niet-gelijke interface snelheden (bijv. van 10gbps client naar 2.5gbps WAN) dat die testen behoorlijk kunnen inzakken ivm beperkte packet buffering.

Kan me niet voorstellen dat een MS01 dit soort slechte performance laat zien. Of zit er ergens een verborgen hardware limiet mbt PCI lanes?

Acties:
  • 0 Henk 'm!

  • MMaster23
  • Registratie: November 2002
  • Laatst online: 17:40
sambaloedjek schreef op donderdag 9 januari 2025 @ 20:41:
[...]


Had die MS01 ook bijna besteld maar de prijs en het idle verbruik hield me tegen.

Je zou nog eens OpenWRT x64 kunnen overwegen; plain Linux met een GUI. Als die ook zo slecht performed dan zou ik eens verder kijken naar jouw kabels e/o test methodiek. Het is bijv. welbekend dat als je hoge throughput testen uitvoerd met interne niet-gelijke interface snelheden (bijv. van 10gbps client naar 2.5gbps WAN) dat die testen behoorlijk kunnen inzakken ivm beperkte packet buffering.

Kan me niet voorstellen dat een MS01 dit soort slechte performance laat zien. Of zit er ergens een verborgen hardware limiet mbt PCI lanes?
Het probleem is zeker niet de hardware. Windows naar Windows .. of Windows naar Windows VM in Hyper-V .. of Windows naar Ubuntu VM in Hyper-v .. allemaal 9.5gbit/sec+.

Ik zie hetzelfde probleem met FreeBSD zelfs op mijn Ryzen 7900X met VMWare workstation. Ene keer gaat hij 3.4gbit/sec over een virtuele switch (los nog van hardware nic, kabels etc) en dan een reboot later, nog maar 200mbit/sec.

Als ik die zelfde test doe van Windows VM naar Windows VM over een vswitch, krijg ik 30gbit/sec++. Voor mij is 5 dagen tweaken en testen wel genoeg. Er is vast een BSD fanatiek die het wel voor mekaar krijgt maar voor mij houdt het op.

Ik ga mij nu richten op Mikrotik CHR (virtuele RouterOS instance) of gewoon een Mikrotik hardware router waarvan al bewezen is dat die 6gbit aan kan.

Acties:
  • 0 Henk 'm!

  • ikke26
  • Registratie: Juli 2009
  • Laatst online: 22:07
Een beetje een twijfelgeval, maar wat mij betreft wel:
Je bouwt met open source software zoals OpenWRT of een andere Linux distro en losse componenten zelf iets in elkaar.
Pagina: 1