10Gbe netwerk snelheden

[Thom.Seagal]

Hoi allen,

Momenteel ben ik nog redelijk nieuw in het 10Gbe netwerk gebeuren dus hopelijk kan iemand mij duidelijkheid bieden.

Ik heb thuis op papier een 10Gbe netwerk. Echter haal ik deze interne snelheid niet. De snelheid die ik haal met Iperf3 is zon 2.75Gbe.
Snelheid via speedtest (Gehost op mijn unraid server) Haal ik zon 6.2Gbe down en 5.1Gbe up.
Bestanden uploaden via windows verkenner naar een share op de unraid server haal ik 649MB/s.

De server maakt gebruik van een 1tb cache ssd (Samsung 970 evo plus). Mijn eigen pc ook. De maximale schijf snelheden lijkt mij dus meer dan voldoende.
In de server zit de nvme pcie kaart in een x8 slot en de 10gbe nic kaart in een x4 slot. Dit lijkt mij ook voldoende.

Setup is als volgt. Windows pc met 10Gbe nic (intel x540)
-> cat 7
-> USW Flex XG
-> Cat 5e (Volgens "het internet" goed voor 10Gbe tot max 50meter. Mijne is 25meter)
-> UDM PRO SE SFP+ aansluiting (SFP+ naar rj45 adapter van unifi)
-> DAC kabel
->Dell server met 10Gbe Intel Nic.

Extra informatie:
Cpu gebruik op de server is 10%, die van de pc 75% tijdens de testen.
Jumbo frames staan al aan op beide nics.

[Ryanirin]

Iets meer informatie over je configuratie is wel vereist om iets zinnigs te kunnen zeggen over je bottleneck. Is je server op de UDM aangesluiten ivm NVR? anders, waarom niet op de USW? Dan ga je intern waarschijnlijk prima snelheid halen. Voor de rest, heb je IDS/IPS aan staan op de UDM? Dat beperkt de throughput aanzienlijk. (Je hebt maar 1 SFP+ LAN-poort op dat ding, de andere is een WAN-poort, afaik)

[Thom.Seagal]

Ryanirin schreef op dinsdag 11 juni 2024 @ 19:02:
Iets meer informatie over je configuratie is wel vereist om iets zinnigs te kunnen zeggen over je bottleneck. Is je server op de UDM aangesluiten ivm NVR? anders, waarom niet op de USW? Dan ga je intern waarschijnlijk prima snelheid halen. Voor de rest, heb je IDS/IPS aan staan op de UDM? Dat beperkt de throughput aanzienlijk. (Je hebt maar 1 SFP+ LAN-poort op dat ding, de andere is een WAN-poort, afaik)

UDM en server hangen in dezelfde ruimte.
UDM pro SE heeft een 2.5gbe wan poort met rj45 aansluiting. En 2 sfp+ poorten. (Waarvan 1 idd als wan kan worden gebruikter, echter is dat nu niet zo).
Op de 2.5gbe poort zit mijn ziggo uplink.
In 1 sfp+ poort zit de dac kabel naar de server en in de andere poort een module naar rj45 die naar de Flex xg gaat.
Flex xg staat in een andere ruimte dan de server. Vandaar dat er een kabel van 25meter tussenzit.

Threat detection staat wel aan, maar voor wat ik akn zien is dit alleen voor inkomend van buiten?

[Tortelli]

Transfers binnen Windows zijn niet mega snel is mijn ervaring, vaak blijf je hangen ergens tussen de 500 en 800MB/s. Ik heb zelf een netwerk op 5Gbit draaien* (10Gbit switch, CAT6A liggen, echter is kabel naar pc niet 100% stabiel op 10Gbit, op 5Gbit doet hij het prima). Haal perfecte 580MB/s transfers wat meer dan prima is voor mijn doel.

Wat mij op de Synology opviel is dat het toevoegen van meer geheugen (van 4GB > 36GB) de transfers veel stabieler maakte. Je kunt in Windows wel wat settings aanpassen om eea te verbeteren, maar een goeden tip (naast jumboframes die je al gebruik) heb ik niet.

*Lees: ik ben te lui geweest tot nu toe (3 jaar 😉) om eea opnieuw te patchen etc. Zowel NAS als Desktop draaien op een X550 kaart.

[ Voor 30% gewijzigd door Tortelli op 16-06-2024 13:46 ]

[Shinji]

Ik zou niet gokken op die 10Gbit op cat5e. Dat is buiten de spec, het kan op kortere afstanden werken maar dat zal ook vaak niet zijn.

Cat6 doet 10Gbit tot 55 meter.

[mash_man02]

Zie je CRC's of output drops op je interfaces ? Als dat niet het geval is komt daar geen doorvoer b beperking vandaan.

Tevens graag even posten hoe je iperf gebruikt, zou i.i.g. multithreaded moeten draaien wil je echt je link limitaties zien met die snelheden.

[Thom.Seagal]

mash_man02 schreef op zondag 16 juni 2024 @ 14:08:
Zie je CRC's of output drops op je interfaces ? Als dat niet het geval is komt daar geen doorvoer b beperking vandaan.

Tevens graag even posten hoe je iperf gebruikt, zou i.i.g. multithreaded moeten draaien wil je echt je link limitaties zien met die snelheden.

Waar kan ik CRC'S of output drops testen?

Wat betreft iperf. Ik heb een guide gevolgd op youtube. Hier stond niks in over multithreaded. Daar ga ik even induiken.

[Thom.Seagal]

Tortelli schreef op zondag 16 juni 2024 @ 13:45:
Transfers binnen Windows zijn niet mega snel is mijn ervaring, vaak blijf je hangen ergens tussen de 500 en 800MB/s. Ik heb zelf een netwerk op 5Gbit draaien* (10Gbit switch, CAT6A liggen, echter is kabel naar pc niet 100% stabiel op 10Gbit, op 5Gbit doet hij het prima). Haal perfecte 580MB/s transfers wat meer dan prima is voor mijn doel.

Wat mij op de Synology opviel is dat het toevoegen van meer geheugen (van 4GB > 36GB) de transfers veel stabieler maakte. Je kunt in Windows wel wat settings aanpassen om eea te verbeteren, maar een goeden tip (naast jumboframes die je al gebruik) heb ik niet.

*Lees: ik ben te lui geweest tot nu toe (3 jaar 😉) om eea opnieuw te patchen etc. Zowel NAS als Desktop draaien op een X550 kaart.

Mijn server heeft 48gb ram, dat zou genoeg moeten zijn lijkt mij.

Shinji schreef op zondag 16 juni 2024 @ 14:05:
Ik zou niet gokken op die 10Gbit op cat5e. Dat is buiten de spec, het kan op kortere afstanden werken maar dat zal ook vaak niet zijn.

Cat6 doet 10Gbit tot 55 meter.

Heb nog een rol cat6a liggen. Alleen is het vervangen van de kabel bijna een hele dag werk. Maar wil even zeker weten dat de kabel het limiet is en niet een foute instelling.

[Shinji]

Thom.Seagal schreef op zondag 16 juni 2024 @ 14:33:
[...]

Heb nog een rol cat6a liggen. Alleen is het vervangen van de kabel bijna een hele dag werk. Maar wil even zeker weten dat de kabel het limiet is en niet een foute instelling.

Meten is weten je switch info bekijken

[mash_man02]

Thom.Seagal schreef op zondag 16 juni 2024 @ 14:32:
[...]


Waar kan ik CRC'S of output drops testen?

Wat betreft iperf. Ik heb een guide gevolgd op youtube. Hier stond niks in over multithreaded. Daar ga ik even induiken.

Als je een managed switch gebruikt hout deze normaal gesproken interface statistieken bij, dus in je switch / firewall.

[Oon]

Thom.Seagal schreef op zondag 16 juni 2024 @ 14:33:
[...]
Heb nog een rol cat6a liggen. Alleen is het vervangen van de kabel bijna een hele dag werk. Maar wil even zeker weten dat de kabel het limiet is en niet een foute instelling.

Maar je hoeft niet meteen alles te vervangen.
Eerst even breadboarden; al het overige loskoppelen, alleen je PC met een zo direct mogelijke route naar je server, checken of dat werkt.
Zo niet, check of een kortere lengte Cat5e werkt, zo ja dan weet je dat daar het probleem zit.
Zo niet, check of Cat6(A) werkt met een kort stukje kabel, zo ja dan weet je dat de apparatuur die je tot nu toe hebt aangesloten het probleem niet is, en kun je meer apparatuur gaan toevoegen om de originele situatie weer op te bouwen.
Zo niet, dan weet je dus eigenlijk al dat het aan je apparatuur ligt, want Cat6(A) moet op korte afstand die snelheid kunnen halen.

Afhankelijk van hoe ver alles van elkaar af ligt kun je misschien het beste even je PC verplaatsen naar een handige locatie, maar je zult hoe dan ook dingen moeten gaan uitsluiten. Cat5e in je woning door Cat6(A) vervangen is sowieso wel de moeite waard, maar niet persé nodig.

[Thom.Seagal]

mash_man02 schreef op zondag 16 juni 2024 @ 15:47:
[...]


Als je een managed switch gebruikt hout deze normaal gesproken interface statistieken bij, dus in je switch / firewall.

Shinji schreef op zondag 16 juni 2024 @ 14:56:
[...]


Meten is weten je switch info bekijken

Ik gebruik een Flex XG. Via de unifi software kan ik niks vinden. Google maakt mij ook niet veel wijzer.

Oon schreef op zondag 16 juni 2024 @ 15:57:
[...]

Maar je hoeft niet meteen alles te vervangen.
Eerst even breadboarden; al het overige loskoppelen, alleen je PC met een zo direct mogelijke route naar je server, checken of dat werkt.
Zo niet, check of een kortere lengte Cat5e werkt, zo ja dan weet je dat daar het probleem zit.
Zo niet, check of Cat6(A) werkt met een kort stukje kabel, zo ja dan weet je dat de apparatuur die je tot nu toe hebt aangesloten het probleem niet is, en kun je meer apparatuur gaan toevoegen om de originele situatie weer op te bouwen.
Zo niet, dan weet je dus eigenlijk al dat het aan je apparatuur ligt, want Cat6(A) moet op korte afstand die snelheid kunnen halen.

Afhankelijk van hoe ver alles van elkaar af ligt kun je misschien het beste even je PC verplaatsen naar een handige locatie, maar je zult hoe dan ook dingen moeten gaan uitsluiten. Cat5e in je woning door Cat6(A) vervangen is sowieso wel de moeite waard, maar niet persé nodig.

Ik moet even kijken hoelang mijn cat6a kabel is die ik nog heb. Als die lang genoeg is, kan ik hem via het trapgat even testen.

[Thom.Seagal]

Heb in iperf momenteel een hogere score. Ik moest een nieuwere versie downloaden voor multithreading.
Ik haal nu 6.2Gbe.

Ik zit sterk te denken dat het aan de PCI sloten ligt.
Ik heb namelijk een NIC met pci 2.0 x8 in een pci. 2.0 x4 slot zitten. Als ik dit omreken zou dit goed moeten zijn voor 16gbe(?)

[Kecin]

Multi-thread moet inderdaad "aan", heb destijds een video van LTT gezien waarbij Windows Samba Shares eigenlijk best wel, tja, vervelend zijn. Beter is dus inderdaad wat je doet, iperf gebruiken. Heb je de honeypot (192.168.1.9 default, niet pingbaar geloof ik) ook aanstaan in je Unifi omgeving? Om richting de 10gbit te halen met een UDM Pro moet volgens mij alles zo'n beetje op uit qua firewalls en threat detection. Zie op deze pagina de bottlenecks; https://ui.com/us/en/cloud-gateways/large-scale
Zou volgens mij niet uit moeten maken op intern want zover ik je verhaal begrijp blijf je op dezelfde switch. Gebruik je VLANS?

Thom.Seagal schreef op maandag 17 juni 2024 @ 00:53:
Heb in iperf momenteel een hogere score. Ik moest een nieuwere versie downloaden voor multithreading.
Ik haal nu 6.2Gbe.

Ik zit sterk te denken dat het aan de PCI sloten ligt.
Ik heb namelijk een NIC met pci 2.0 x8 in een pci. 2.0 x4 slot zitten. Als ik dit omreken zou dit goed moeten zijn voor 16gbe(?)

Het PCIe slot waarin je de netwerkkaart gebruikt, is het een dual port NIC? Wellicht dat die nog opgedeeld wordt? Geen idee, maar dan zou je al zitten op 8gb, en dus een stuk minder.

[ Voor 35% gewijzigd door Kecin op 17-06-2024 08:33 ]

[dion_b]

Thom.Seagal schreef op maandag 17 juni 2024 @ 00:53:
Heb in iperf momenteel een hogere score. Ik moest een nieuwere versie downloaden voor multithreading.
Ik haal nu 6.2Gbe.

Zou je wat specifieker kunnen zijn? Welke versie draaide je, welke draai je nu?

En welke instellingen? iperf3 -c -P 10 <IP_van_server> is wat ik zou doen om dit soort snelheden te testen.

Ik zit sterk te denken dat het aan de PCI sloten ligt.
Ik heb namelijk een NIC met pci 2.0 x8 in een pci. 2.0 x4 slot zitten. Als ik dit omreken zou dit goed moeten zijn voor 16gbe(?)

PCI 2.0 was in 1995 al deprecated en kon een max bandbreedte van 1.06Gb/s leveren. Waarschijnlijk bedoel je PCIe...

Welk moederbord gebruik je? En draait die slot daadwerkelijk op PCIe 2.0?

Die x540 is een dual NIC, je zou kunnen kijken wat je haalt met rechtstreekse verbinding tussen de twee poorten (beiden eigen IP geven, iperf3 server op ene draaien, client op ander).

Wat je ook zou kunnen doen is OS uitsluiten - in plaats van de Windows die je draait (welke?), booten vanaf een Linux LiveUSB. Als je daar zelfde snelheid haalt is het een sterke aanwijzing voor een hardwarematige beperking. Haal je zo meer, dan zou het zomaar in software kunnen zitten.

[The Jester]

Ik vermoed dat je probleem in de CAT5e bekabeling zit.
CAT5e is nogal... wazig. Ja: je kunt 10Gbe over CAT5e trappen, maar dan zijn er wel een paar specs waar de kebal aan moet voldoen.

Zodra het CCA of CCS bekabeling is, gaat het niet werken. Daarvan zijn de aders namelijk niet zuiver koper, maar aluminium of een legering met een laagje koper er overheen (Copper Clad Aluminum) en daar wordt 1GBe al een issue over grotere afstanden.

Verder is de dikte van de aders van belang. Die dikte wordt aangegeven in AWG (American Wire Gauge).
Hoe lager dat getal, des te dikker de draad. Als je AWG wilt omrekenen naar mm² dan kan dat hier: https://www.digikey.nl/nl...sion-calculator-wire-size

Bottom line: doe jezelf een lol en ga voor CAT6a.
CAT6 kan ook, maar is een stuk stugger en dus lastiger te verwerken.

[Thom.Seagal]

Kecin schreef op maandag 17 juni 2024 @ 08:31:
Multi-thread moet inderdaad "aan", heb destijds een video van LTT gezien waarbij Windows Samba Shares eigenlijk best wel, tja, vervelend zijn. Beter is dus inderdaad wat je doet, iperf gebruiken. Heb je de honeypot (192.168.1.9 default, niet pingbaar geloof ik) ook aanstaan in je Unifi omgeving? Om richting de 10gbit te halen met een UDM Pro moet volgens mij alles zo'n beetje op uit qua firewalls en threat detection. Zie op deze pagina de bottlenecks; https://ui.com/us/en/cloud-gateways/large-scale
Zou volgens mij niet uit moeten maken op intern want zover ik je verhaal begrijp blijf je op dezelfde switch. Gebruik je VLANS?

[...]

Het PCIe slot waarin je de netwerkkaart gebruikt, is het een dual port NIC? Wellicht dat die nog opgedeeld wordt? Geen idee, maar dan zou je al zitten op 8gb, en dus een stuk minder.

quote]dion_b schreef op maandag 17 juni 2024 @ 08:33:
[...]

Zou je wat specifieker kunnen zijn? Welke versie draaide je, welke draai je nu?

En welke instellingen? iperf3 -c -P 10 <IP_van_server> is wat ik zou doen om dit soort snelheden te testen.

[...]

PCI 2.0 was in 1995 al deprecated en kon een max bandbreedte van 1.06Gb/s leveren. Waarschijnlijk bedoel je PCIe...

Welk moederbord gebruik je? En draait die slot daadwerkelijk op PCIe 2.0?

Die x540 is een dual NIC, je zou kunnen kijken wat je haalt met rechtstreekse verbinding tussen de twee poorten (beiden eigen IP geven, iperf3 server op ene draaien, client op ander).

Wat je ook zou kunnen doen is OS uitsluiten - in plaats van de Windows die je draait (welke?), booten vanaf een Linux LiveUSB. Als je daar zelfde snelheid haalt is het een sterke aanwijzing voor een hardwarematige beperking. Haal je zo meer, dan zou het zomaar in software kunnen zitten.
[/quote]

De kaart isin de server is inderdaad een dual port NIC. (HP NC523SFP 10Gb 2-port).
Die dus op x4 draait ipv de gewenste x8. In theorie zou die op x4 genoeg moeten leveren.(?)

Ik gebruik geen VLANS. Honeypot staat aan in unifi.

Ik gebruik de volgende structuur: Windows 10 pc met een Intel X540-T2. -> cat 6a -> usw flex xg -> cat 5e -> UDM PRO SE -> DAC kabel ->Server met HP NC523SFP.

Het PCIe slot draait op 2.0 x4.

Om Iperf te starten gebruik ik iperf3 -c <IP_van_server>. Wanneer ik een -p argument gebruik krijg ik als melding: "Connection refused.".

Ik ga deze week bezig een linux usb maken en een tijdelijke Cat 6a kabel testen naar de UDM PRO.

[IJskonijn22]

The Jester schreef op maandag 17 juni 2024 @ 13:43:
Bottom line: doe jezelf een lol en ga voor CAT6a.
CAT6 kan ook, maar is een stuk stugger en dus lastiger te verwerken.

Volgensmij heb je deze 2 omgedraaid

[GarBaGe]

The Jester schreef op maandag 17 juni 2024 @ 13:43:
Ik vermoed dat je probleem in de CAT5e bekabeling zit.
CAT5e is nogal... wazig. Ja: je kunt 10Gbe over CAT5e trappen, maar dan zijn er wel een paar specs waar de kebal aan moet voldoen.

Zodra het CCA of CCS bekabeling is, gaat het niet werken. Daarvan zijn de aders namelijk niet zuiver koper, maar aluminium of een legering met een laagje koper er overheen (Copper Clad Aluminum) en daar wordt 1GBe al een issue over grotere afstanden.

Verder is de dikte van de aders van belang. Die dikte wordt aangegeven in AWG (American Wire Gauge).
Hoe lager dat getal, des te dikker de draad. Als je AWG wilt omrekenen naar mm² dan kan dat hier: https://www.digikey.nl/nl...sion-calculator-wire-size

Bottom line: doe jezelf een lol en ga voor CAT6a.
CAT6 kan ook, maar is een stuk stugger en dus lastiger te verwerken.

Ik snap wat je zegt.
Maar....
een netwerkkaart of switch heeft geen flauw idee wat voor soort kabel je gebruikt.
Cat 5, 6, 6a, 7, 8 whatever.
CCS, CCA, koper...
Hij doet een aantal testen en via auto-negotiation komt daar dan een linkspeed uit.
Zolang dat goed gaat, blijf je die snelheid houden.
Bij problemen heb je kans dat er teruggeschakeld wordt naar een lagere snelheid.

In theorie kan je prima 10G halen op een CCA of CCS kabel...
Naar mate de kabel korter wordt, kan je makkelijker hogere snelheden halen of slechtere materialen gebruiken.
Je kan altijd bij je netwerkverbinding zien wat de "linkspeed" is.
Als dit 10G is, ben je klaar.

Overigens is niet iedere switch of netwerkkaart hetzelfde.
Bij een dubieuze kabel, heb je kans dat deze op sommige switches wel werkt en op andere niet.