Geen 10Gbit snelheden

[mati1983]

Hi allemaal,

Ik krijg geen 10gbit snelheden voor elkaar tussen twee PC's.
Draait geheel op unifi switches, volgens het volgende schema:



Beide zijn met een SFP+ poortje verbonden en de clients geven lokaal een 10gbit verbinding aan.
Ook mijn controller roept 10gbit, zowel naar de clients, als onderling. (zie screenshot)

De praktijk is echter altijd een volle gbit, wanneer ik bv met iperf test.
Hardware aan beide zijden is ruim voldoende en ook bekabeling (cat6a) is in orde wanneer ik deze test met mijn metertje.

Iemand een goed idee wat het zou kunnen zijn?
kan ik bv ergens in de controller een speedtest doen tussen 2 switches voor de throughput?

Dank alvast voor het meedenken!

[Kabouterplop01]

Het enige wat ik me kan voorstellen wat beperkend zou kunnen zijn is dat als je errors op een port ziet dat daar iets niet goed zit.
Of koper vs Glas.

[ Voor 6% gewijzigd door Kabouterplop01 op 16-06-2023 07:48 ]

[Frogmen]

Ik denk dat je ook even de specificaties van de gebruikte SFP en netwerkkaarten moet geven misschien dat daar iets in zit. Tevens is de gehanteerde test methode ook van belang. Nu is het enige bekende twee unifi switches.

[TNO]

Default zet iperf 1 TCP stream op, als je met de -P switch er eens 10 of 20 streams aanmaakt?

[ Voor 3% gewijzigd door TNO op 16-06-2023 09:11 ]

[canonball]

je kunt eerst eens testen door beide pc's direct aan elkaar te testen,
Dan met alleen de 1e switch er tussen,
dan alleen de 2e switch/router er tussen.
Misschien kun je daaruit een conclusie trekken?

[mati1983]

Hi all, dank voor de reacties.
Antwoord op jullie vragen:

- Aantal client streams maakt niet uit (deed het al met 20); blijft 1gbit.
- PC1: Aquantia AQtion 10gbit NIC koper
- PC2: Weet ik niet precies, maar een HP NIC met dual intel chipset 10Gbit koper
- Beide een 10gbit koper SFP+ van FS.com, zou het exacte model even moeten nakijken

[mati1983]

canonball schreef op vrijdag 16 juni 2023 @ 09:16:
je kunt eerst eens testen door beide pc's direct aan elkaar te testen,
Dan met alleen de 1e switch er tussen,
dan alleen de 2e switch/router er tussen.
Misschien kun je daaruit een conclusie trekken?

Dat is op zich een logisch plan! Thanks, daar van het weekend maar eens mee stoeien!

[GarBaGe]

Welke Unifi switches zitten daar tussen?

Zelf heb ik een 10G verbinding tussen PC en NAS.
Beide gebruiken Mellanox kaarten met glas kabels.
Ik gebruik een Unifi Aggregation Switch en haal inderdaad snelheden van 10G.

Ik heb initieel ook naar Aquantia kaarten gekeken, maar las dat die soms wat kuren kunnen hebben.
Daarom heb ik (oude) server kaarten gekozen.
Gezien je linkspeed 10G is, denk ik dat je kabels oke zijn.
Als ik moet gokken op deze informatie, vermoed ik die Aquantia.

[mati1983]

GarBaGe schreef op vrijdag 16 juni 2023 @ 09:41:
Welke Unifi switches zitten daar tussen?

Zelf heb ik een 10G verbinding tussen PC en NAS.

Als ik moet gokken op deze informatie, vermoed ik die Aquantia.

Niet het meest fantastische nicje, maar wel wat er onboard van mn moederbord zit. Daarnaast hebben deze in mijn vorige huis (andere switches) altijd prima op 10gbit gewerkt. Ik kan evt eens een ander kaartje proberen natuurlijk

Switches zijn een US-16-XG en een USW-Pro-48.

[GarBaGe]

Heb je de switches onderling verbonden met een DAC kabel? Of glas? Of koper?

[mati1983]

koper of glas.. weet het niet zeker, denk koper..

[GarBaGe]

Zijn die koper kabels kant-en-klaar? Of heb je die zelf gemaakt?
10G op cat6a kan wel, maar dat is wel de limiet opzoeken.
Kleine imperfecties zouden problemen kunnen geven...

[mati1983]

Een combi van.. Afgemonteerd op patchpanelen en een lange run vanuit mijn serverhok beneden naar mijn kantoor boven. Mijn grootste vrees is dan ook dat het inderdaad een kabel issue is.

Alleen, beide kanten geven een line speed van 10gbit aan en ook bij het doormeten van de kabel met mn fluke testertje doet vermoeden dat de kabels helemaal oke zouden moeten zijn..

[mash_man02]

Heb je al je links van je PC's en intra switch gecontrolleerd op errors en link speed ?

[mati1983]

mash_man02 schreef op vrijdag 16 juni 2023 @ 12:19:
Heb je al je links van je PC's en intra switch gecontrolleerd op errors en link speed ?

Denk het niet, hoe controleer ik op errors op mn win10 machine en mn unifi switches? thanks!

[dion_b]

mati1983 schreef op vrijdag 16 juni 2023 @ 12:31:
[...]


Denk het niet, hoe controleer ik op errors op mn win10 machine en mn unifi switches? thanks!

Meest eenvoudige: sluit je PC aan op de kabel die tussen de switches loopt. Kijk naar je link rate. Als die 1Gbps is, weet je genoeg.

Maar gezien je onzekerheid of het ook maar glas of koper is... zoek even op exact welke SFP+-modules je gebruikt. Het kan ook dat je maar 1Gbps modules hebt op de link tussen de switches.

Verder mbt errors: netstat -e

[Ruben279]

mati1983 schreef op vrijdag 16 juni 2023 @ 12:31:
[...]


Denk het niet, hoe controleer ik op errors op mn win10 machine en mn unifi switches? thanks!

Voor je switches (en andere Unifi apparatuur) kan je daarvoor terecht op de CLI.

1. Connecten met SSH naar de switch
2. command: "telnet localhost"
3. command: "enable"
4. command: "show tech-support"

In de map log

cat /var/log/messages

Of op een syslog server, dat is helemaal ideaal als je dat hebt!

[mati1983]

Thanks!
De show tech-support is voor mij sowieso nieuw; dus dank voor het weer iets nieuws leren!

Daar even doorheen gespit; ik zie niets bijzonders.
Zie wel netjes 10G op de poortjes qua connectiviteit, bv:

0/14 Enable Auto 10G Full Up Disable Enable long
0/15 Enable Auto 10G Full Up Disable Enable long

Ik probeer de logfile te bekijken, maar geen idee hoe ik van directory verander in de cli nog (even uitzoeken) zowel op een 'cat' als een 'cd' krijg ik een 'invalid input detected'.

PS: Suggesties wat te gebruiken als syslog servertje? Misschien sowieso wel handig om eens te installeren

[UTPBlokje]

Wat ook niet een geheel onbelangrijk is. Staan de pc's in hetzelfde vlan / netwerk ? Zoniet gaan alle pakketjes langs je router.

Is je router dan op1Gbps aangesloten zit daar je bottleneck

[mati1983]

UTPBlokje schreef op vrijdag 16 juni 2023 @ 17:32:
Wat ook niet een geheel onbelangrijk is. Staan de pc's in hetzelfde vlan / netwerk ? Zoniet gaan alle pakketjes langs je router.

Is je router dan op1Gbps aangesloten zit daar je bottleneck

Wat ongelofelijk stom van me, maar daar heb ik natuurlijk nooit over nagedacht. Ander vlan en dus subnet, dus via m'n router.. Dit moet het wel zijn!

Nu is het goede nieuws dat daar een 10gbit interface in zit, alleen is deze verbonden met een spf module ipv sfp+ doordat ik geen koper sfp+ modules meer over had... Oplossing: ik ga even een SFP+ module bestellen en daarmee zou het, als het goed is, opgelost zijn. Keep you posted!!

Dank allen so far

[Frogmen]

Waarom zet je een hoge snelheid verbinding in verschillende Vlans controleer eerst een of je router wel 10 Gb kan routeren want dat is best een hele zware belasting. Dat je router een 10Gb poort heeft wil niet zeggen dat hij met die snelheid kan routeren.
Zou eerst nog eens de opzet van je netwerk doornemen voordat je bij je volgende teleurstelling komt.
Bedenk ook jouw Router is maar met 1 kabel aan de switch verbonden pakketjes moeten heen en terug dus je snelheid valt terug naar max 5 Gb.

[ Voor 16% gewijzigd door Frogmen op 17-06-2023 12:00 ]

[Oon]

Frogmen schreef op zaterdag 17 juni 2023 @ 11:46:
Waarom zet je een hoge snelheid verbinding in verschillende Vlans controleer eerst een of je router wel 10 Gb kan routeren want dat is best een hele zware belasting. Dat je router een 10Gb poort heeft wil niet zeggen dat hij met die snelheid kan routeren.
Zou eerst nog eens de opzet van je netwerk doornemen voordat je bij je volgende teleurstelling komt.

Ik mis ook welke router het om gaat, dan kan misschien iemand daar wat over zeggen.

Iemand die over 10Gbit praat zal vast geen ISP modem/router gebruiken, maar ik weet dat de 2 KPN modems die ik heb geprobeerd allebei er helemaal uitklapte als ik met meer dan 700Mbps aan het downloaden was en dan een reboot nodig hadden om weer terug te komen, dus de gemiddelde router kan echt niet zomaar fatsoenlijk 10Gbit aan

[UTPBlokje]

Frogmen schreef op zaterdag 17 juni 2023 @ 11:46:
Waarom zet je een hoge snelheid verbinding in verschillende Vlans controleer eerst een of je router wel 10 Gb kan routeren want dat is best een hele zware belasting. Dat je router een 10Gb poort heeft wil niet zeggen dat hij met die snelheid kan routeren.
Zou eerst nog eens de opzet van je netwerk doornemen voordat je bij je volgende teleurstelling komt.
Bedenk ook jouw Router is maar met 1 kabel aan de switch verbonden pakketjes moeten heen en terug dus je snelheid valt terug naar max 5 Gb.

Ik ben het met je eens dat je hier wel een fatsoenlijke router of core switch voor benodigd bent. Het verhaal van je 5Gbps klopt echter niet. Je hebt cat6a fullduplex. Heen en terug 10Gbps. Anders zal je een half duplex verbinding moeten hebben. In het geval van fiber doe ik even een aanname dat er multimode gebruikt wordt. Ook hier geld een losse fiber heen en een losse terug. Wanneer er dus fatsoenlijke hardware gebruikt wordt is er altijd 10Gbps verbinding.

[jvanhambelgium]

mati1983 schreef op vrijdag 16 juni 2023 @ 22:23:
[...]


Wat ongelofelijk stom van me, maar daar heb ik natuurlijk nooit over nagedacht. Ander vlan en dus subnet, dus via m'n router.. Dit moet het wel zijn!

Nu is het goede nieuws dat daar een 10gbit interface in zit, alleen is deze verbonden met een spf module ipv sfp+ doordat ik geen koper sfp+ modules meer over had... Oplossing: ik ga even een SFP+ module bestellen en daarmee zou het, als het goed is, opgelost zijn. Keep you posted!!

Dank allen so far

Yeah ... about that ... vergeet dat maar al snel. Zoals andere in dit topic geschreven hebben ; 10Gbits "switchen" of 10Gbits "routen" is voor dit soort consumenten-materiaal een héél ander verhaal.
Een interface/sfp+ "slot" hebben wil niks zeggen en ik denk dat je niet hoger als +- 1Gbits/sec zal komen met het routen tussen verschillende VLAN's.

Welk merk & model is router dan ?

[mati1983]

PfSense gebakje met een Intel dual rj45 10gbit nic:




Dat routing een ander verhaal is dan switching weet ik. Of dit de 10gbit helemaal verzadigen zal weet ik niet, maar wanneer hij nu op 1gbit routeert resulteert dat in 4% cpu usage. Oftewel, nog zat ruimte en het zal een stuk sneller gaan dan nu. Bord en cpu vervangen in mn firewall kan daarbij natuurlijk altijd nog.

Het verhaal dat 5gbit de max is, omdat data heen en weer moet, lijkt mij niet te kloppen, want fullduplex. Volgens die logica zou ik nu ook geen 1gbit, maar 512mbit snelheden moeten halen.

[jvanhambelgium]

mati1983 schreef op zondag 18 juni 2023 @ 10:40:
PfSense gebakje met een Intel dual rj45 10gbit nic:

[Afbeelding]

Ok, da's een iets ander verhaal dan. Dan ga je inderdaad zonder al teveel issues wel wat gigabits/sec kunnen routen moest dit nodig zijn. Of the optimaal is da's aan een andere. Als wij bepaalde omgevingen opzetten waar we héél veel data moeten verzetten (vb backup) dan steken we wel eens een vNIC netjes mee in het LAN waar de data vandaan komt ipv te gaan routen over verschillende IP-netwerken.

[Ben(V)]

Ja die 5Gbps max is een onzin verhaal.
Dat geld alleen als je via het netwerk iets zou kopiëren van een PC naar zichzelf.

[mati1983]

Frogmen schreef op zaterdag 17 juni 2023 @ 11:46:
Waarom zet je een hoge snelheid verbinding in verschillende Vlans

Wat is er mis met deze combinatie? Ik gebruik een aantal VLANs:

• Trusted
• Hostile
• Guest
• Cameras
• Retro
• Servers en Infra
• IOT

Trusted: Alle PC's op mijn netwerk die deels met elkaar kunnen communiceren
Hostile: Van alles en nog wat, denk aan iPhones en iPads
Guest: Isolated guest clients, met beperkte internet faciliteiten
Cameras: IP Cameras
Retro: Ik heb als hobby retro computers. Lekker onveilig en oud en dus samen in een vlannetje.
Servers en infra: spreekt voor zich
IOT: Allerlei Chinese bagger

Per vlan vervolgens middels firewall geconfigged wat men wel en niet mag naar welk vlan/wan.

[mati1983]

jvanhambelgium schreef op zondag 18 juni 2023 @ 10:57:
[...]
Als wij bepaalde omgevingen opzetten waar we héél veel data moeten verzetten (vb backup) dan steken we wel eens een vNIC netjes mee in het LAN waar de data vandaan komt ipv te gaan routen over verschillende IP-netwerken.

Idealiter zou ik dan ook een extra kabeltje trekken vanaf mijn nas in het serverhok naar mijn werkplek boven, alleen woon ik in een redelijk groot jaren-30 huis, met beperkte mogelijkheden zonder het halve huis te verbouwen. Glas was een optie geweest, want dat is veel dunner, maar kende niemand die het voor mij zou kunnen lassen toentertijd.

[Frogmen]

@mati1983 Ja het kan heb zo mijn twijfels over nut en noodzaak maar goed dat is ieders eigen keuze. Persoonlijk geloof ik meer in goede beveiliging van de server en detectie van gedrag op het netwerk. Want als al het verkeer tussen VLans is toegestaan wat is het nu dan nog, ik doel dan tussen trusted en servers.

[mati1983]

Frogmen schreef op zondag 18 juni 2023 @ 13:36:
@mati1983 Want als al het verkeer tussen VLans is toegestaan wat is het nut dan nog

Eens, alleen is dat dus niet het geval. Egress traffic staat van bepaalde subnets naar bepaalde compleet dicht, of zeer specifiek op IP, poort en protocol niveau ingesteld.

[Kabouterplop01]

@mati1983 @Frogmen jullie zeggen beiden hetzelfde.
Op alle lagen beveiligen.

[mati1983]

Inmiddels een update:

Met een sfp+ tranceivertje erin gaat het een stuk bet (10gbit).
Maaarrr..... het werkt nog steeds niet goed, nu het volgende fenomeen:

Wanneer ik niets bijzonders doe en een ping open zet naar mijn router (waarover alles gerouteerd dus wordt ivm vlans) is alles stabiel. Doe ik vervolgens wat serieuze data heen en weer pompen vanaf pc1 naar pc2, gaat dit voor 2-3minuten goed (10gbit), waarna mijn ping 'time out' geeft voor een seconde of 20, daarna doet alles het weer.. Totdat ik weer data over het netwerk heen knal, dan weer dezelfde symptonen.

Heb nu als test pc1 en pc2 even in hetzelfde vlan gehangen; nul problemen.
CPU verbruik op mijn router tijdens 10gbit routeren en tijdens de time outs: 25 tot 40%.

Iemand suggesties?

[Raven]

@mati1983 Dus binnen een VLAN gaat goed, maar tussen 2 verschillende VLAN's niet? Klinkt helaas bekend, heb hier lange tijd vage netwerkissues gehad, waaronder samba-transfers die herhaaldelijk een paar seconden stilvallen en dan weer even op volle snelheid doorgaan om later weer kort stil te vallen, daarnaast ook (DNS) timeouts en latency pieken.

Uiteindelijk bleek de door de router-pc gebruikte Intel-driver (e1000e zo uit mijn hoofd) al jaren een bug te hebben waarbij de combinatie verkeer tussen VLAN's en ingeschakelde offloading (tso, gso, gro) de problemen veroorzaakte.

Heb jij offloading toevallig aanstaan?

[mati1983]

hi @Raven , thanks voor je reactie. Wellicht, geen idee! Zal sowieso even moeten zoeken waar (en of) ik dat binnen PfSense kan instellen.

PS: +1 voor Marion, al vind ik zelf Marit minstens zo leuk

Update:
Gevonden. Ga het vanavond/morgen even testen. Denk niet dat mij thuiswerkende vriendin het heel lollig vindt wanneer ik de stekker er nu uit trek.

[ Voor 28% gewijzigd door mati1983 op 20-06-2023 14:54 ]

[Raven]

mati1983 schreef op dinsdag 20 juni 2023 @ 14:52:
PS: +1 voor Marion, al vind ik zelf Marit minstens zo leuk

offtopic:
Heb haar voornamelijk in NO zien optreden . Voor Marit was er geen vliegticket nodig, zij is een keer naar Paradiso geweest. Vorig jaar trouwens een cd gevonden van hun 2 van voor M2M

mati1983 schreef op dinsdag 20 juni 2023 @ 14:52:
Update:
Gevonden. Ga het vanavond/morgen even testen. Denk niet dat mij thuiswerkende vriendin het heel lollig vindt wanneer ik de stekker er nu uit trek.

, dat probleem heb ik hier met moeders Al werkt ze niet, maar geen nieuwsberichten e.d. kunnen lezen wordt ze niet blij van

[ Voor 8% gewijzigd door Raven op 20-06-2023 15:15 ]