Problemen met het opzetten van een 10Gbit/s local network

[UNTITLED.PNG]

Hi!

Ik heb vandaag mijn asus xg-c100c (10Gbit/s BASE-T netwerk kaart) ontvangen en in mijn server gestopt. Ik draai Ubuntu Server 20.04 en heb dus ook de drivers geïnstalleerd. Ik verbind deze kaart met mijn UDM-PRO via de SFP+ connector (en een RJ45 module van ubiquiti zelf).

Wanneer ik de volgende commands draai, lijkt het dat ik een 10Gbit/s verbinding heb:

~$ sudo lshw -C network
... (some other card are up here)
*-network
description: Ethernet interface
product: AQC107 NBase-T/IEEE 802.3bz Ethernet Controller [AQtion]
vendor: Aquantia Corp.
physical id: 0
bus info: pci@0000:01:00.0
logical name: enp1s0
version: 02
serial: 04:42:1a:3c:78:9b
size: 10Gbit/s
capacity: 10Gbit/s
width: 64 bits
clock: 33MHz
capabilities: pciexpress pm msix msi vpd bus_master cap_list rom ethernet physical tp 100bt-fd 1000bt-fd 10000bt-fd autonegotiation
configuration: autonegotiation=on broadcast=yes driver=atlantic driverversion=2.4.3.0 duplex=full firmware=3.1.88 ip=10.0.0.111 latency=0 link=yes multicast=yes port=twisted pair speed=10Gbit/s
resources: irq:16 memory:b1440000-b144ffff memory:b1450000-b1450fff memory:b1000000-b13fffff memory:b1400000-b143ffff

~$ ethtool enp1s0

Settings for enp1s0:
Supported ports: [ TP ]
Supported link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
2500baseT/Full
5000baseT/Full
Supported pause frame use: Symmetric Receive-only
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
2500baseT/Full
5000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
Auto-negotiation: on
MDI-X: Unknown
Cannot get wake-on-lan settings: Operation not permitted
Current message level: 0x00000005 (5)
drv link
Link detected: yes

~$ networkctl
IDX LINK TYPE OPERATIONAL SETUP
1 lo loopback carrier unmanaged
2 enp7s0 ether off unmanaged
3 enp1s0 ether routable configured
4 docker0 bridge routable unmanaged
6 veth2b97547 ether degraded unmanaged
7 br-cdecd710286b bridge routable unmanaged
10 vethb068640 ether degraded unmanaged

7 links listed.

Daarnaast geeft ook de UDM-PRO webinterface ook aan dat er een 10Gbit/s verbinding is. Dit lijkt dus allemaal goed te gaan.


Echter wanneer ik 2 windows pc's via samba een bestand laat kopiëren, dan halen bijden 55MB/s, dit is dus 1Gbit/s. Hetzelfde voor wanneer ik een iperf test draai op al mijn devices.

Staat er nu iets verkeerd in mijn UDM-PRO? Of is het een configuratie fout op mijn server?

[ijske]

iPerf is testen ?

[UNTITLED.PNG]

Misschien verwoorde ik het niet helemaal goed, ik gebruikte iPerf om de snelheden te testen naar mijn server, dit waren de resultaten:

Op mijn windows pc en macbook pro:

iperf -c 10.0.0.111

Server:

~$ iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 128 KByte (default)
------------------------------------------------------------
[ 4] local 10.0.0.111 port 5001 connected with 10.0.0.37 port 62881
[ 5] local 10.0.0.111 port 5001 connected with 10.0.0.109 port 65021 (peer 2.1.4)
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 135 MBytes 113 Mbits/sec
[ 5] 0.0-10.0 sec 986 MBytes 824 Mbits/sec

[ Voor 4% gewijzigd door UNTITLED.PNG op 06-12-2021 22:35 ]

[gastje01]

Dit heeft er mee te maken dat de switch maar een 1gbit backplane heeft, dat is ook de beperking waar je tegen aan loopt.

https://ubntwiki.com/_med...fficial_block_diagram.png

[raymondw]

gastje01 schreef op maandag 6 december 2021 @ 22:55:
Dit heeft er mee te maken dat de switch maar een 1gbit backplane heeft, dat is ook de beperking waar je tegen aan loopt.

https://ubntwiki.com/_med...fficial_block_diagram.png

Duidelijk plaatje
SFP+ naar SFP+ zou wel 10Gb moeten kunnen halen.

De huidige opzet zou idd max 1Gb halen van RJ naar SFP

[UNTITLED.PNG]

Ah nee... daar zat ik nog aan te denken maar kon het niet zo 123 vinden op google... weer echt een *** implementatie van Ubiquiti.

Bedankt voor het verduidelijken!

[Ben(V)]

Heeft niets met backplane snelheid te maken.
Die ubiquiti heeft gewoon over koper (Rj45) enkel 1Gbps en geen 10Gbps.
10Gbps haalt hij alleen tussen de sfp aansluitingen.

Wel verder ook een pruts ding, want de 1Gbps poorten hebben maar een backplane van 1Gbps(nieuwe ref 2.5Gbps) wat natuurlijk behoorlijk slecht is.
Een beetje switch heeft minimaal 10Gbps en met meer poorten nog hoger.

[ Voor 61% gewijzigd door Ben(V) op 06-12-2021 23:55 ]

[gastje01]

Beetje ongelukkig verwoord maar inderdaad de backplane richting de CPU, niet de poorten onderling.

Om ‘m optimaal te kunnen gebruiken (WAN->LAN) moet je er eigenlijk een switch achter hangen via de SFP+ poort, de vraag is dan echter waarom er zoveel 1 gbit poorten op zitten, dat nodigt uit om ‘m toch als switch in te zetten. Ik kan de keuze van ubnt ook niet helemaal volgen.

[Frogmen]

Ik snap je irritatie over de UDM-PRO aan de andere kant is en blijft het vooral een router met meerdere poorten, die moet je dus eigenlijk binnen je netwerk niet als snelle switch in willen zetten. Ik verwacht niet dat het bij andere router anders is. Zelfs bij Mikrotik al hebben die soms wel een echte combi in een behuizing, maar dan zie je dat ook in de specs van de verschillende poorten terug.

[ Voor 33% gewijzigd door Frogmen op 07-12-2021 08:32 ]

[pboelhouwer]

Ben(V) schreef op maandag 6 december 2021 @ 23:47:
Heeft niets met backplane snelheid te maken.
Die ubiquiti heeft gewoon over koper (Rj45) enkel 1Gbps en geen 10Gbps.
10Gbps haalt hij alleen tussen de sfp aansluitingen.

Wel verder ook een pruts ding, want de 1Gbps poorten hebben maar een backplane van 1Gbps(nieuwe ref 2.5Gbps) wat natuurlijk behoorlijk slecht is.
Een beetje switch heeft minimaal 10Gbps en met meer poorten nog hoger.

van Ubi store:
SKU: UF-RJ45-1G is 1Gbps
SKU: UF-RJ45-10G is 10Gbps

Dus als je de onderste in een SFP+ poort drukt en aan de andere kant van het cat6/7 kabeltje er ook 1 dan is de link idd 10Gbps.

Ik heb de UDM-Pro-SE waarbij wan (port 9, eth8) 2,5Gbps max is (rare snelheid voor wan aangezien ISP apparatuur voor consumenten 1Gbps is en voor bedrijven eerder 10 dan 2,5 of 5). Wan2 is SFP+ (port 10, eth9) en lan2 ook SFP+ (port 11, eth10).

[Thralas]

Ben(V) schreef op maandag 6 december 2021 @ 23:47:
Wel verder ook een pruts ding, want de 1Gbps poorten hebben maar een backplane van 1Gbps(nieuwe ref 2.5Gbps) wat natuurlijk behoorlijk slecht is.
Een beetje switch heeft minimaal 10Gbps en met meer poorten nog hoger.

Dat kun je helemaal niet afleiden uit het block diagram en klopt waarschijnlijk niet.

De CPU port is 1G/2.5G. De snelheid van de overige individuele poorten zegt niets over de backplanesnelheid. In algemene zin kun je er bij zo'n switch (de switch chip, niet de hele machine) vanuitgaan dat de backplane speed genoeg is om alle poorten tegelijk te kunnen belasten.

gastje01 schreef op dinsdag 7 december 2021 @ 07:43:
Om ‘m optimaal te kunnen gebruiken (WAN->LAN) moet je er eigenlijk een switch achter hangen via de SFP+ poort, de vraag is dan echter waarom er zoveel 1 gbit poorten op zitten, dat nodigt uit om ‘m toch als switch in te zetten. Ik kan de keuze van ubnt ook niet helemaal volgen.

Het is ook gewoon een switch. Alleen zijn niet alle poorten geswitcht.

Frogmen schreef op dinsdag 7 december 2021 @ 08:30:
Ik snap je irritatie over de UDM-PRO aan de andere kant is en blijft het vooral een router met meerdere poorten, die moet je dus eigenlijk binnen je netwerk niet als snelle switch in willen zetten. Ik verwacht niet dat het bij andere router anders is. Zelfs bij Mikrotik al hebben die soms wel een echte combi in een behuizing, maar dan zie je dat ook in de specs van de verschillende poorten terug.

Dit is natuurlijk niet fundamenteel anders dan iedere andere router, behalve dat MikroTik standaard block diagrams levert en iemand deze blijkbaar zelf moet tekenen voor Ubiquiti. De opbouw van het device is cruciaal om te kunnen bepalen welke delen wél als switch bruikbaarbaar zijn, en welke niet.