40Gbe verbinding traag (75Mbits)

[itcouldbeanyone]

Hi ik heb zojuist 2 Mellanox connectX 3 kaartjes welke verbonden zijn met een Active kabel (glas) QSFP

Kaart 1 zit in me workstation waar windows 10 pro op draait

Kaart 2 zit in een hp dl180 server
De server draait proxmox, Met daaroverheen freenas.
Er zitten 25 SAS schijven ZFS in
Verder is de server ook te benaderen via 1 gigabit adapter.

Ik kan me bestanden op de server benaderen via het mellanox kaartje , echter haal ik hier slechts snelheden tot 75Mbits uit.

Mijn workstation (windows) geeft aan dat het om een 40Gb verbinding gaat.

Ik ben nogal leek op dit gebied, maar weet zelf niet meer waar ik kan zoeken,
Wat ik nog kan proberen om de andere adapter in een andere windows machine te stoppen om te kijken waar het probleem ligt.

Mis ik iets kwa configuratie ?
En is Ofed een vereiste zowel pc als server ?
Ik krijg dat niet op proxmox geinstaleert omdat de drivers een oudere kernel hebben.

[Sebas1337]

Je kan eens via een iperf een snelheidstest doen. Daarnaast denk ik dat je workstation schijven niet zo snel data kunnen schrijven.

[itcouldbeanyone]

Sebas1337 schreef op dinsdag 28 mei 2019 @ 20:09:
Je kan eens via een iperf een snelheidstest doen. Daarnaast denk ik dat je workstation schijven niet zo snel data kunnen schrijven.

Iperf geeft geen beter resultaat
Wokstation heeft ssds die zouden meer dan 75 mb moeten doen, 1Gbit trek ik met gemak vol.
10 zou ook nog steeds een bottlenek vormen vandaar die 40

[Wim-Bart]

In wat voor sloten zitten de kaarten? En in hoe verre zijn de interrupts gedeeld met andere devices? Want daar kan ook nog een bottleneck zijn. Daarnaast, heb je met Intel best wel een issue qua IO met de nieuwe microcode patches van Windows en Linux voor Intel processoren.

[Frogmen]

Ik snap dat je het wil proberen omdat het kan, maar verder welk praktisch nut, met 1 Gb kan je al redelijk vanaf het netwerk werken. Ik denk dat je zoals hierboven al gemeld tegen hele andere problemen aanloopt dan je netwerk. Theorie moet je wel doorvoeren naar alle componenten en software. Bedenk onder andere dat Windows 10 misschien niet geschikt is voor deze netwerk snelheden?

[itcouldbeanyone]

Frogmen schreef op woensdag 29 mei 2019 @ 11:50:
Ik snap dat je het wil proberen omdat het kan, maar verder welk praktisch nut, met 1 Gb kan je al redelijk vanaf het netwerk werken. Ik denk dat je zoals hierboven al gemeld tegen hele andere problemen aanloopt dan je netwerk. Theorie moet je wel doorvoeren naar alle componenten en software. Bedenk onder andere dat Windows 10 misschien niet geschikt is voor deze netwerk snelheden?

zoals ik al aangegeven heb zal een 10Gbe verbinding te traag zijn.
om je een id te geven
in de server haal ik >3000MB/s via me SAS controllers naar me schijven.
er zit daar 2x hexacores Xeons in van 3ghz en 48GB ram

windows pc is een HEDT platform
10 core xeon, lga2011
met genoeg pcie lanes.

het gaat me niet zo zeer over data windows naar server toe, als dit 4Gb/s a 5Gb/s is ben ik al tevreden.
zolang de verbinding Server naar windows maar boven de 20Gb/s uit komt.


ik zal vanavond proberen om te kijken wat er gebeurt als ik het in een andere machine stop.
ik heb het vermoede dat proxmox het probleem is, waarschijnlijk staat hij bij windows in eth mode en krijgt proxmox hem niet uit infiniband mode. (of dan uberhaubt een verbinding mogelijk is weet ik niet).
maar drivers werken nog niet lekker op proxmox, dus begin zelfs te twijfelen om met proxmox te stoppen

[itcouldbeanyone]

Update:

Heb zojuist de Ofed in de laatse proxmox geinstaleerd, pve5.4
Subnets aangepast.
Haal nu windows naar server 125mbits
Server naar windows 4 gbits.
Op freenas zelf haal ik write 12Gbits read 37Gbits
Ik gebruik geen pcie passtrough
Wat me opvalt is dat freenas aangeeft dat dit een 10Gbe poort is, is dat een limitatie van freenas ?
Of van de virtio drivers van proxmox ?
Het komt denk ik nu meer neer op tuning,
Echter vindt ik die 125mbits wel erg karig vergelijken de read perfomance.