Mellanox 40 GB/s

[Sideburnn]

Ik loop al een tijd te stoeien met een Mellanox netwerkje.
Het is een setje cx324A kaartjes met bijbehorende gekwalificeerde kabels.
Ik draait op windows server 2019 en windows 10.
Firmware zijn hetzelfde van de kaartjes en de driver idem.
Windows ziet de kaartjes ook netjes als 40 GB/s kaartjes maar tijdens de communicatie van de 2 machines kom ik niet boven de 10 GB/s
De server heeft een raid 10 en leest en schrijft rond de 1200 GB/s weg.
Wat zie ik over het hoofd?

[Tha Render_2]

We missen het belangrijkste, op welke switch zijn deze systemen aangesloten? Of gewoon cross met elkaar?

PS: Het is trouwens 40Gb/s

[ Voor 12% gewijzigd door Tha Render_2 op 05-03-2020 15:33 ]

[Brahiewahiewa]

Sideburnn schreef op donderdag 5 maart 2020 @ 15:26:
...
Wat zie ik over het hoofd?

Wat doet iPerf?

[Bartske]

Customer service van Mellanox al geprobeerd?

[Mike2k]

Sideburnn schreef op donderdag 5 maart 2020 @ 15:26:
De server heeft een raid 10 en leest en schrijft rond de 1200 GB/s weg.

en de client?

[Sideburnn]

- Het is cross gelinkt met elkaar
- iPerf blijft 0,1 seconde open
- Costumer service heb je alleen als je volgens de juiste kanalen je spul hebt aangeschaft.
En deze kaartjes zijn al wat ouder
- Client heeft een Samsung 970 aan boord.
En wil moet direct vanuit mijn archief kunnen monteren wat met de 40 Gb/s moet kunnen.

[MewBie]

Had Windows 10 niet problemen om uberhaupt 10Gb/s te halen? Meen me zoiets te herinneren.

[Sideburnn]

dat kun je uitzetten...is gedaan

[lier]

Sideburnn schreef op donderdag 5 maart 2020 @ 15:26:
De server heeft een raid 10 en leest en schrijft rond de 1200 GB/s weg.

Wauw!

[dcm360]

Onder de aanname dat de raid-set niet 1200GB/s doet maar 1200MB/s, dan matcht dat wel met 10Gb/s.

[XiMMiX]

Sideburnn schreef op donderdag 5 maart 2020 @ 15:26:
Ik loop al een tijd te stoeien met een Mellanox netwerkje.
Het is een setje cx324A kaartjes met bijbehorende gekwalificeerde kabels.
Ik draait op windows server 2019 en windows 10.
Firmware zijn hetzelfde van de kaartjes en de driver idem.
Windows ziet de kaartjes ook netjes als 40 GB/s kaartjes maar tijdens de communicatie van de 2 machines kom ik niet boven de 10 GB/s
De server heeft een raid 10 en leest en schrijft rond de 1200 GB/s weg.
Wat zie ik over het hoofd?

write speed van 1200 GB/s, hmmm ..... wat voor beest van een setup heb je? 1 PCI-e 4.0 lane doet ongeveer 2GB/s, dus je hebt 600 PCI-e 4.0 lanes nodig om die 1200GB/s te halen. AMD's epyc heeft 128 lanes per CPU, dus je zou een systeem met minstens 5 sockets nodig hebben. Volgens mij bestaat niet.
1200 Gb/s zou kunnen, maar als je een dergelijk setup hebt laat je neem ik aan gewoon je leverancier komen bij problemen.

Dus ik neem aan dat je 1200 MB/s bedoeld. Absoluut maximale theoretische snelheid van 10Gbit is 1250MB/s. Zou het dus kunnen dat je gewoon aanloopt tegen de maximum snelheid van je storage?
Hoe bepaal je dat je gelimiteerd bent tot 10Gbit? Meet je puur netwerk snelheid of inclusief storage?

edit:
Ik zie net:

Sideburnn schreef op donderdag 5 maart 2020 @ 16:19:
- iPerf blijft 0,1 seconde open

Dan gebruik je de verkeerde iPerf settings. Voor een betrouwbare meting moet je veel langer meten dan 0,1 seconde.

[ Voor 9% gewijzigd door XiMMiX op 05-03-2020 17:21 ]

[Uberprutser]

Welke kabels heb je? Bij verkeerde kabels kom je op 4x10Gbit kanalen ipv 1x40Gbit (en dat verklaard dan weer je 10Gbit max). Ik dacht dat je dit in sommige gevallen wel kan forceren in de driver maar heb maar weinig ervaring met de ConnectX-3.

Eventuele iPerf3 opties, wel even zorgen dat je exact dezelfde versie op beide hebt staan!

# Server
iperf3 --server

# Client
iperf3 --client [IP.of.Server] --bandwidth 40G --udp --port 5201 --parallel 4 --time 30

[Sideburnn]

ik haal wat dingen door elkaar......ik bedoel MB/s.
Ik test met Blackmagic speedtest en heb op mijn editbak zelf een write van 1970 en een read van 3000 MB/s
Via de Mellanox kaarten kom ik op de 500 a 600 MB/s.
Als ik dan bij taakbeheer kijk kom ik op een ethernet toevoer van 500 a 600 met rechtboven in 10 Gbps doorvoer...en denk dat deze hoger zou moeten zijn namelijk 40 Gbps

[rikadoo]

Sideburnn schreef op donderdag 5 maart 2020 @ 16:53:
dat kun je uitzetten...is gedaan

Even tussendoor, wat bedoel je hier precies mee? W19 en 10gbps problemen?

[itcouldbeanyone]

Heb hier een soortelijke setup, haal hier met win10 en een freenas server 27gbit met windows taakbeheer.
Ook een 40gb kaart, alleen met een actieve kabel (dus glasvezel)
Mijn bottlenek is nu dat ik niet meer data naar de server kan stuuren.
Heb je je kaart getuned met de tuning tool van mellanox ?
Heb je hem in eth of in infiniband modus staan ?
Staan je PCIE lanes goed afgesteld in de bios ?
Gebruik je RDMA of niet( zonder kan CPU bottlenek zijn)
heb je voldoende pcie lanes op je slot van de kaart ?