Mellanox netwerkje

[Sideburnn]

Om snel en overzichtelijk aan het werk te kunnen heb ik een edit-server gebouwd.
16 drives in Raid 10 voor snelheid en een stukje veiligheid omdat ik veel 4k materiaal heb te verwerken.
Had op het Resolve forum gelezen dat een gast zijn Editbak en server met 2 Mellanox kaarten had verbonden en hier heeeeel erg blij mee was.
dus voor een redelijk prikkie 2 x Mellanox ConnectX-3 CX354A PCIe x8 40 GBe QSFP+ Dual Port aangeschaft.
Alles heb ik inmiddels aan de praat maar met het Infiniband gedeelte kom ik niet verder…vooral omdat ik niet zo sterk ben met nerwerken.
Is er hier iemand die de nodige kennis heeft om mij van raad te voorzien.

[MewBie]

QSFP+ DAC kabel kopen en in beide computers prikken?

https://www.fs.com/de-en/c/40g-qsfp-dac-1117

[Sideburnn]

ja...zo slim ben ik ook wel….kabels zitten er in ;-)

[DeBolle]

Ik heb alleen ervaringen met Mellanox Infiniband netwerken over switches (36poorts Sun), maar helpt bijvoorbeeld https://wiki.archlinux.org/index.php/Infiniband jou niet verder met een direct link? Welk Os gebruik je overigens en zijn de drivers al geinstalleerd? Lspci laat de juiste hardware zien en lsmod heeft tenminste de mlx4 modules?

[FireDrunk]

Je kunt Ethernet praten over Infiniband, maar dat is niet perse makkelijk. Je zit met zaken als drivers, kernel modules, firmware. Je moet dingen inrichten als een Subnet Manager.

Ik kan je aanraden om gewoon standaard Ethernet kaartjes te kopen, liever daar iets meer geld aan uit te geven, dan een Infiniband configuratie proberen op te zetten. Het geld wat je 'uitspaart' aan de Infiniband kaartjes, ga je weer uitgeven aan tijd om het in te richten.

10/40GbE is plug-and-play

Er zijn hele goedkope 10GbE kaartjes te krijgen, zoals:
pricewatch: Asus XG-C100C
of tweedehands:
categorie: Netwerkadapters

[ Voor 26% gewijzigd door FireDrunk op 28-11-2019 14:01 ]

[Sideburnn]

Ik heb Windows server 2019 standard en win 10.
Drivers staan er netjes op.

[rikadoo]

Allebei een ip geven in dezelfde range en dan zou je ze moeten kunnen benaderen

W10 -> 10.1.1.5 / 255.255.192.0 / 10.1.1.1
W2019 -> 10.1.1.6 / 255.255.192.0 / 10.1.1.1

[ Voor 35% gewijzigd door rikadoo op 28-11-2019 15:27 ]

[Sideburnn]

De kaarten staan als Ethernet ingesteld en hebben een vast ip adres.
Ik krijg nu unindentified network...maar ze zijn dus wel aangesloten.
Nu is het de bedoeling dat ik de server kan benaderen via deze verbinding…...maar hoe doe k dit?

[rikadoo]

Je moet zorgen dat je een samba map krijg of iig de boel deelt. Zodra je dat gedaan hebt zou je op je w10 pc de boel kunnen benaderen via //10.1.1.6/*mapnaam*

[Sideburnn]

PPfff….op de server de 1GB nic uitzetten scheelt al een heel stuk.
Disk speed is op de server 1214 write en 1060 read.
Net de 1 GB nic kom ik rond de 500 uit en met de melanox op 770 write en 802 read....dit moet ook 1214/1060 kunnen zijn lijkt me....

[Sideburnn]

Update....
Het probleem zou de kabel zijn…..ik heb nu een InfiniBand kabel welke met ethernet niet boven de 10 GbE komt.
Heb nu een Ethernet kabel besteld die wel tot 40 GbE moet komen,,,,we wachten af.

[gastje01]

Denk je dat je meer dan 10Gbe gaat dicht trekken?

[Sideburnn]

Dat is de bedoeling....ik heb voor mijn werk een opslagserver gebouwd met 16 drives in raid 10 om 4k af te kunnen bewerken.

[ Voor 64% gewijzigd door Sideburnn op 06-12-2019 10:20 ]