[IPoIB] Netwerk architectuur

[Keeper of the Keys]

Hey hopelijk zitten hier nog wat mensen met IB netwerken.

Ik zit op dit moment met een vraag die waarschijnlijk een behoorlijk luxeprobleem is.

Voor mijn huidige baan werkte ik voor een universiteit daar hadden we amper genoeg IB poorten om elke node aan te sluiten.

Nu werk ik in een bedrijf en hebben we een klein ML cluster (4 nodes) dat we verbinden met IB en we gebruiken IPoIB voor Lustre.

Nou heeft elke node meerdere IB kaarten en heb ik op dit moment meer dan genoeg poorten beschikbaar om elke kaart aan te sluiten, voor zover ik IB begrijp zit er geen nadeel aan het meerdere keren aansluiten van een node maar ben ik daar toch niet helemaal zeker van.

Verder zit ik ook met de vraag als ik op die manier werk moet de IPoIB stack dan 1 IP adres hebben per node of per kaart/poort?

De meeste documentatie spreekt vooral over architectuur van het netwerk (fat tree/rhombus etc) en niet perse over hoe de leaf nodes aangesloten worden.

[Keeper of the Keys]

FYI - volgens de vendor en de lustre mailing lijst moest ik inderdaad elke poort een eigen IP adres geven.

[MAX3400]

Ik gebruik geen IPoIB maar het is "toch logisch" dat als je meer dan 1 poort wil gebruiken, dat je dus ook alles moet kunnen adresseren middels IP

The configuration of IPoIB requires assigning an IP address and a subnet mask to each HCA port, like any other network adapter card

https://docs.nvidia.com/n...ge.action?pageId=12013510

[Keeper of the Keys]

@MAX3400 Op zich wel, maar aan de andere kant werkt de IB stack op een manier die de *host* adresseert en dan de pakketjes route op de beste manier over welke HCA dan ook, dus leek het mij dat het zou kunnen dat ik de IPoIB stack een enkel IP adres zou kunnen geven om de host te identificeren en IB de rest laten uitvogelen...

En als je dan machines hebt met 8 IB poorten dan wordt het toch best een beetje raar....