Toon posts:

[IPoIB] Netwerk architectuur

Pagina: 1
Acties:

  • Keeper of the Keys
  • Registratie: Augustus 2002
  • Laatst online: 03-01 10:29
Hey hopelijk zitten hier nog wat mensen met IB netwerken.

Ik zit op dit moment met een vraag die waarschijnlijk een behoorlijk luxeprobleem is.

Voor mijn huidige baan werkte ik voor een universiteit daar hadden we amper genoeg IB poorten om elke node aan te sluiten.

Nu werk ik in een bedrijf en hebben we een klein ML cluster (4 nodes) dat we verbinden met IB en we gebruiken IPoIB voor Lustre.

Nou heeft elke node meerdere IB kaarten en heb ik op dit moment meer dan genoeg poorten beschikbaar om elke kaart aan te sluiten, voor zover ik IB begrijp zit er geen nadeel aan het meerdere keren aansluiten van een node maar ben ik daar toch niet helemaal zeker van.

Verder zit ik ook met de vraag als ik op die manier werk moet de IPoIB stack dan 1 IP adres hebben per node of per kaart/poort?

De meeste documentatie spreekt vooral over architectuur van het netwerk (fat tree/rhombus etc) en niet perse over hoe de leaf nodes aangesloten worden.

  • Keeper of the Keys
  • Registratie: Augustus 2002
  • Laatst online: 03-01 10:29
FYI - volgens de vendor en de lustre mailing lijst moest ik inderdaad elke poort een eigen IP adres geven.

  • MAX3400
  • Registratie: Mei 2003
  • Laatst online: 21-12-2022

MAX3400

XBL: OctagonQontrol

Ik gebruik geen IPoIB maar het is "toch logisch" dat als je meer dan 1 poort wil gebruiken, dat je dus ook alles moet kunnen adresseren middels IP
The configuration of IPoIB requires assigning an IP address and a subnet mask to each HCA port, like any other network adapter card
https://docs.nvidia.com/n...ge.action?pageId=12013510

Mijn advertenties!!! | Mijn antwoorden zijn vaak niet snowflake-proof


  • Keeper of the Keys
  • Registratie: Augustus 2002
  • Laatst online: 03-01 10:29
@MAX3400 Op zich wel, maar aan de andere kant werkt de IB stack op een manier die de *host* adresseert en dan de pakketjes route op de beste manier over welke HCA dan ook, dus leek het mij dat het zou kunnen dat ik de IPoIB stack een enkel IP adres zou kunnen geven om de host te identificeren en IB de rest laten uitvogelen...

En als je dan machines hebt met 8 IB poorten dan wordt het toch best een beetje raar....


Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee