Point-to-point Infiniband-netwerk aanleggen?

[HarmoniousVibe]

Zijn er hier toevallig mensen die ervaring hebben met het opzetten van een simpel, point-to-point netwerk over Infiniband? Ik was namelijk aan het kijken of het de moeite waard zou kunnen zijn om een netwerk aan te leggen wat sneller is dan de momenteel gangbare 1Gbit. 10Gbit heb ik al snel afgeschoten vanwege de veel te hoge prijzen en met NIC bonding kom je ook niet erg ver.

Ik had de hoop bijna opgegeven, toen mijn oog viel op iets wat bijna te mooi is om waar te zijn: Infiniband. Die HCA's zijn helemaal niet zo duur als men zou verwachten, gegeven het segment waarin die technologie wordt gebruikt (datacentra). Het is in ieder geval een stuk goedkoper dan 10Gbit ethernet.

Volgens mijn snelle rekensom kom ik voor 2 dual port HCA's en 1 kabel uit op +/- €150 incl verzendkosten. Dmv IPoIB (IP over InfiniBand) kan ik hem volgens mij als gewone NIC gebruiken. Volgens mij is het zelfs mogelijk om dmv SRP (SCSI RDMA Protocol) er een soort Fibre Channel-achtige oplossing van te maken die de overhead van TCP/IP, Samba e.d. elimineert en de schijven/array als block device kan aanspreken. Of iets als NFS over RDMA.

Om het kort te maken: is het inderdaad mogelijk om voor max €150 een point-to-point Infiniband-netwerk op te zetten met een snelheid van 8Gbps full duplex? Of gaat de aloude volkswijsheid op en is dit 'too good to be true'?

[Predator]

Ik neem aan dat dit voor een thuisprojectje is tussen 2 hosts onderling ?

Geen ervaring mee, maar ik vrees dat je van een redelijk kale reis gaat thuiskomen.
Door het feit dat je IPoIB encapsulatie via een driver moet doen zal je wel redelijk wat aan snelheid moeten inboeten.
Voor zover ik even google mag geloven zie ik ook nog geen windows drivers (als dat een probleem zou zijn voor jou).

[HarmoniousVibe]

Predator schreef op woensdag 16 maart 2011 @ 21:02:
Ik neem aan dat dit voor een thuisprojectje is tussen 2 hosts onderling ?

Geen ervaring mee, maar ik vrees dat je van een redelijk kale reis gaat thuiskomen.
Door het feit dat je IPoIB encapsulatie via een driver moet doen zal je wel redelijk wat aan snelheid moeten inboeten.
Voor zover ik even google mag geloven zie ik ook nog geen windows drivers (als dat een probleem zou zijn voor jou).

Het is inderdaad een thuisprojectje. Het daadwerkelijke nut valt voor mij nog wel mee, want het zwaarste wat ik doe is het draaien van een VBox image vanaf mijn server en wat video-authoring waarbij de content staat/wordt opgeslagen op mijn server. Echter kan ik het voor die prijs ook niet laten liggen, mits het werkt .

Volgens mij valt die overhead wel mee. Normaliter is er sprake van IP over ethernet/wifi en nu is dat IP over InfiniBand. Voor zover ik kan zien komt er geen 'extra' layer tussen, maar wordt slechts de tweede layer van het OSI-model vervangen door IB. Heb ergens iets gelezen over iemand die iets soortgelijks heeft gedaan en voor +/- $150 een snelheid kon realiseren van 7Gbit (out of 8 ). Ik kan de link helaas niet meer vinden.

Windows-drivers zijn voor mij geen issue. Voor anderen ook niet overigens, want die zijn gewoon hier te vinden: http://www.openfabrics.org/downloads/Windows/

[Guru Evi]

InfiniBand gaat waarschijnlijk iets boven je hoofd gaan, dat is bedoeld als een fabric voor clusters. Er is tot zover geen of weinig ondersteuning in de client versies (en zelfs Server) van Windows alsook voor de HBA's dus Solaris of Linux is je enige oplossing.

Daarnaast is het remote direct memory access, behalve als je NFS gebruikt (niet ondersteund op Windows) of een cluster filesystem (duur in Windows, moeilijk in alle OS) kun je dezelfde resources niet op beide hosts tegelijk gebruiken.

Ik zou liever voor 10GbE gaan als het enkel voor netwerken is. Dit is echt niet zoo duur ($300 voor een kaart, $50 voor een SFP kabel) dezelfde prijs als nieuw Infiniband spul, tweedehands kun je ze al krijgen van 100-150 per kaart. Als het voor thuis is dan denk ik wel dat gigabit of trunked gigabit genoeg is.

[ Voor 7% gewijzigd door Guru Evi op 20-03-2011 17:00 ]

[Kompaan]

Ik was een paar dagen geleden dit tegengekomen, was dit wat je zocht?

http://davidhunt.ie/wp/?p=232

[HarmoniousVibe]

Ah ja inderdaad, dat was de link

[masaman]

Wel ervaring mee. We gebruiken het in ons product om een snelle link te hebben tussen 2 van de PC's (WinXP). Voor Win 7 zijn er blijkbaar nog problemen met drivers. Wij gebruiken hier TCP/IP over Infiniband. We gebruiken ook de OpenSM service, soms zijn daar issues mee (service stopt). De link is verder stabiel, lage latency. Weinig klachten eigenlijk.

In eerste instantie hebben we de single head Mellanox adapters gebruikt maar na problemen zijn we uiteindelijk overgestapt op de dual head Mellanox adapters (op aanraden van Mellanox).

[HarmoniousVibe]

Bedankt voor je antwoord!

Zelf gebruik zal alles Linux draaien en die stack schijnt enorm stabiel te zijn. Wat zijn de snelheden die je haalt en welk layer-7 protocol draai je op IPoIB? Waarom dual-head overigens? Zodat je meerdere point-to-point netwerkjes kunt aanleggen met één interface? Of is dat omdat RDMA misschien een eigen link nodig heeft?

@Guru Evi: ik draai alleen Linux en voor Linux maakt het vrij weinig uit wat layer 1 en 2 van de stack zijn. Het is dus niet moeilijker ofzo.

[ Voor 55% gewijzigd door HarmoniousVibe op 13-04-2011 11:00 ]