SAS & Infiniband

[gitaarwerk]

Ik vroeg me af hoe het nou zit met infiniband en SAS.

Ik weet dat SAS echt een verbinding is voor drives, en infiniband meer een netwerk is.
De vraag is omdat ik mijn enige pcie slot heb moeten opgeven voor een SAS kaart (IBM ServeRaid m1015). Nu vind ik veel over infiniband, of sas, maar weinig over de combinatie terug. Ik zie SAS -> Infiniband connectoren,.. maar betekent dit dan dat ik een andere server met infiniband kan verbinden?

(ik wil namelijk niet zozeer het netwerk verbinden, maar de storage). Ik kan daarbij ook maar 1 gigabit ethernet poort gebruiken. Dus liever via een andere verbinding tussen de servers.

Is het mogelijk dus om een of een netwerk of een storage itnerconnect te maken via (mini)SAS?

[hans_lenze]

Voila: http://www.lsi.com/channe...ges/LSISAS6160Switch.aspx

Wellicht een beetje overkill, maar 't werk wel

[CyBeR]

gitaarwerk schreef op maandag 05 november 2012 @ 12:04:
Ik vroeg me af hoe het nou zit met infiniband en SAS.

Ik weet dat SAS echt een verbinding is voor drives, en infiniband meer een netwerk is.
De vraag is omdat ik mijn enige pcie slot heb moeten opgeven voor een SAS kaart (IBM ServeRaid m1015). Nu vind ik veel over infiniband, of sas, maar weinig over de combinatie terug. Ik zie SAS -> Infiniband connectoren,.. maar betekent dit dan dat ik een andere server met infiniband kan verbinden?

(ik wil namelijk niet zozeer het netwerk verbinden, maar de storage). Ik kan daarbij ook maar 1 gigabit ethernet poort gebruiken. Dus liever via een andere verbinding tussen de servers.

Is het mogelijk dus om een of een netwerk of een storage itnerconnect te maken via (mini)SAS?

SAS gebruikt vaak infiniband connectoren voor bekabeling naar drive cages, alleen omdat iemand dat ooit handig vond.

Verder heeft het niks met elkaar te maken. Je kunt dus niet een SAS drive op een infinibandnetwerk aansluiten.

[ Voor 5% gewijzigd door CyBeR op 05-11-2012 22:35 ]

[gitaarwerk]

hans_lenze schreef op maandag 05 november 2012 @ 20:47:
Voila: http://www.lsi.com/channe...ges/LSISAS6160Switch.aspx

Wellicht een beetje overkill, maar 't werk wel

Lol, da's zeker overkill. Wel erg cool

CyBeR schreef op maandag 05 november 2012 @ 22:34:
[...]


SAS gebruikt vaak infiniband connectoren voor bekabeling naar drive cages, alleen omdat iemand dat ooit handig vond.

Verder heeft het niks met elkaar te maken. Je kunt dus niet een SAS drive op een infinibandnetwerk aansluiten.

thanks! misschien toch maar een breakoutboard fixen, zijn alleen erg kostbaar.

Ik weet dat er vrij lage kaarten bestaan, maar het is een ramp om de juiste te vinden. Ik dacht eventueel mogelijk om OF een usb3 kaart erin te knallen en daar weer een netwerk op te gooien.. beetje proletatisch, maar denk dat ik er nergens meer een infiniband kaart erop kan zetten.

Alle tips voor opties zijn welkom . Zoals je wellicht kunt zien is er nog ene pcie vrij voor de riser card. Zijn er hier nog mogelijkheden voor? (wist helaas niet dat er nog een extra kaart nodig was )

[ Voor 28% gewijzigd door gitaarwerk op 06-11-2012 16:45 ]

[CyBeR]

Wil je per see infiniband dan? Ik zie zo te zien twee prima functionele gigabit ethernet interfaces?

[gitaarwerk]

CyBeR schreef op dinsdag 06 november 2012 @ 16:54:
Wil je per see infiniband dan? Ik zie zo te zien twee prima functionele gigabit ethernet interfaces?

Ik wil iets snellers dan alleen gigabit eigenlijk.

ik heb 3 ethernet poorten. Een voor de management poort van SuperMicro zelf, dan nog twee over. Deze server ga ik zowel als router gebruiken als Nas. Om gebruik te maken van ZFS heb ik een extra controller aan moeten schaffen (ik draai vmware esxi 5).
Om het een beetje goed te scheiden gaat er dus een gigabit poort naar buiten, en een voor binnen het netwerk. Dus wil ik eigenlijk een beetje extra doorvoer in mijn netwerk hebben.

Infiniband is een relatief goedkope manier om tussen twee servers een interconnect te maken. p sich zouden twee extra gigabit poorten ook al voldoende zijn.

Mocht er een interconnect gemaakt kunnen worden met USB3, of ethernet, of infiniband, zou dat top zijn. Met usb denk ik wel dat je dus wat cpu kracht moet gaan gebruiken.. maar dat lijkt me eigenlijk neit echt een probleem, omdat het meeste cpu vrij schaars gebruikt wordt. Geheugen daarentegen wellicht het meest voor ZFS, maar heb 32GB erin.

Wat zou handig zijn? of is het bollocks omdat de drives niet meer dan 7200 toeren maken? (WD RED's,.. zijn volgens mij niet eens 7200)

[ Voor 4% gewijzigd door gitaarwerk op 06-11-2012 17:02 ]

[CyBeR]

Dat ligt eraan hoeveel drives je hebt, maar 2 gigabit is nog best moeilijk vol te krijgen. Ik zou m'n twee poorten gewoon aggregaten en dan het verkeer scheiden met vlans ipv fysiek.

Overigens heb je meestal niet zoveel aan aggregation als 't verkeer beperkt blijft tussen twee hosts. Dan kun je idd beter kijken of je niet een infiniband (of myrinet) kaartje erin kunt prikken. Waar je geen ruimte voor hebt

Via USB kan trouwens sowieso niet-- USB is master/slave-gebaseerd en een pc is altijd een master.

[ Voor 47% gewijzigd door CyBeR op 06-11-2012 17:18 ]

[gitaarwerk]

CyBeR schreef op dinsdag 06 november 2012 @ 17:17:
Dat ligt eraan hoeveel drives je hebt, maar 2 gigabit is nog best moeilijk vol te krijgen. Ik zou m'n twee poorten gewoon aggregaten en dan het verkeer scheiden met vlans ipv fysiek.

Overigens heb je meestal niet zoveel aan aggregation als 't verkeer beperkt blijft tussen twee hosts. Dan kun je idd beter kijken of je niet een infiniband (of myrinet) kaartje erin kunt prikken. Waar je geen ruimte voor hebt

Lol, nee, da's het punt ,... wisselen met vlans is niet zo handig. Uiteindelijk moet er ook een webserver in zitten (vergeten te vertellen in vorige post) dus wil de webserver eigenlijk niet binnen de LAN omgeving hebben.
Uiteindelijk is de bedoeling dat op de NAS aardig gewerkt wordt. De SAS poort ga ik dan gebruiken als breakout kabel later wanneer nodig dan denk ik

Via USB kan trouwens sowieso niet-- USB is master/slave-gebaseerd en een pc is altijd een master.

bah

Ik zag dat er wel usb -> gigabit opties zijn, maar dan moet er nog steeds ruimte zijn voor een pcie x8

Er is op sich nog wel ruimte in de kast, maar niet boven het moederbord. Eventueel met een flatcable zou ik ergens nog een kaart op een plek kunnen plakken, maar volgens mij is dat niet zo bevordelijk voor de snelheid


Wat ik ook aan zat te denken, om een andere raiser card te nemen. Er is maar een sleuf aan de achterkant beschikbaar,.. maar er zijn wel systemen waar twee pcie in kunnen. ik dacht dus de IBM serveraid in der onderste te douwen, en een infiniband in de top. wellicht

[ Voor 9% gewijzigd door gitaarwerk op 07-11-2012 09:40 ]

[CooleSmurf]

Ik lees dat je met ZFS en Infiniband aan de gang wilt. Nu heb ik daar de laatste weken veel tijd in gestoken, met nog maar een beperkt resultaat. Infiniband is inderdaad low-cost, maar het configuratiedeel is (voor mij) best pittig.

Ik werk met een Openindiana server met ZFS (4 stripes van 2 mirror schijven) en een Voltaire 400Ex Dual Port 4x 10GB PCIe HCA 128MB adapter (Solaris derivaten hebben geheugen nodig op IB kaart).

Na het installeren van een SM (Subnet Manager) op mijn Win7 bak, lukt het om een verbinding op te zetten, maar helaas is deze niet stabiel. Veel packet drops

Maar goed, misschien moet ik in een ander draadje hirvoor hulp vragen, maar misschien handig voor je om te weten dat Infiniband niet altijd vanzelf gaat.