2 SAS expanders aansluiten op SAS controller en zichzelf

[Xudonax]

Ik ben bezig om mijn storage server een stevige boost te geven. Ik wil van mijn huidige 6 disks op mijn IBM M1015 (in IT mode) naar grofweg 30 schijven gaan. Dit gaat natuurlijk niet direct op de IBM M1015 passen aangezien daar maar twee SFF 8087 connectors op zitten, zelfs niet als ik mijn moederbord ook gebruik. Deze heeft namelijk slechts 4 SATA poorten. Hoogste tijd voor een expander dus.

Mijn oog is op een Intel RES2SV240 gevallen. Deze heeft in totaal 6 SFF 8087 poorten, waarvan ik er 4 wil gebruiken om direct schijven op aan te sluiten. 1 poort wil ik naar de M1015 toe sturen, en de laatste naar de andere expander. Het idee is dan dus eigenlijk dit:

code:

DISKS DISKS     DISKS DISKS
 ||    ||        ||    ||
 RES2SV240======RES2SV240
         ||     ||
         IBM M1015

In de documentatie van Intel (of was het LSI?) staat wel dat het mogelijk zou zijn om één expander aan te sluiten op twee verschillende SAS controllers, maar is dit ook mogelijk? Het idee is een beetje dat ik geen performance (of in ieder geval niet te veel) inlever.

Of is een dergelijke setup overkill als ik kijk naar een RAIDZ array van 2x 10 2.5" schijven (Hitachi Travelstar 5K1000, 1TB) samen met een array van 6 van die disks, een nog te maken array van 2x 3.5" schijven en wat caching SSDs?

Ik zit namelijk nog even te rekenen, en een enkele SAS 2.0 link doet 6Gbit/s wat zich vertaalt in 600MByte/s voor zover ik weet. Er zitten 4 SAS 2.0 links in een SFF 8087 connector, waardoor een enkele connector 2,4GByte/s kan verstouwen. Ik betwijfel of een set van 20 simpele laptopschijven dit kan vol krijgen...

EDIT: Wel zo handig, even mijn huidige systeemspecs erbij zetten:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1265LV2 Boxed	€ 282,-	€ 282,-
1	Intel DH77DF	€ 105,50	€ 105,50
6	Hitachi Travelstar 5K1000, 1TB	€ 58,89	€ 353,34
1	BitFenix Prodigy Wit	€ 65,25	€ 65,25
2	3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M	€ 16,60	€ 33,20
2	Kingston KVR1333D3N9/8G	€ 42,16	€ 84,32
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Super Flower Golden Green SF-400P14XE	€ 72,78	€ 72,78
1	Crucial m4 mSATA CT032M4SSD3 32GB	€ 47,03	€ 47,03
Bekijk collectie Importeer producten		Totaal	€ 1.162,-

En de planning van schijven:

#	Product	Prijs	Subtotaal
20	Hitachi Travelstar 5K1000, 1TB	€ 58,89	€ 1.177,80
2	Intel - RAID Expander RES2SV240 - Massenspeicher Controller - 6 Sender/Kanal	€ 245,00	€ 490,00
Bekijk collectie Importeer producten		Totaal	€ 1.667,80

[ Voor 54% gewijzigd door Xudonax op 26-06-2013 19:09 ]

[FireDrunk]

Als je toch al 2 Expanders gaat kopen, waarom wil je dan weten of je 2 links op 1 expander aan kan sluiten, want je hebt alle links al nodig om een 1 op 1 connectie te kunnen maken met elke expander?

M1015 Kanaal A -> Expander -> disks
M1015 Kanaal B -> Expander -> disks

Het hangt volgens mij van de instellingen van de expander af of je meer bandbreedte krijgt, of dat je meerdere paden krijgt. Want het kan zijn dat je Expander ervoor zorgt dat je meerdere paden ziet naar je disks. Besturingssystemen als VMWare ESXi en apparaten als EMC's en NetApps gebruiken deze functionaliteit om redundancy in te bouwen.

Volgens mij moet wat jij wil wel kunnen, maar is het per Expander verschillend. Misschien even chatten met Intel?

[eddie4nl]

Waarom niet deze 8 ports expander van HP 8x4=32disks?
pricewatch: HP SAS Expander Card

[_JGC_]

Zou moeten kunnen met die expanders, maar ik gok dat je multipath problemen gaat krijgen op je controller. Als dat niet goed werkt worden disks dubbel gedetecteerd en krijg je gekke timeout problemen.
Sowieso zou ik niet teveel expanders gaan daisychainen, liefst verdeel je je disks zo dat i/o in evenwicht is over beide connectors van de controller.

[Xudonax]

eddie4nl schreef op woensdag 26 juni 2013 @ 22:51:
Waarom niet deze 8 ports expander van HP 8x4=32disks?
pricewatch: HP SAS Expander Card

Omdat die een PCIe slot nodig heeft voor de voeding (en voor zover ik weet niets anders) terwijl de Intel kaart zowel via PCIe als een 4 pin molex zijn voeding kan krijgen. En gezien ik een mITX bord heb...

[eddie4nl]

Xudonax schreef op donderdag 27 juni 2013 @ 08:18:
[...]
Omdat die een PCIe slot nodig heeft voor de voeding (en voor zover ik weet niets anders) terwijl de Intel kaart zowel via PCIe als een 4 pin molex zijn voeding kan krijgen. En gezien ik een mITX bord heb...

Dat vindt ik een geldige reden maar nu vraag ik me af of je alleen met de molex aan te sluiten op dit ding je een 32disk sas cabinet kan maken....
http://www.ebay.com/itm/N...-Riser-Card-/251282227384


Ik heb helaas niemand kunnen vinden die het heeft geprobeerd

[ Voor 3% gewijzigd door eddie4nl op 27-06-2013 16:03 ]

[Xudonax]

Zolang je daar een expander op zet *zou* het antwoord ja moeten zijn lijkt me :-)

[leonbong]

http://download.intel.com...121003_res2sv240_hwug.pdf
Wat jij wil kan deze expander. Echter sluit beide expanders direct aan op de controllers ipv doorlussen, levert meestal minder problemen op.

[Q]

Ik zie al 2 TB 3.5" schijven voor 76 euro. Qua prijs per GB ben je volgens mij veel efficiënter bezig als je 3.5" disks kiest. Weet je zeker dat je voor laptop schijfjes wilt gaan? Je moet wel aan een andere kast, groter + meer stroom verbruik.

[ Voor 96% gewijzigd door Q op 27-06-2013 23:34 ]

[DukeBox]

Ik vraag me af of de kosten nog opwegen tegen een kant en klare NAS met (zoals hier boven staat) normale HDD's ? Oh wacht.. eerste lijstje heb je al
edit: Dan nog steeds vraag ik me af waarom 2,5" ?
Buiten dat die laptop hdd's een vrij lagen mbtf hebben bij 24x7 gebruik.

[ Voor 20% gewijzigd door DukeBox op 27-06-2013 23:37 ]

[ItsValium]

Is het niet een optie om ipv expanders (die de boel alleen maar ingewikkelder maken) een LSI SAS 9201-16i HBA te gaan gebruiken? Desnoods de externe versie met een extra diskcabinet?

[Xudonax]

Ik ga primair voor 2.5" disks omdat deze een hogere datadichtheid kunnen behalen. In de ruimte voor 3 3.5" schijven (maximale capaciteit van 4TB per disk, dus 8TB in een RAIDZ array) stop ik 22 2.5" schijven (maximale capaciteit 1TB per disk, dus 16TB in 2 RAIDZ2 arrays). Er is volgens mijn onderzoek geen enkele SAS controller die dit direct aankan, zonder expander.

Plus dat dit enkel voor mij is, en de lagere MTBF kan ik accepteren. Daarnaast vind ik het een uitdaging om zoveel mogelijk storage in zo weinig mogelijk ruimte te krijgen.En een extra disk cabinet vind ik weer zo lelijk :-P Het is zonder meer goed mogelijk hoor, daar niet van, maar ik wil het lekker compact houden.

Ik heb bijvoorbeeld ook gekeken naar de Western Digital VelociRaptor schijven, maar deze zijn a) een stuk duurder, en b) bijna 2 maal zo hoog waardoor de datadichtheid enorm afneemt.

[DukeBox]

Xudonax schreef op vrijdag 28 juni 2013 @ 00:35:
Ik ga primair voor 2.5" disks omdat deze een hogere datadichtheid kunnen behalen. In de ruimte voor 3 3.5" schijven (maximale capaciteit van 4TB per disk, dus 8TB in een RAIDZ array) stop ik 22 2.5" schijven (maximale capaciteit 1TB per disk, dus 16TB in 2 RAIDZ2 arrays).

Neem aan dat je ze verticaal naast elkaar zet 2 rijen van 12 o.i.d. ? Ben wel heel benieuwd hoe dat er uitziet als het af is, mogelijk kan je dan een foto posten ? Hoe dan ook zal je zo lekker wat IOp/s hebben

[Xudonax]

Ik heb al wat met FreeCAD gespeeld, en daar kwam dit uit (hoop dat dit werkt, zijn FB links):

Vooraanzicht:


Half brak 3D aanzicht:


Ik moet dit alleen nog verder uitwerken zodat het een aantal losse platen worden die je in elkaar kan zetten. Om dit uit één blok aluminium te maken lijkt me namelijk een slecht plan En ik moet nog een PCB ervoor ontwerpen en en en

Het exacte idee is 2 stapels van 10 disks naast elkaar (8+2 in RAIDZ2), en de overgebleven twee "sloten" krijgen een caching SSD (L2ARC) welke direct op de SATA poorten van het moederbord worden aangesloten. Als ik reken met ~80MB/s per diskdan kom ik in een ideale situatie uit op 1600MByte/s lezen en 1440MByte/s schrijven Dat zal ik in werkelijkheid waarschijnlijk niet halen, maar als ik boven de 1GByte/s uitkom met lezen en schrijven op ZFS on Linux ben ik al heel erg tevreden

[ Voor 28% gewijzigd door Xudonax op 28-06-2013 09:01 ]

[ItsValium]

Als je een ander moederbordje kiest met min. 6 sata aansluiting en bij voorkeur 8 poortjes, samen met die 16 poorts LSI heb je 22 aansluitingen en klaar. Weg met de complexiteit van expanders

Uitdagingen zijn altijd leuk, maar kosten/baten worden dikwijls overboord gegooid, en zeker in het geval van storage zou ik dat net niet doen.

[Xudonax]

Mja, maar er zijn geen mini ITX borden met een 1155 socket en 6 beschikbare SATA poorten. Mijn huidige Intel moederbord heeft an sich wel 6 SATA poorten, maar slechts 4 daarvan zijn beschikbaar als SATA poort. Verder heb ik een mSATA/mPCIe slot en een eSATA.

Daarnaast wil ik die 22 schijven hebben, plus de 6 die ik al heb, plus nog eens 2 3.5" schijven voor een mirror setup