[SAS storage] Controller HBA, cache en aansluiting

[Kokkers]

Voor een upgrade van een aantal van onze storagenodes ben ik aan het kijken naar een nieuwe oplossing. Ik ben op zoek naar een kostenefficiente oplossing van minimaal 25TB netto en wil daarbij 'zoveel' mogelijk performance per node. De nodes zullen elk duizend plus concurrent connections van data moeten kunnen voorzien (online video).

Niet alleen voor performance maar ook voor data redundantie zullen er meerdere nodes gebruikt worden. Op een enkel uitgevoerde array van 25TB+ wil je in het kader van rebuild of restore tijd niet al teveel problemen

Voor oplossingen boven de 20TB kom je al snel uit op SAS gebaseerde oplossingen.
Met SATA2 schijven kun je met een verschrikkelijk goede prijs/GB ratio 'redelijk' eenvoudig SAS dozen gaan stapelen. Je hebt dan de keus om de RAID logica op je SAS HBA plaats te laten vinden in een JBOD config of de RAID logica door het SAS chassis af te laten handelen. In het kader van beheersbaarheid en flexibiliteit gaat mijn voorkeur uit naar een high end SAS Host adapter en daar de RAID configuratie af te laten handelen.

Ik weet dat Femme persoonlijk erg gecharmeerd is van Areca hardware en ik heb daar zelf ook erg goede ervaringen mee.

Ik heb zelf inmiddels een redelijk idee wat ik wil maar zit nog met een aantal vragen, daarom hieronder een schets van 2 mogelijke implementaties:





In situatie 1 zijn de SAS JBOD chassis aangesloten in daisy-chain configuratie.
In situatie 2 zijn de SAS JBOD chassis elke aangesloten op een eigen SFF-8088 connector op de SAS HBA.

De Areca 1680ix-12 heeft 1x externe SFF-8088 connector maar wel de mogelijkheid voor een 4GB cache module.
De Adaptec 5058 heeft 2x externe SFF-8088 connectoren maar ondersteunt maar max 512MB cache.
Beide zijn voorzien van de 1200Mhz Intel IOP348.

Een Areca ARC-1680x heeft ook 2 externe SFF-8088 aansluitingen maar heeft slechts 256MB fixed cache en een 800Mhz Intel IOP348 aan boord.

Het is lastig om in te schatten welke keuze het meeste netto performance op gaat leveren.
De bandbreedte van een SAS widelink via SFF-8088 is in theorie 4x3Gbit en dat zou in mijn situatie qua bandbreedte niet snel de bottleneck worden. Wel is het aantal te gebruiken SAS kanalen twee keer zo groot in opstelling 2. (8 i.t.t. 4 in opstelling 1).

Ga ik dit in de praktijk merken?
Is het lood om oud ijzer?
Leg ik de focus teveel op de onboard cache die wellicht geen performance boost zal kunnen geven?

Iemand die hier concrete (of andere) ideeën over heeft?
Budget voor een rackje vol met HP EVA of EMC goodies heb ik helaas niet.

Als laatste de vraag of tweakers.net interesse heeft om een dergelijke setup te gebruiken voor een benchmark sessie? In deze categorie is namelijk bijzonder weinig 'referentiemateriaal' te vinden.

Of is de ziel inmiddels verkocht aan HP met de lopende storage special

[Kokkers]

Een laatste subtiele kick...

Wellicht dat ik voor het benchmark aanbod even een PM zal versturen.

[ Voor 56% gewijzigd door Kokkers op 22-04-2008 18:28 ]

[Equator]

In overleg: Move naar Opslagmedia & I/O Controllers

[leonbong]

Het kan aan mij liggen maar de 1680i ondersteungt geen expanders. Dus die controller heeft 24 schijven als maximum.

De adaptec onderstuent wel expanders.
Kijk anders ook eens naar de LSI MegaRAID SAS 8480E die wel expanders onderstuent.

[UTMachine]

Kokkers schreef op dinsdag 22 april 2008 @ 18:28:
Een laatste subtiele kick...

Wellicht dat ik voor het benchmark aanbod even een PM zal versturen.

Welke budget heb je tot je beschikking? Mijn mening is bij dit soort TB opslag, dat je niet teveel "hobby" oplossing wilt hebben.

Heb je ook al gedacht over backups?

[Kokkers]

leonbong schreef op maandag 28 april 2008 @ 08:21:
Het kan aan mij liggen maar de 1680i ondersteungt geen expanders. Dus die controller heeft 24 schijven als maximum.

areca.com.tw
Areca high-performance ARC-1680 series PCIe to SAS RAID host controller can provide up to (128) SAS/SATA ll peripheral devices using SAS expanders.

leonbong schreef op maandag 28 april 2008 @ 08:21:
Kijk anders ook eens naar de LSI MegaRAID SAS 8480E die wel expanders onderstuent.

'Kijken' naar andere controllers kun je doen tot je een ons weegt .
Op papier zijn de specificaties allemaal prachtig. Wat ik wil voorkomen is dat ik een kat-in-de-zak koop net als mij in het verleden is gebeurd met bijvoorbeeld de 3Ware (9000/9500 serie) controllers. Snelle disken of een grote hoeveelheid ervan en de zooi is alsnog traag omdat de controller gewoon prut presteert. Ik zeg niet dat de LSI MegaRAID SAS 8480E een slechte controller is maar ik zou graag iemand tegenkomen die tevreden is met de prestaties.

Er lijkt in dit segment helaas weinig tot geen referentiemateriaal te zijn.

Om aan de backup eisen te voldoen worden er meerdere nodes ingezet waarbij onderlinge replicatie 'copy only is'. Tevens gaat aanwas van nieuwe data dagelijks naar een andere locatie naar een NAS doos met goedkope Ata over Ethernet blokken.

[iceheart]

afgezien van alle andere problemen hier: weet je heel zeker dat je in RAID5 wil gaan werken met zoveel disken? meen me toch te herinneren dat, hotspares nonwithstanding, dat geen slim plan is...

[leonbong]

Raid 60 is een betere keus.
PS Van de LSI 8408 de broer met alleen interne poorten zijn wel reviews beschikbaar.

Daarnaast denk ik dat LSI/Adaptec/Areca allemaal solide controllers levert in deze klasse.

[ta_chi79]

Er is ook nog zoiets als "SAS converters".
Dan kun je de 2 interne SAS aansluitingen van de Areca omzetten naar externe waardoor je in totaal 3 externe SAS aansluitingen hebt. Kun je hier niets mee?

Bijvoorbeeld http://www.computercablesource.com/sas-adapters-351.html

[Femme]

iceheart schreef op dinsdag 29 april 2008 @ 01:50:
afgezien van alle andere problemen hier: weet je heel zeker dat je in RAID5 wil gaan werken met zoveel disken? meen me toch te herinneren dat, hotspares nonwithstanding, dat geen slim plan is...

Hij is zo te zien van plan om raid 50 te gaan gebruiken dus dan is het risico al wat minder, hoewel ik met een dergelijk groot aantal schijven ook eerder voor raid 60 zou kiezen.

Wat betreft prestaties is Areca een veilige keuze. De nieuwe ARC-1680 met de 1,2GHz IOP348 zal erg goed presteren. Adaptec biedt volgens mijn ervaring toch wat minder prestaties, zeker als je een kaart met 512MB cache tegen een Areca met 1, 2 of 4GB cache zou vergelijken.

Een x4 wide-port heeft een bandbreedte van 1,2GB/s. De effectieve bandbreedte zal wat lager zijn maar toch denk ik niet dat je snel onder de bandbreedte komt van wat de processor kan verwerken. Op een Areca ARC-1680 zou je ook de interne connector naar buiten kunnen leggen via een kabeladapter. Dit zal je echter niet twee keer vier extra externe poorten opleveren, maar slechts vier. Als de externe connector wordt gebruikt functioneert één van beide interne connectors (met ieder vier poorten) niet meer. De controller heeft namelijk maar acht poorten.

[Kokkers]

Dank voor alle antwoorden.

Ik werk de laatste jaren met succes met oplossingen van Supermicro en deze heeft dan ook (via onze gebruikelijke leverancier) de voorkeur gekregen.

SuperMicro VS heeft na aandringen op korte termijn de 1TB Seagate Barracuda ST31000340NS 32MB en de Adaptec 5058 (dual external SFF-8088) op de supported hardware lijst weten te krijgen. Dit houdt in dat ze het in een test opstelling werkend hebben bevonden en achter deze oplossing staan. Voor mij een vereiste. Ik heb inmiddels 2 setjes in bestelling staan.

Gek genoeg komt de Areca hardware nergens voor op de supported hardwarelijst van Supermicro. SuperMicro gaat hier wel mee aan de slag, voor het project kan ik hier echter niet op wachten.
De veel gebruikte LSI SAS expanders in de externe chassis blijken soms minder compatibel dan ze horen te zijn. Jammer maar helaas, een 1680ix met 4GB cache had ook mijn voorkeur gehad.

RAID50 met hotspares of RAID60 zonder hotspares ben ik nog aan het overwegen.
RAID60 lijkt de meest logische keuze.

Ik heb in dit topic, aan het adres van Femme, aan [e-mail] en via het IRC kanaal een aanbod gedaan voor een Tweakers.net test sessie. Echter op geen van de ingangen reaktie.

Bij geen interesse natuurlijk even goede vrienden maar dan houd ik er rekening mee in mijn planning.