Raid 5 opstelling beste keuze?

[Ankh]

mogeh allemaal,

Ik heb een vraagje met betrekking tot een raid configuratie. Wat nou eigenlijk de beste keuze is.

Het gaat om een minimale raid config van 8 schijven van elk 500GB. Vriend van me moet voor z'n bedrijf een grote server/computer samenstellen. Waarbij hij dus continu een hoge doorvoer nodig heeft (voor tv stations enzo) en ook nog eens een x-aantal TB nodig heeft.

Nu hebben we zelf al een raid kaart: Promise Supertrack EX16350. 16 ports die raid 5 / 10 / 50 bijvoorbeeld ook ondersteund.

Maar nu wilt hij dus een zo groot mogelijk aantal TB met hoge snelheid en dan meteen ook de funtionaliteit van raid 5.

Wie-o-wie kan mij hierbij helpen?

[Gunner]

Wat voor machine komt het in? Een zelfbouw of van een merk?

Als je systeem je een beetje lief is, en het beschikbaarheid belangrijk is zou ik sowiezo een systeem van een merk als HP of Dell nemen met een onderhouds contract, maar dat is geheel persoonlijk

[msteggink]

Ik heb zelf 8x 250 GB en nog eens 8x250 GB. Ik vind het zelf vrij riskant, bij 2 schijven kapot, is je array weg. Beter kun je RAID6 proberen te draaien.

[SpamLame]

Ja dus dan zet je al die schijven in 1 RAID 5 array en je bent klaar.
Effectief heb je dan 3,5TB aan diskspace. Meeste ruimte en RAID 5 functionaliteit.

Puur performance nodig dan kun je beter striping doen, maar ja, 1 disk stuk dan is alles weg.
Als je controller niet de performance haalt die je nodig hebt, dan zal je of duurdere controller moeten kopen of richting SAN (MSA reeks van HP bv) moeten gaan.

Bij RAID 6 zoals msteggink aangeeft houd je 3TB over vanwege de extra parity informatie.
Moet je RAID controller ondersteunen en snel genoeg voor zijn.

[ Voor 63% gewijzigd door SpamLame op 18-08-2006 12:01 ]

[axis]

Ik moet 50 ton aan staal verplaatsen van Tilburg naar Rotterdam, en ik heb al het motorblok van een Lada vrachtauto gekocht.. Ik moet zo snel mogelijk alles over hebben.. Wie-o-wie kan mij hierbij helpen?

Ik maak maar een geintje natuurlijk, maar zo zie ik het wel.. Bel gewoon met een professional zoals Dell of HP, en laat ze een goede oplossing voorstellen.. Dit kost wel wat, maar je bedrijfskritieke processen moet je op waarde schatten..

Boeit het je allemaal niet, ga je naar de computerboer op de hoek of de buurjongen, en laat je een servertje bouwen..

Als je het zelf wilt doen, kijk ook eens naar barebones zoals Supermicro dozen.. Heb je een server met bijv 15 hotswap sata bays, hoef je alleen zelf raid controller in te prikken, CPU, en geheugen..

[Ankh]

axis schreef op vrijdag 18 augustus 2006 @ 11:59:
Ik moet 50 ton aan staal verplaatsen van Tilburg naar Rotterdam, en ik heb al het motorblok van een Lada vrachtauto gekocht.. Ik moet zo snel mogelijk alles over hebben.. Wie-o-wie kan mij hierbij helpen?

Ik maak maar een geintje natuurlijk, maar zo zie ik het wel.. Bel gewoon met een professional zoals Dell of HP, en laat ze een goede oplossing voorstellen.. Dit kost wel wat, maar je bedrijfskritieke processen moet je op waarde schatten..

Boeit het je allemaal niet, ga je naar de computerboer op de hoek of de buurjongen, en laat je een servertje bouwen..

Als je het zelf wilt doen, kijk ook eens naar barebones zoals Supermicro dozen.. Heb je een server met bijv 15 hotswap sata bays, hoef je alleen zelf raid controller in te prikken, CPU, en geheugen..

wat denk je wat we al gedaan hebben Grote opslag bedrijven al gevraagd voor hun offerte. Enkel nu komt het. Sommige bedrijven geven ons een Raid 0 opstelling en zulke rare dingen die ze er bij plaatsen. Dus we willen eerst nog wat professionele advies hebben

Maar goed dan zal raid 5 wel het makkelijkste zijn inderdaad.

Wanneer we geheugen (hdd) erbij willen plaatsen voor nog meer ruimte. Moeten we dan vanuit gaan dat alles dan opnieuw ingesteld moet worden? of kan je dan gewoon simpel toevoegen en de raid controller voegt het via 1 druk op de knop automatisch toe aan de array?

[maratropa]

zeg doe jij eens handleiding lezen! Want als die promise dat kan, wat vast wel zo is, dan staat het daar vast in.

Hoeveel doorvoer in MB per sec moet je hebben?

[SpamLame]

Ankh schreef op vrijdag 18 augustus 2006 @ 12:03:
[...]


wat denk je wat we al gedaan hebben Grote opslag bedrijven al gevraagd voor hun offerte. Enkel nu komt het. Sommige bedrijven geven ons een Raid 0 opstelling en zulke rare dingen die ze er bij plaatsen. Dus we willen eerst nog wat professionele advies hebben

Maar goed dan zal raid 5 wel het makkelijkste zijn inderdaad.

Wanneer we geheugen (hdd) erbij willen plaatsen voor nog meer ruimte. Moeten we dan vanuit gaan dat alles dan opnieuw ingesteld moet worden? of kan je dan gewoon simpel toevoegen en de raid controller voegt het via 1 druk op de knop automatisch toe aan de array?

Een goede controller kan een extra schijf in de array bijplaatsen en de LUN laten doorgroeien.
Hoe je OS ermee omgaat is ook van belang. Een LVM systeem (Linux of HPUX etc) kan dat online, Bij Windows moet er even niemand gebruik van de disk maken VDS service starten en met diskpart extenden.

[_Dune_]

Wanneer je met 8 schijven wilt starten en nog wilt kunnen uitbreiden dan zou ik een 12 of 16 poorts controller nemen welke het volgende ondersteund: Online capacity expansion and RAID level migration to add capacity as needed. Met een dergelijke controller kun je rustig een extra schijf toevoegen aan je RAID5 array zonder dat het systeem bijvoorbeeld offline hoeft. Dan moet je natuurlijk wel hotswapable schijven gebruiken in de daarvoor bedoelde cases.

Kijk ook eens naar de Areca kaarten zij ondersteunen wat jij wil en hebben ook 12 en 16 poorts kaarten, daarnaast is het geheugen van deze kaarten makkelijk uit te breiden door het dimm slot wat op de kaart zelf zit. Tevens ondersteunen ze BBU's voor het geval je systeem zonder spanning komt te zitten.

Helaas heb ik zelf geen praktijk ervaring met deze kaarten, maar wat ik er van gelezen heb is eigenlijk alleen positief. Ze bieden een zeer goede performance, dat kun je ook terug vinden in de reviews hier op GOT/Tweakers.net.

[Snow_King]

Daarnaast zou ik nooit voor een Promise kaart kiezen, neem dan een Areca om een beetje veilig te zitten.


EDIT: ^^^ with stupid ^^^

[ Voor 12% gewijzigd door Snow_King op 18-08-2006 12:12 ]

[axis]

Ankh schreef op vrijdag 18 augustus 2006 @ 12:03:
[...]
wat denk je wat we al gedaan hebben Grote opslag bedrijven al gevraagd voor hun offerte. Enkel nu komt het. Sommige bedrijven geven ons een Raid 0 opstelling en zulke rare dingen die ze er bij plaatsen. Dus we willen eerst nog wat professionele advies hebben

Dan moet je misschien aan ze vragen waarom ze dat voorstellen.. In elke situatie kan het weer anders zijn.. soms is RAID0 de beste oplossing, soms RAID5, RAID10, etc.. allemaal voor- en nadelen..

Maar goed dan zal raid 5 wel het makkelijkste zijn inderdaad.

Wat is hiervoor je argumentatie? Je moet samen met die vriend van je beslissen WAAROM je kiest voor een RAID level.. Wij kunnen alleen de voor- en nadelen toelichten, jij moet beslissingen nemen..

Je zegt niets over wat voor data het is, en of je uberhaupt redundantie wilt.. Mijn glazen bol is stuk..

[kroegtijger]

Ik zou gaan voor Raid 10, en bij de financiele boer geld lospeuteren voor meer disks.... Anders blijf je in de toekomst maar aanmodderen zonder echt een goede oplossing te hebben waar je effe mee vooruit kan. Prop ook je schijven niet tot max vol, maar zorg dat je 25 tot 50% erop vrij houd.... dat levert je meestal de hoogste snelheid op

[Femme]

Hier wat informatie over de prestaties van SATA RAID-controllers:

reviews: Mega roundup van Serial ATA RAID 5-adapters
reviews: Areca ARC-1280 preview en mini SATA RAID-vergelijking

[Brupje]

raid 10 is erg schijfruimte vereisend. Als dat je belangrijkste punt is zou ik toch voor raid 5 gaan.

Misschien wel een hot-spare erbij voor auto-rebuild.

[Shaggy_NL]

Is misschien de Areca ARC-1280 met 24 S-ATA poortjes wat (zie de test van pas). En deze in combinatie met de WesternDigital RE2's van 500GB.

Dan heb je altijd mooie kans op uitbreiding, want dit zal hoogstwaarschijnlijk toch nodig zijn, hoe groot je je array nu ook maakt. (Ga maar na wat we "veel" vonden zo'n 3 à 4 jaar geleden )

[VisionMaster]

Wij hebben hier 3 setups van 16x 500GB disken voor wat data opslag.

We hebben veel Dell, maar ivm met ons Linux gebruik graag een hardware RAID controller ipv die snelle software dingen van Dell. Die hebben we ook en is in ons oog net zo goed als een software RAID set.

Maar goed, wat wij hebben hiero is een RAID6 setup over alle 16 disken en dan via de logical volume manager die in de kast zelf zit zo geconfigureerd dat er 4 partities bestaan. Iedere partitie is aan 1 van de twee SCSI interface toegewezen (twee U320 SCSI aansluitingen). Dat scheelt in de overhead en de linux versie die wij gebruiken kan geen blockdevices groter dan 2TB aansturen. We moeten nog over naar RH4.x daarvoor.

Ow en van die 16 disken is er 1 hotspare.

[kroegtijger]

Brupje schreef op vrijdag 18 augustus 2006 @ 12:17:
raid 10 is erg schijfruimte vereisend. Als dat je belangrijkste punt is zou ik toch voor raid 5 gaan.

Misschien wel een hot-spare erbij voor auto-rebuild.

klopt, maar als je t snel en betrouwbaar wil hebben is imho Raid10 the only way to go. Dan liever wat meer blinkende euro'tjes uitgeven voor een goed systeem, of stel je eisen naar beneden toe bij

[Femme]

RAID 6 is ook betrouwbaar en biedt met een groot aantal schijven een betere read performance. Voor sequentiële toegangspatronen is ook de write performance (in theorie) beter. Met zestien schijven die elk 70MB/s doen kun je met RAID 6 in theorie 980MB/s lezen of schrijven en met RAID 10 maar 560MB/s.

In de praktijk hangt dit allemaal nogal af van de RAID-controller die gebruikt wordt. Er is geen enkele controller die perfect schaalt met zoveel harde schijven. De prestatieverschillen tussen de diverse RAID-controllers zijn erg groot. Een Areca presteert echter erg goed in RAID 5 en RAID 6. Vooral de nieuwe serie met de IOP342 processor is zeer geschikt voor grote arrays die hoge doorvoorsnelheden voor hun kiezen krijgen.

[VisionMaster]

Het scheelt dat wij geen database op onze RAID sets hebben, maar simpelweg grote files. Van een paar meg tot vele gigabytes. Dus gelukkig kan je dan wel de rauwe doorvoersnelheid beter bereiken en in dit geval via twee SCSI porten bij ons.
Een zeer flexibele oplossing voor je systeem.

offtopic:
Maar ja... het wordt straks een grotere uitdaging binnenshuis als we hier opschalen naar een multi-Petabyte disk faciliteit.

[SpamLame]

VisionMaster schreef op vrijdag 18 augustus 2006 @ 15:44:
Het scheelt dat wij geen database op onze RAID sets hebben, maar simpelweg grote files. Van een paar meg tot vele gigabytes. Dus gelukkig kan je dan wel de rauwe doorvoersnelheid beter bereiken en in dit geval via twee SCSI porten bij ons.
Een zeer flexibele oplossing voor je systeem.

offtopic:
Maar ja... het wordt straks een grotere uitdaging binnenshuis als we hier opschalen naar een multi-Petabyte disk faciliteit.

OT: Dat wordt voor jou een EVA of Symmetrix Storage System oid

[VisionMaster]

SpamLame schreef op vrijdag 18 augustus 2006 @ 16:46:
[...]
OT: Dat wordt voor jou een EVA of Symmetrix Storage System oid

Bedankt voor de tips! Ik zal die effe doorsturen. Ja, ik denk dat we zulke systemen nodig zullen hebben ivm: http://www.nikhef.nl/grid/BIG/

Opzich zullen we het wel opdelen in velen TB's per locatie. Want dit gaat om een nationaal e-Science Grid infrastructuur. Dus het idee is dat er veel systemen op diverse locaties komen te staan en verbonden worden met Grid tools. Waarvan wij in Amsterdam (NIKHEF en SARA) veel zullen huisvesten, waarschijnlijk met een hoop losse systemen. http://www.nikhef.nl/grid/

Slight back on topic:
De komende tijd moeten we het dus doen met van die losse storage kasten van 3U.

We hebben een semi-zelfsamenstel ding ooit gekocht. En die werkte prima. 7 disken op de linker SCSI kabel, 7 disken op de rechter (2 hotspare per RAID-5). Daarna nog een paar van gekocht. Daarna een Dell rack gekocht. Met 4TB netto in RAID-5.
Een detail met die was dat je het naar je wens kan configureren, maar in Linux kon je nog iedere RAID-5 disk als apart device in je systeem zien. Dus, als ik me niet vergis kwam het neer op host-based RAID. Erg leuk, maar niet zo dynamix als onze drie nieuwe RAID bakken met 16 disken.
Met die kan je dus aangeven hoe de devices moeten werken, dus wat voor RAID config je neemt en welke hot-spare. (1x RAID-6 in dit geval). Op dat rack kon je via het display (of comport console) aangeven dat je partities wilde maken van je RAID set.
Wij hebben daar dan 4 partities van gemaakt, omdat we onder de 2TB uitmoesten komen ivm Red Hat 3. We moeten nog eens over naar RH4 die wel iig 4TB ondersteunt per blockdevice.
Ow en je moest dus aangeven via welke van de 2 SCSI interfaces de partities kunnen worden aangesproken. In je linux device lijst zien we dus nu 4 blockdevices aan de machine hangen. In je OS merk je dus niet dat je wellicht je configuratie iets wijzigt als je dat wilt.

[SpamLame]

VisionMaster schreef op vrijdag 18 augustus 2006 @ 20:13:
[...]

Bedankt voor de tips! Ik zal die effe doorsturen. Ja, ik denk dat we zulke systemen nodig zullen hebben ivm: http://www.nikhef.nl/grid/BIG/

Opzich zullen we het wel opdelen in velen TB's per locatie. Want dit gaat om een nationaal e-Science Grid infrastructuur. Dus het idee is dat er veel systemen op diverse locaties komen te staan en verbonden worden met Grid tools. Waarvan wij in Amsterdam (NIKHEF en SARA) veel zullen huisvesten, waarschijnlijk met een hoop losse systemen. http://www.nikhef.nl/grid/

Slight back on topic:
De komende tijd moeten we het dus doen met van die losse storage kasten van 3U.

We hebben een semi-zelfsamenstel ding ooit gekocht. En die werkte prima. 7 disken op de linker SCSI kabel, 7 disken op de rechter (2 hotspare per RAID-5). Daarna nog een paar van gekocht. Daarna een Dell rack gekocht. Met 4TB netto in RAID-5.
Een detail met die was dat je het naar je wens kan configureren, maar in Linux kon je nog iedere RAID-5 disk als apart device in je systeem zien. Dus, als ik me niet vergis kwam het neer op host-based RAID. Erg leuk, maar niet zo dynamix als onze drie nieuwe RAID bakken met 16 disken.
Met die kan je dus aangeven hoe de devices moeten werken, dus wat voor RAID config je neemt en welke hot-spare. (1x RAID-6 in dit geval). Op dat rack kon je via het display (of comport console) aangeven dat je partities wilde maken van je RAID set.
Wij hebben daar dan 4 partities van gemaakt, omdat we onder de 2TB uitmoesten komen ivm Red Hat 3. We moeten nog eens over naar RH4 die wel iig 4TB ondersteunt per blockdevice.
Ow en je moest dus aangeven via welke van de 2 SCSI interfaces de partities kunnen worden aangesproken. In je linux device lijst zien we dus nu 4 blockdevices aan de machine hangen. In je OS merk je dus niet dat je wellicht je configuratie iets wijzigt als je dat wilt.

Een beetje goede storage bak zal de aangemaakte LUN's kunnen aanbieden via 2 paden (al dan niet tegelijk). In linux zie je dat terug als elke LUN die 2 maal in ioscan voorkomt. Mbv LVM kun je dan het OS inlichten dat er 2 paden zijn (alternate link, optie die je opgeeft bij een pvcreate commando), heb je hogere beschikbaarheid.

[VisionMaster]

SpamLame schreef op vrijdag 18 augustus 2006 @ 22:28:
[...]
Een beetje goede storage bak zal de aangemaakte LUN's kunnen aanbieden via 2 paden (al dan niet tegelijk). In linux zie je dat terug als elke LUN die 2 maal in ioscan voorkomt. Mbv LVM kun je dan het OS inlichten dat er 2 paden zijn (alternate link, optie die je opgeeft bij een pvcreate commando), heb je hogere beschikbaarheid.

Ow cool, zal ik eens vragen of wij dat ook hebben. Dus als ik het goed begrijp is de LUN dus configeerbaar om via beide interfaces aangesproken te worden. Ik denk niet dat het vaak voor zal komen dat er iemand daar een SCSI kabel uit het rack zal halen, maar behalve de cool & abstract factor, wat is het nut ervan? Kan je een toepassing noemen waarvoor iemand dat moet kunnen?

[DeBolle]

VisionMaster schreef op zondag 20 augustus 2006 @ 15:04:
[...]

Kan je een toepassing noemen waarvoor iemand dat moet kunnen?

Clusternodes, loadbalancing en redundancy.
Enfin, als je naar externe doosjes gaat kijken zou je ook een blik kunnen werpen op producten van o.a. http://www.dothill.com/products/storage.htm of http://www.transtec.de/D/D/products/Storage.html - beiden zijn in Nederland gesupport (ook 24/7) door een Nederlandse vestiging. Met beiden heb ik nu anderhalf jaar ervaring met de FC en SATA doosjes, erg goede prijs/kwaliteit verhouding. Niet vergelijkbaar met IBM/EMC/NetApp enz. natuurlijk, da's een prijsklasse hoger.