Raidlevel en iscsi storage oplossing

[nasdude]

Voor ons netwerk hebben wij een Dell Equallogic, via iscsi heb ik 3 poweredge's draaien met daarop 17 guests.

Onze (storage) test omgeving bestaat uit een oude poweredge met 4 sata harddisks in een raid 10 opstelling (waarbij disk1 en 2 een mirror(a) zijn, en disk 3 en 4 een mirror(b) zijn, en vervolgens a en b striping doen). Op de server draait debian met iscsitarget. Hierop zitten 4 esx servers (esxi free) met ongeveer 20 guests. alle 20 servers staan wel aan, maar er zijn er maar enkele productief bezig.. de software die op de guests staan doet niet al te veel io, maar snelheid is wel belangrijk bij bijvoorbeeld een nieuwe installatie.

De test data server is inmiddels 5 jaar oud en dient vervangen te worden... we kunnen hier alleen geen grote bedragen aan uit geven (lees: een 2de Equallogic) en de data draaien vanaf de Equallogic is ook geen optie.

Overigens hangen alle servers in een rack in een datacenter.

Nu heb ik 2 mogelijkheden

a. een dedicated storage oplossing
b. een nieuwe dell, ubuntu en iscsitarget (zoals we het nu gebruiken)


Maar wat zou een wijze beslissing zijn:

opties voor a:
- Thecus N8800Pro http://www.thecus.com/product.php?PROD_ID=28
- QNAP TS-859U-RP+ http://www.qnap.com/pro_detail_feature.asp?p_id=185
met een set disks er in komen beide oplossingen op ongeveer 2500euro

optie voor b:
- Dell R510 http://www.dell.com/nl/bedrijven/p/poweredge-r510/pd
perc h700/512 met disks er in komt deze server op ongeveer 3000euro

In beide oplossingen passen 8 satadisks, effectief hebben we maximaal 4tb storage nodig op deze test bak

Er zijn nog een aantal zaken waar ik mee worstel.

Linux + Iscsitarget heeft zichzelf voor ons bewezen (als je het heel plat pakt is optie a ook gewoon linux met iscsitarget software) zou optie a beter zijn dan een 'zelfbouw' server?

Welk raid level is aan te raden (altijd 1 hot-spare aanwezig)? met performance en dat alles remote staat in het achterhoofd

Mijn oog is trouwens gevallen op de Western Digital WD1003FBYX disk, 1TB .. die gebruik ik bij het maken van mijn 'berekeningen'

Raid0: no-go
Raid1: Safe but slow
Raid5: 8 disks raid5, 1 parity disk, 1HS, 6 disks effectief te gebruiken maar ik hoor hier de laatste tijd steeds meer nee-stemmers over (6tb storage size)
Raid6: 7 disks raid6, 2 disks parity, 1HS, 5 disks effectief te gebruiken ... ervaringen iemand? performance? (5tb storage size)
Raid10: 7 disks in het systeem, 1HS, 6 disks effectief te gebruiken (3+3).. zover ik weet is dit een snelle, aardig veilige oplossing? (3tb storage size)

of toch de HS laten vallen en raid50?
Raid50: 4x disks in raid5-array 1, 4x disks in raid5-array 2, en daar raid0 overheen. (6tb storage)

of met een grotere disk (1.5tb) een raid51 bouwen?
Raid51: 4x disks in raid5-array 1, 4x disks in raid5-array 2, en daar raid1 overheen (4,5tb storage)
Wat zou de beste keus zijn qua raid-level?

[Voor 5% gewijzigd door nasdude op 22-06-2011 20:16]

[Freezerator]

Als je nu al goede ervaringen hebt met je Linux + iscsi target zou ik dat blijven gebruiken. De Dell hardware en raidcontroller is gewoon een goede combo. Waarom kies je bij de raid10 maar 7 disks? Waarom niet je array builden met 7 disks en nog 1 voor de HS. DIt is gewoon mogelijk met raid 10. Het is niet dat je altijd een even aantal moet hebben voor raid 10, maar je moet gewoon minimaal 4 disks hebben. In z'n array is meer disks meer I/O.

[nasdude]

@Freezerator

tijdens de bouw van de huidige test-storage had ik dit stukje net gelezen..

http://www.zdnet.com/blog...-the-cadillac-of-raid/131

here is an important difference between RAID 1+0 and RAID 0+1 that not everyone appreciates. In RAID 1+0, you first mirror the disks, and then you lay the stripes on top of the mirrored disks. In RAID 0+1 you first stripe and then mirror. Seems like it should be commutative, but it isn’t. Here’s why.

Let’s say you have 6 disks, named 1, 2, 3, a, b and c. So you mirror 1+a, 2+b, 3+c to create three virtual disks 1′, 2′ and 3′. Then you stripe across 1′, 2′ and 3′ to create your RAID 1+0 array. Each of your mirrored pairs is a virtual disk, so you can lose one member of each pair and the stripe still works.

The cool thing about this is that you could lose as many as three drives and still get your data. You could lose drives 1, b and 3 and still the RAID would soldier on. [Update: of course, if you lose both drives in a pair, your data is toast - just as if you lost a drive in a RAID 0 configuration.]

In contrast, if you striped 1, 2 and 3 first and then striped a, b and c, and *then* mirrored the two stripes (RAID 0+1). You are more vulnerable to failures. It is the difference between three mirrors (in this example) and two. Lose drive 1 and drive c and you are SOL. That’s when you’ll wish you’d paid attention to whatsisname in Storage Bits. But it will be too late.

Daarom dus eerst mirror en dan pas striping,
(1+2) (3+4) (5+6)

[Freezerator]

My bad, dit is alleen mogelijk met de software raid: Linux MD RAID10 (RAID 10) implements a general RAID driver that defaults to a standard RAID 1 with 2 drives, and a standard RAID 1+0 with four drives, but can have any number of drives, including odd numbers. MD RAID 10 can run striped and mirrored, even with only two drives with the f2 layout (mirroring with striped reads, giving the read performance of RAID 0; normal Linux software RAID 1 does not stripe reads, but can read in parallel).[6][8][9]

Ik draai zelf mijn array's in een even aantal, dus heb het nog niet in de praktijk getest

[nasdude]

het is je vergeven

alhoewel software raid me ook nog wel een beetje lonkt, een goede controller zonder raid er op.

in het geval van hardware falen de schijven in een andere machine en draaien met die bak, in het geval van een fysieke raid controller moet je weer exact dezelfde raid controller hebben om alles weer draaiend te krijgen.

[u_nix_we_all]

Als je maar 1 RAID-set maakt, is een Hot Spare eigenlijk niet handig, die kun je dan beter direct voor extra parity inzetten. Bijv een RAID6 heeft een veel hogere MTTDL dan een RAID5+HS, en netto evenveel data.

[real-doc]

Je berekening voor de RAID10 set klopt niet, daarmee houd je namelijk netto meer 3T over, in plaats van 6T.

Voor wat betreft RAID5 is dit artikel erg interessant. Als je een beetje een grote array hebt (12T+), betekent het kort samengevat dat de kans dat je bij een disk failure kan recoveren, nihil is.

Ik zou voor RAID6 gaan, of mocht je meer performance willen, toch voor RAID10, ondanks het feit dat je dan netto relatief weinig over houdt.

[SpamLame]

real-doc schreef op woensdag 22 juni 2011 @ 11:24:
Je berekening voor de RAID10 set klopt niet, daarmee houd je namelijk netto meer 3T over, in plaats van 6T.

Voor wat betreft RAID5 is dit artikel erg interessant. Als je een beetje een grote array hebt (12T+), betekent het kort samengevat dat de kans dat je bij een disk failure kan recoveren, nihil is.

Ik zou voor RAID6 gaan, of mocht je meer performance willen, toch voor RAID10, ondanks het feit dat je dan netto relatief weinig over houdt.

Over RAID6 is door diezelfde schrijver ook een artikel verschenen. >> http://www.zdnet.com/blog...n-2019/805?tag=rbxccnbzd1
Mss ook intressant om te lezen

[nasdude]

@real-doc, thanks, aangepast .. ik bedoelde eigenlijk ook 3tb

raid5 is in iedergeval afgevallen, ik denk dat het een zelfbouw (als in, dell met 7 disks, linux en iscsitarget) gaat worden met raid10, schijven kosten niet zo veel meer tegenwoordig, en 3tb (we gebruiken nu 1tb) is ruim voldoende.

[Voor 8% gewijzigd door nasdude op 22-06-2011 20:20]

[analog_]

Als dat waar zou zijn, zouden we allang hopen gebruikers met kapotte array's zien. Wiskunde vertaalt zich niet altijd naar praktijk.

[CAPSLOCK2000]

Met zo'n kant en klaar NAS ben je snel klaar, neerzetten en draaien.
Zelfbouw kost meer werk maar zal ook veel meer performance kunnen leveren. Aangezien je er al bekend mee bent denk ik dat de hoeveelheid extra werk wel mee zal vallen. Zo'n volledige server geeft je ook meer vrijheid om in de toekomst nog eens wat anders te doen (bv een hardware iSCSI kaart of een andere RAID controller).

Je schrijft dat het om een testserver gaat. Dat betekent voor mij dat de data die er op staat redelijk waardeloos is en best een dagen gemist kan worden. Ik zou dus niet te moelijk doen met RAID. Ga voor raid5 (iets sneller) of raid6-zonder-HS (iets veiliger). Al die andere vind ik veel te verspillend voor een test-omgeving. (Uiteraard heb je wel backups).

analog_ schreef op donderdag 23 juni 2011 @ 15:53:
Als dat waar zou zijn, zouden we allang hopen gebruikers met kapotte array's zien. Wiskunde vertaalt zich niet altijd naar praktijk.

Hoeveel mensen hebben thuis een RAID5 met 10 schijven? Zo veel zullen dat er niet zijn. Voordat er iets fout kan gaan moet eerst de eerste disk helemaal uitvallen.

Grote RAIDs zie je eigenlijk alleen in het bedrijfsleven. Voor mijn gevoel heb je het als consument ook niet meer nodig. Op een 2TB schijf kun je honderden films kwijt, hoeveel data heb je nog meer nodig?

In het bedrijfsleven weet men hoe het zit en wordt er rekening mee gehouden. Er is helemaal niemand die 50 schijven in raid5 zet. Als je zo iets wil dan worden er allerlei truuks uitgehaald met kleinere groepjes schijven. Daarnaast gebruikt men schijven met een hogere betrouwbaarheid.

[Voor 37% gewijzigd door CAPSLOCK2000 op 23-06-2011 19:23]

[erwinb]

check ook een een NetApp FAS2020. Deze zijn voor een schijt prijs te koop. Dan heb je voor een vergelijkbaar bedrach een systeem wat super zal performen,

[nasdude]

erwinb schreef op woensdag 06 juli 2011 @ 20:20:
check ook een een NetApp FAS2020. Deze zijn voor een schijt prijs te koop. Dan heb je voor een vergelijkbaar bedrach een systeem wat super zal performen,

10k+ vind ik nou niet echt een schijtbedrag?

in vergelijking met de 4k die het test systeem anders zou kosten

[erwinb]

een netapp is al te koop vanaf 6.5K, inc. 3 jaar support.
Ik weet even niet wat de specs zijn die je zoekt.

[nasdude]

erwinb schreef op maandag 11 juli 2011 @ 23:55:
een netapp is al te koop vanaf 6.5K, inc. 3 jaar support.
Ik weet even niet wat de specs zijn die je zoekt.

komt al beter in de buurt... heb je een contact adresje voor me?

http://tweakers.net/price...VycrYQAekLjnVNzNPyUrXsBYA

[erwinb]

ik heb mijn adres in jouw profiel geplaatst.