[SAN] Throughput MSA1000

[Sa1]

Sinds kort heeft m'n baas een MSA1000 gekocht en een MSA1500..

Persoonlijk heb ik hier niet zo heel veel verstand van (helaas, maar komt vanzelf wel), alleen vind ik de throughput ergggg laag...

we hebben een Raid 5 van 146GB SCSI (15.000rpm) er aan hangen en aan de andere controller 5x 500gb sata disks. Op de Raid 5 van scsi schijven krijgen we maar 20MB/sec throughput..

Volgens m'n baas is dit redelijk normaal, alleen k vind het ergggg traag, zeker als je nagaat wat het apparaat gekost heeft en vergelijk met m'n HP laptop met z'n 5400rpm schijf die zelf al 40mb/sec doet..

Maak ik nu zo'n brute denkfout of is 20MB/sec gewoon erg langzaam?

edit: overigens erg lastig om een review van dit apparaat te vinden.

[ Voor 5% gewijzigd door Sa1 op 08-02-2007 16:39 ]

[seq_uence]

Eerste google hit:

http://www.processor.com/...542/36p42/36p42.asp&guid=

The StorageWorks Modular SAN Array 1000 (MSA1000) from HP provides low-cost, scalable, high-performance, 2Gb Fibre Channel storage for the small to mid-sized network environment. Starting with a single controller, the MSA1000 handles over 30,000 I/O operations per second with data throughput to 200MBps


20MB lijkt me inderdaad erg laag, hoe heb je dit gemeten ?

[Rolfie]

laatste firmwares er op gezet van op je server en je MSA?
laatse drivers van HP gebruikt oa van je HBA?

Welke windows versie gebuik je heb je bv de storeport driver al naar de laatse versie geupgrade?
Uit hoeveel schijven bestaat je array?
Hoe heb je heb je de partities aangemaak met diskpart zodat ze netjes geallined zijn?

Hoe test je de snelheid?

[technopeuter]

zoek maar eens op MA500 hiero. probleem had ik nl. ook
die van ons deed 75Mb/s en dat von ik traag: HP dus niet...

[Asteroid9]

Er staat hier een IBM ESS die zo ongeveer 40Mb/s doet, behoorlijk treurig aangezien dat ding nog wel een stukje meer kost dan de gemiddelde storage oplossing!
Dit jaar gaan we naar een vervanging kijken, en dan gaan we voor de aanschaf maar eens kritisch benchmarken!

[CyBeR]

Sa1 schreef op donderdag 08 februari 2007 @ 16:39:


Maak ik nu zo'n brute denkfout of is 20MB/sec gewoon erg langzaam?

Daar gaat iets mis want dat is idd erg langzaam. Een zo'n schijf kan op zichzelf al meer throughput genereren.

Dit zijn vier 146GB SAS (10Krpm 2.5") schijfjes in RAID 6 (niet eens RAID 5 maar nog een niveau hoger) in een DL360 op een SmartArray P400 controller:

Timing buffered disk reads: 260 MB in 3.00 seconds = 86.58 MB/sec

Dus 146GB 15Krpm in RAID 5 op ik neem aan 3.5" moet daar iig makkelijk overheen kunnen, zelfs als 't er maar 3 zijn.

[Sa1]

Rolfie schreef op donderdag 08 februari 2007 @ 20:42:
laatste firmwares er op gezet van op je server en je MSA?
laatse drivers van HP gebruikt oa van je HBA?

Welke windows versie gebuik je heb je bv de storeport driver al naar de laatse versie geupgrade?
Uit hoeveel schijven bestaat je array?
Hoe heb je heb je de partities aangemaak met diskpart zodat ze netjes geallined zijn?

Hoe test je de snelheid?

Die 20MB/sec heb ik gemeten met proggie hdtune, niet meest betrouwbare ofzo, maar was meer voor een globaal idee (wij maken backups op deze san, duurt achtelijk lang dus dacht laat ik is zo'n proggie der overheen gooien).

We maken nu gebruik van rom versi 5.10 (6.68 werkte helemaal niet, maar dat klopt volgens HP). Laatste drivers van HP idd voor de hba..

we gebruiken windows 2003 r2 std (ook getest op zelfde windows maar dan x64), de scsi arrey bestaat uit 3 schijven, dit is 1 partitie in windows...

[Rolfie]

Maar heb je de laatste storport driver ook geinstalleerd staan?

An updated Storport storage driver (version 5.2.3790.2630) is available for Windows Server 2003

Kijk hier ook eens naar [google=diskpar] (Diskpart is de nieuwere versie)

[Jazzy]

Ik heb hier ook problemen mee gehad, in mijn geval had het te maken met de driver van de Emulex HBA. Planning Exchange server

[seq_uence]

CyBeR schreef op vrijdag 09 februari 2007 @ 01:51:
[...]


Daar gaat iets mis want dat is idd erg langzaam. Een zo'n schijf kan op zichzelf al meer throughput genereren.

Dit zijn vier 146GB SAS (10Krpm 2.5") schijfjes in RAID 6 (niet eens RAID 5 maar nog een niveau hoger) in een DL360 op een SmartArray P400 controller:

Timing buffered disk reads: 260 MB in 3.00 seconds = 86.58 MB/sec

Dus 146GB 15Krpm in RAID 5 op ik neem aan 3.5" moet daar iig makkelijk overheen kunnen, zelfs als 't er maar 3 zijn.

RAID6 maakt gebruik van 2 parity stripes waardoor je 2 disk failures kunt hebben zonder data te verliezen. De overhead is groter dan bij RAID5 dus is de laatste zowiezo sneller bij gebruik van dezelfde disks en dezelfde controller.

Maar waarom RAID6 in een 4 disk config ???


Edit: Ik vroeg me ook nog af hoe je 4 disks in een 360 krijgt, het gaat zeker om interne SATA schijfjes ?

[ Voor 6% gewijzigd door seq_uence op 10-02-2007 21:28 ]

[CyBeR]

seq_uence schreef op zaterdag 10 februari 2007 @ 21:19:
[...]


RAID6 maakt gebruik van 2 parity stripes waardoor je 2 disk failures kunt hebben zonder data te verliezen. De overhead is groter dan bij RAID5 dus is de laatste zowiezo sneller bij gebruik van dezelfde disks in dezelfde SAN.

Daarom zou zijn MSA dus sneller moeten gaan ja Dat bedoelde ik ook.

Maar waarom RAID6 in een 4 disk config ???

Meest veilige optie voor een mail server, waarbij 't belangrijk is dat 't ding blijft werken en geen data kwijt raakt. RAID 1+0 vertrouw ik niet: als de verkeerde twee schijven eruit springen ben je alsnog fucked.

Edit: Ik vroeg me ook nog af hoe je 4 disks in een 360 krijgt, het gaat zeker om interne SATA schijfjes ?

Nee, 4x SAS schijven. In de nieuwste DL360 kunnen maximaal 6 2.5" schijfjes (Standaard max. 4, maar er is ruimte voor 6 met een extra kabeltje en de juiste controller.)

[ Voor 4% gewijzigd door CyBeR op 10-02-2007 21:31 ]

[Jazzy]

CyBeR schreef op zaterdag 10 februari 2007 @ 21:29:
Meest veilige optie voor een mail server, waarbij 't belangrijk is dat 't ding blijft werken en geen data kwijt raakt. RAID 1+0 vertrouw ik niet: als de verkeerde twee schijven eruit springen ben je alsnog fucked.

Meestal is performance de belangrijkste factor bij een mailserver, naast redundancy. Persoonlijk zou ik ook eerder RAID 1+0 inzetten.

[CyBeR]

Jazzy schreef op zaterdag 10 februari 2007 @ 22:42:
[...]
Meestal is performance de belangrijkste factor bij een mailserver, naast redundancy. Persoonlijk zou ik ook eerder RAID 1+0 inzetten.

Tsja, 1+0 durf ik gewoon niet aan. Ik wil dat er twee (de helft) schijven uit kunnen vallen en dat ik er dan gewoon twee nieuwe inprik en dat 't dan klaar is. Met 1+0 kan dat alleen in het geval dat die schijven niet toevallig dezelfde data bevatten. En gezien dat e-mail toch als iets redelijk belangrijks gezien wordt tegenwoordig voor een bedrijf, en ik er nog altijd 80+MB/sec vanaf kan halen is de keus voor mij duidelijk.

[Jazzy]

In de praktijk is RAID1+0 gewoon geaccepteerd doordat het zowel performance als redundancy levert. Als je zeker wilt zijn zorg je dat je de spare op de plank hebt liggen en niet pas gaat bestellen als er al een disk kapot is. Zo heb je de defecte disk vervangen in enkele minuten tot enkele uren na de storing en het moet al gek gaan als er een tweede disk defect gaat in diezelfde korte periode.

Maar goed, andere configuraties kunnen natuurlijk ook. Helaas blijft iedere keuze een compromis tussen schijfruimte, performance, redundancy en kosten dus er is nooit een bepaalde standaardoplossing.

[mabarto]

RAID-5 = 2 disken kapot = einde verhaal
RAID-10 = 2 disken kapot = afhankelijk welke disken, array hoeft niet kapot te zijn.

Throughput van RAID-10 is vele malen hoger dan RAID-5 (vooral in write acties).

Hoe groter de RAID-5 array van disken, hoe groter de kans is dat twee disken kapot kunnen gaan (terwijl de eerste defecte nog niet vervangen is). Klant vertelde mij dit en ik kon er geen speld tussen krijgen.

RAID-6 kunnen twee disken kapot hebben voordat de array verloren gaat, maar is nog trager dan RAID-5 (logisch).

Dus waarom RAID-5 als de kosten van disken geen issue is?

[seq_uence]

We dwalen een beetje af van de vraag van de TS, maar goed. Ik heb zelf de Exchange database op een RAID5 staan (MSA1000) en heb op andere vlakken ook voor meer redundancy gezorgd. De Exchange resource zit bv. in een cluster, zo heb je elke hardware failure in je server ook afgedekt, dat is bij de hierboven genoemde 360 niet het geval.

Als de Exchange server zo belangrijk wordt gevonden, waarom dan wel een RAID6 volume maar verder geen redundancy zaken ?

[CyBeR]

seq_uence schreef op zondag 11 februari 2007 @ 10:23:
We dwalen een beetje af van de vraag van de TS, maar goed. Ik heb zelf de Exchange database op een RAID5 staan (MSA1000) en heb op andere vlakken ook voor meer redundancy gezorgd. De Exchange resource zit bv. in een cluster, zo heb je elke hardware failure in je server ook afgedekt, dat is bij de hierboven genoemde 360 niet het geval.

Als de Exchange server zo belangrijk wordt gevonden, waarom dan wel een RAID6 volume maar verder geen redundancy zaken ?

Tsja: geld. Daar kom je toch op een gegeven moment altijd op uit zolang je niet in een groot multinational bedrijf zit. Een cluster is niet budgettair te verantwoorden voor ons. Ik stuur uiteraard wel een backup naar een andere machine. (Overigens is 't geen exchange).

[ Voor 3% gewijzigd door CyBeR op 11-02-2007 12:47 ]

[seq_uence]

Ja ok, uiteindelijk is het budget bepalend. Maar omdat je aangaf hoe belangrijk de mail wordt gevonden.

[The_Big_Easy]

Jazzy schreef op zaterdag 10 februari 2007 @ 23:42:
In de praktijk is RAID1+0 gewoon geaccepteerd doordat het zowel performance als redundancy levert. Als je zeker wilt zijn zorg je dat je de spare op de plank hebt liggen en niet pas gaat bestellen als er al een disk kapot is. Zo heb je de defecte disk vervangen in enkele minuten tot enkele uren na de storing en het moet al gek gaan als er een tweede disk defect gaat in diezelfde korte periode.

Maar goed, andere configuraties kunnen natuurlijk ook. Helaas blijft iedere keuze een compromis tussen schijfruimte, performance, redundancy en kosten dus er is nooit een bepaalde standaardoplossing.

Sterker nog, zorg gewoon dat je de spare al in je MSA1000 hebt zitten. Je kunt hem zo configureren dat hij een kapotte disk(s) automatisch vervangt door de disk(s) die als hot-spare zijn aangewezen. Zo kun je dus met 8 disks een 6 disk raid 0+1 + 2 hotspares opbouwen waarvan er dus willekeurig 3 disken mogen uitvallen. Pas bij disk 4 moet je uitkijken dat het niet net een disk is waarvan de mirror ook al het loodje heeft gelegd.

Het lijkt wellicht zonde om van die 8 disken er in totaal maar effectief 3 voor storage in te kunnen zetten, maar als je kijkt wat zo'n disk kost t.o.v. die MSA1000 dan valt het nog wel mee, zeker als de kosten van disks toch al geen punt was. Je hebt met zo'n configuratie wel een super performance en redundancy... Helemaal als je besluit om alle 14 bays van die MSA1000 te gaan gebruiken en een raid 0+1 van 12 disken + 2 HS maakt...

Vergeet niet bij het opbouwen van je raid om de disken slim over de controller(s) te verdelen (weet ff niet of het bij de fiber based MSA1000 uitmaakt, bij andere SCSI based controllers maakt dat weldegelijk uit.) Je moet dan de 0+1 raid zo opbouwen dat de mirrors via de 2e controller bedient worden.

En over raid 5 (en 6 al helemaal): tenzij je je het verlies van diskspace door 0+1 te gebruiken niet kunt permitteren zou ik deze raid levels mijden... de performance impact en ook het extra risico (zeker bij raid 5) zijn dat beetje extra disk space vaak niet waard. Voor verdere argumenten tegen raid 5: http://www.baarf.com/

[ Voor 11% gewijzigd door The_Big_Easy op 12-02-2007 09:36 . Reden: aanvulling over raid 5/6 ]

[delorean7]

Yadiyadiya, MSA1000 is altijd traag! HP geeft dat zelf ook toe als je maar genoeg doorvraagt en onzinnige fw upgrades en driver verhalen aan hebt gehoord.

Aan de andere kant is throughput ook niet alles hoor, IO intensieve applicaties brengen die config waarschijnlijk al voor die 20 MB/s op de knieen.

en 30k IO/s? Doe eens normaal van een disk komt niet veel meer dan 100-150 IO/s door de beugel genomen. Hoeveel disken zaten er in die MSA?

[grimson]

Disk performance may be slower than expected when you use multiple disks in Windows Server 2003, in Windows XP, and in Windows 2000

Heb je hier iets aan?

[ Voor 24% gewijzigd door grimson op 14-02-2007 15:41 ]

[Jazzy]

delorean7 schreef op woensdag 14 februari 2007 @ 15:07:
Yadiyadiya, MSA1000 is altijd traag! HP geeft dat zelf ook toe als je maar genoeg doorvraagt en onzinnige fw upgrades en driver verhalen aan hebt gehoord.

Onzin, zie onder andere mijn ervaring: Jazzy in "Planning Exchange server" (de link naar dit topic stond trouwens al eerder in dit topic)

[delorean7]

Jazzy schreef op woensdag 14 februari 2007 @ 15:39:
[...]
Onzin, zie onder andere mijn ervaring: Jazzy in "Planning Exchange server" (de link naar dit topic stond trouwens al eerder in dit topic)

I stand corrected. Mijn ervaring met dit array was dat het eindigt met een fax van HP UK waarin zwart op wit wordt aangegeven dat het niet beter zal worden dan de genoemde performance.

[seq_uence]

CyBeR schreef op vrijdag 09 februari 2007 @ 01:51:
[...]


Daar gaat iets mis want dat is idd erg langzaam. Een zo'n schijf kan op zichzelf al meer throughput genereren.

Dit zijn vier 146GB SAS (10Krpm 2.5") schijfjes in RAID 6 (niet eens RAID 5 maar nog een niveau hoger) in een DL360 op een SmartArray P400 controller:

Timing buffered disk reads: 260 MB in 3.00 seconds = 86.58 MB/sec

Dus 146GB 15Krpm in RAID 5 op ik neem aan 3.5" moet daar iig makkelijk overheen kunnen, zelfs als 't er maar 3 zijn.

Ik zit me hier even af te vragen waar we het nu precies over hebben, disk reads of writes ?
Read performance is meestal geen bottleneck, het is de write time waar de problemen ontstaan. De 20MB die de TS noemt, is dat read of write throughput ?

[ Voor 3% gewijzigd door seq_uence op 14-02-2007 21:22 ]