Zeer slechte RAID performance LSI Megaraid 320-1

[Pakjebakmeel]

Hallo,

Ik heb sinds kort een LSI Megaraid 320-1 in mijn bezit:


Mooi kaartje; heb hier dan ook maar 3x een Maxtor Atlas10k.V 73GB bijgekocht. Echter na het draaien van een HDTACH komt hetvolgende naar voren:

Average read: 13,8MB/s
Access time: 5,6ms
Burst speed: 17,3MB/s

Erg triest allemaal dus.. Niet alleen in de benchmarks zoals HDTACH en ATTO maar ook in real life. Een 100 MB file kopieren van een Raptor raid0 array naar de SCSI array duur meer dan 10 seconden (dit zou maar 1 of 2 seconden moeten zijn.).. De huidige situatie is:

3x Atlas10k.V aan een Megaraid320-1 in een RAID5 array. Settings op default laten staan (4k stripe size enz..).

Verder heb ik een 320 LVD/SE kabel voor 7 apparaten (inc. controller) met een aangelaste terminator op het einde; op alle maxtors heb ik de TERM_power jumper aangezet zoals beschreven in de SCSI kaart manual. SCSI id's zijn:

7: LSI MEGARAID
6: Atlas
5: Atlas
4: Atlas

Geen van de schijven is getermineerd. De SCSI bus ziet er alsvolgt uit:

TERMINATED op kaart--->LSI MEGARAID--->Atlas--->Atlas--->Atlas--->EMPTY--->EMPTY--->EMPTY--->TERMINATOR

Op de terminator (die vastzit aan de kabel) staat Ultra-320LVD/SE. Dit is er zo eentje als de allerlinkse op het volgende plaatje maar dan MET aangelaste TERM.

http://www.gamepc.com/ima...raid-cablesize2-large.jpg

Huidige systeem:
Abit AN8-SLI NF4-SLI
Amd64 SC 3800
2x 1gb pc3200 OCZ cas2 platinum
Gigabyte 7800gtx 256MB

De kaart zit weliswaar in een 32bit PCI slot; ik weet dat de performance iets minder zal zijn maar dit is wel heel exteem! Firmware van zowel de kaart als mijn mobo zijn al geupdate met de allernieuwste versie..








controller:



Als iemand me hiermee zou kunnen helpen, graag.. Ik raak onderhand redelijk moedeloos; vooral ook omdat van de 4 schijven er eentje stuk is

[ Voor 33% gewijzigd door Pakjebakmeel op 22-01-2006 19:11 ]

[FreeRider]

Ik neem aan dat je een RAID 0 config hebt ?
Probeer dan eens een stripesize van 16K

Ik had in mijn MegaRAID destijds deze instellingen:

Direct I/O
Read Ahead: OFF
Cache: Write Through
Stripe size 16K

Wellicht helpt het ?

Trouwens je accesstimes lijken dik in orde als ik het zo zie...

[ Voor 13% gewijzigd door FreeRider op 22-01-2006 15:19 ]

[Pakjebakmeel]

Ik heb alle mogelijke combinaties van instellingen voor mijn gevoel nu onderhand wel gebruikt, RAID0, RAID5; allerhoogste score met 3x 10kV drives tot nu toe:



RAAAAAAA 600 eurie aan schijven en een controller en dan ZULKE TRIESTE performance?! Zelfs een 40GB ATA100 maxtor schijfje is sneller dan mijn SCSI 320 array!!!

Ter vergelijking; mijn 2xRaptor 74GB array aan de NF4 controller:

[ Voor 55% gewijzigd door Pakjebakmeel op 22-01-2006 19:12 ]

[BalusC]

Hoe performeert 1 schijf in een non-RAID configuratie? Heb je toevallig ook andere (desnoods oudere) SCSI (non-RAID) controllers rondslingeren?

[Pakjebakmeel]

1 Disk:



Wat ook vreemd is, zodra ik op de controller "write cache" enable stort de performance nog verder in! 5-10MB/s.. Zet ik write caching uit gaat ie weer sneller (lees="minder langzaam")

Andere controllers heb ik hier (nog) niet bij de hand.. Morgen krijg ik met een beetje mazzel een el cheapo SCSI320 PCI32 controllertje.

3x in RAID0 met write cache enabled:

[ Voor 15% gewijzigd door Pakjebakmeel op 22-01-2006 20:51 ]

[BalusC]

Nette score van 1 disk Al is de burst speed relatief laag imho.
En wat is de score van 3x RAID0 met write cache disabled?

[ Voor 36% gewijzigd door BalusC op 22-01-2006 20:57 ]

[wezep]

Probeer eens een andere kabel.
Eventueel 1'tje die maar u160 is.

[Pakjebakmeel]

BalusC schreef op zondag 22 januari 2006 @ 20:56:
Nette score van 1 disk Al is de burst speed relatief laag imho.
En wat is de score van 3x RAID0 met write cache disabled?

dat is deze:

Probeer eens een andere kabel.Eventueel 1'tje die maar u160 is.

Kabel kan ik wel regelen, echter moet ik even zoeken naar een terminator.. (op kantoor; thuis heb ik dat zeker niet..) Mijn huidige zit een term. aangelast aan het einde..

[ Voor 30% gewijzigd door Pakjebakmeel op 22-01-2006 21:17 ]

[Verwijderd]

Lijkt me toch dat er iets mis is met de raid controller.

moet je niet gewoon is je garantie claimen?

[ Voor 30% gewijzigd door Verwijderd op 22-01-2006 21:19 ]

[Pakjebakmeel]

* 2e hands

edit:

Hmm, ik weet niet wat er nu ineens anders is; na het array NOG een keer te hebben aangemaakt zijn dit de resultaten:

3 disks zonder caching:


3 disks met caching:

[ Voor 91% gewijzigd door Pakjebakmeel op 22-01-2006 21:33 ]

[BalusC]

Hmja, vraag eens subtieltjes aan de verkoper of hij hier ook last van had en of hij er evt een oplossing voor had gevonden

Maar aangezien 1-disk performance prima is, enigszins afgezien van de burst speeds, verdenk ik de firmware danwel driver laag dat de RAID0 moet aansturen. Probeer eens diverse firmware danwel driver versies/updates. Je zou ook kunnen proberen om de schijven via de schijfbeheer dynamisch te maken en een OS-based SWRAID0 array te aanmaken. Al is het alleen maar om even de snelheid te benchen

[Pakjebakmeel]

BalusC schreef op zondag 22 januari 2006 @ 21:27:
Hmja, vraag eens subtieltjes aan de verkoper of hij hier ook last van had en of hij er evt een oplossing voor had gevonden

Maar aangezien 1-disk performance prima is, enigszins afgezien van de burst speeds, verdenk ik de firmware danwel driver laag dat de RAID0 moet aansturen. Probeer eens diverse firmware danwel driver versies/updates. Je zou ook kunnen proberen om de schijven via de schijfbeheer dynamisch te maken en een OS-based SWRAID0 array te aanmaken. Al is het alleen maar om even de snelheid te benchen

Ik heb net de schijven in losse arrays gegooid en ben ze nu aan het initialiseren. Zodra dit klaar is zal ik een SW raid0 maken over de losse drives!

[Fairy]

Pakjebakmeel schreef op zondag 22 januari 2006 @ 21:41:
[...]


Ik heb net de schijven in losse arrays gegooid en ben ze nu aan het initialiseren. Zodra dit klaar is zal ik een SW raid0 maken over de losse drives!

Je kunt wel een SW raid0 aanmaken maar die herkent HDTACH volgens mij als 3 losse disks, daar kun je dus niks mee.

Probeer anders eens de SCSI controller in een ander PCI slot en haal de andere kaarten er even uit.

PS mijn 2x Raptor 72GB raid0 haalt gemiddeld 110MB P/S die van jou 100 dus is redelijk gemiddeld.

[Pakjebakmeel]

Dit doet ATTO op het SW RAID array:

*knip, zie plaatje in mijn post verder naar beneden..

*Heb even atto gebruikt omdat HDTACH idd fysieke disks neemt..
**Wel continue 100% CPU gebruik

[ Voor 38% gewijzigd door Pakjebakmeel op 22-01-2006 22:24 ]

[Fairy]

Pakjebakmeel schreef op zondag 22 januari 2006 @ 22:04:
Dit doet ATTO op het SW RAID array:

[afbeelding]

*Heb atto gebruikt omdat HDTACH idd fysieke disks neemt..

Ok mooi, maar heb je ook ATTO vergelijkingsmateriaal in HW raid ?

[Pakjebakmeel]

Fairy schreef op zondag 22 januari 2006 @ 22:05:
[...]


Ok mooi, maar heb je ook ATTO vergelijkingsmateriaal in HW raid ?

Komt eraan, moment!

SOFTWARE:

HARDWARE:


Nu ineens hele andere resultaten!? Overigens is dit ook niet geweldig.. Lijkt me wel dat je met 3 10k schijven je PCI bus dicht moet kunnen trekken toch? (120-130MB/s)

[ Voor 48% gewijzigd door Pakjebakmeel op 22-01-2006 22:22 ]

[FreeRider]

Je kan ook eens proberen om even met 2 schijven te testen, misschien is er een niet goed (ingesteld), of werken 3 schijven minder efficient op 1 kabel. Ik denk ook dat een 16K stripe size betere resultaten geeft met ATTO, vooral bij de kleinere transfersizes.

HDTach is ook niet zo betrouwbaar denk ik, ik kreeg met mijn Megaraid ook nooit meer dan ongeveer 40 MB, terwijl andere benchmarks zoals ATTO tot 125 MB/s aangaven (met 2 schijven). Dit was wel met HDTach 2.61

p.s. upgrade je array nog even naar dynamic disk dan gaan je writes ook vooruit.

[ Voor 73% gewijzigd door FreeRider op 22-01-2006 22:45 ]

[BalusC]

Bij ATTO moet je de total length zo hoog mogelijk zetten, anders zit je op de schijfcache te benchen

[Fairy]

FreeRider schreef op zondag 22 januari 2006 @ 22:21:

p.s. upgrade je array nog even naar dynamic disk dan gaan je writes ook vooruit.

Leg uit

[Verwijderd]

Ik zou eens een andere firmware proberen,zelf heb ik slechte ervaringen met de firmware van LSI.
Ik heb nog 2 Megaraid enterprise 1600, waren tot 1 maand geleden in gebruik,zijn origineel Megaraid,na overname door LSI bracht deze een firmware upgrade uit,na deze te hebben aangepast kreeg ik niets dan problemen,dus de firmware van Megaraid er terug opgezet en alle problemen waren verdwenen, zelfde probleem met de volgende firmwareupgrade van LSI.

Neem ook eens een kortere kabel,waarom eentje met zoveel aansluitingen,zijn de vrije connectors afgedekt, de schijven ook aansluiten vanaf het einde vande kabel, dus terminator-->1é schijf-->2é schijf en zo verder.

Staat er Battery Backup geheugen op??, dit geheugen MOET voor goed gebruik elk jaar worden vernieuwd

[Verwijderd]

Heb je ook al eens nagekeken of uw pci bus waarop de Megaraid zit niet gedeeld word met een ander apparaat

[Lennieboy83]

Deze controller heeft nog een oude CPU aan boord, ik vind dat de kaart ook veel weg heeft van de zeer slecht performerende Adaptec 2100S (ook met 1 kanaal maar dan U160) die kon ook al zulke slechte scores neerzetten.
Voordat je de kaart kocht had je eigenlijk eerst wel wat voor onderzoek moeten doen, ik heb eerst ook bijna dezelfde fout gemaakt, ik had namelijk (voordat ik de LSI MegaRAID 320-2X had) een LSI MegaRAID Elite 1600 welke ook slecht performeerde, hier zat ook een verouderde CPU op, sinds ik mn huidige kaart heb is het niks dan lof.
Je kan beter bij die verouderde kaarten wegblijven en dan een kaart kiezen met een IOP 3** CPU erop, of als je een low budget kaart wilt hebben een dubbel kanaals U320 kaart aanschaffen en dan software RAID 0 of 5 draaien, hoewel RAID 5 van Windows ook niet echt bevordelijk is.

[FreeRider]

Fairy schreef op maandag 23 januari 2006 @ 00:14:
[...]


Leg uit

Bij windows disk management kan je je disks upgraden naar dynamic.

[Verwijderd]

De chip op de megaraaid zal het zeker niet zijn ,word ook in Asus servers,Highpoint raidcards ea. gebruikt
mijn megaraid enterptrise 1600 liepen een maand geleden nog op vlle snelheid met als enige belemmering de pci bridge,en dat zijn nog oudere chipsets

[Fairy]

FreeRider schreef op maandag 23 januari 2006 @ 01:22:
[...]


Bij windows disk management kan je je disks upgraden naar dynamic.

Ja doh, ik ben systeembeheerder

Ging me even om waarom het performanceverschil, want Microsoft heeft mij verteld dat het verschil 0,0 is.

Ik heb even bij Microsoft nagegaan, het schijnt alleen maar uit te maken als je volumes zijn aangemaakt als basic op een Windows 2000 SP3 of lagere machine, aangezien daar een bug zat in het gebeuren wat de write caching configureerd. XP SP0 en W2K SP 4+ heeft hier geen last van.

[ Voor 30% gewijzigd door Fairy op 23-01-2006 09:31 ]

[Lennieboy83]

Verwijderd schreef op maandag 23 januari 2006 @ 02:03:
De chip op de megaraaid zal het zeker niet zijn ,word ook in Asus servers,Highpoint raidcards ea. gebruikt
mijn megaraid enterptrise 1600 liepen een maand geleden nog op volle snelheid met als enige belemmering de pci bridge,en dat zijn nog oudere chipsets

Jij vat een ding niet: namelijk dat servers vaak een grote I/O bandbreedte nodig hebben en niet hoge rauwe doorvoer van MB/s wat mensen hier dus wel van de kaarten verwachten, de nieuwe kaarten daarentegen die kunnen wel beiden, een lekker hoge doorvoer en een hoge I/O bandbreedte

[Femme]

HDTach is een waardeloze benchmark waar ik me niet teveel van zou aantrekken. HDTach geeft wel vaker vage resultaten op RAID-controllers zoals de MegaRAID 320-1.

De snelheid die je in ATTO haalt is prima voor een configuratie met write-back caching (van het geheugen op de controller) disabled. 110MB/s is zo'n beetje de maximale effectieve transfer rate van de legacy PCI-bus. De data die je via ATTO van van de RAID-controller opvraagt moet ook verpakt worden en het zal ook voorkomen dat er bij sommige klokcycli geen zinnige data verplaatst kan worden omdat deze bijv. nog niet paraat is. Een deel van de bandbreedte gaat daardoor verloren.

De MegaRAID 320-1 schaalt niet geweldig vanwege z'n trage processor (maar presteert overigens altijd nog beter dan een Adaptec ASR-2100S), maar aangezien je PCI-bus hier al een bottleneck vorm hoeft dat niet zo'n heel groot probleem te zijn. MegaRAID-kaarten presteren over het algemeen het beste met write-back caching enabled, direct I/O, adaptive of normal read-ahead en een stripe-size van 128K.

Hier wat benchmarks van de 320-1 en andere SCSI-kaarten met twee Atlas 15K's in RAID 0:

Tweakers.net BenchDB - RAID Desktop StorageMark 2003 gewogen gemiddelde
#	RAID	Controller	Score (IOps)
2	RAID 0	LSI MegaRAID 320-2X 512MB	991
2	RAID 0	LSI MegaRAID 320-2X 128MB	876
2	RAID 0	HP Smart Array 5302/128	833
2	RAID 0	LSI MegaRAID 320-2 64MB	726
2	RAID 0	LSI MegaRAID 320-1	708
2	RAID 0	HP Smart Array 6402/128	613
2	RAID 0	Adaptec 2200S	575
2	RAID 0	Adaptec 3200S 64MB	567

[BalusC]

Femme heeft daar wel een punt, maar dit verklaart de real-life tegenvaller niet.

Pakjebakmeel schreef op zondag 22 januari 2006 @ 12:19:
Niet alleen in de benchmarks zoals HDTACH en ATTO maar ook in real life. Een 100 MB file kopieren van een Raptor raid0 array naar de SCSI array duur meer dan 10 seconden (dit zou maar 1 of 2 seconden moeten zijn.)..

Hierop terugkomend dus: hoe snel kun je bijvoorbeeld een 100MB bestand dupliceren binnen de Raptor array én binnen de SCSI array? Dus gewoon CTRL+C en dan meteen CTRL+V in dezelfde map En laat ook eens IOMeter op de array los: Het grote IOMeter benchmark topic

[Pakjebakmeel]

Hmm, dat zal ik vanmiddag/vanavond nog eens proberen. Overigens kreeg ik deze reply van de
verkoper: (lees van onder naar boven!) Naam en e-mail van de verkoper wegghaald..

Volgens mij had ik dit al geprobeert met een 100MB rar file, toen zag je het "bezig met kopieeren dialoog" niet eens opkomen Het gaat de goede kant op..

Nee hoor , vind ik geen probleem. Trouwens las ik net die post over het kopieren van sata raid naar scsi raid ... yup dat klopt ... ik zie dezelfde probleem terugkomen bij bijna alle windows bakken op werk. Linux heeft hier geen probs mee(gaat nog steeds trager dan theor.). Denk dat het door drivers komt. Ook Natuurlijk maakt daar wel uit of er veel kleine files of een groote file gekopieerd wordt. Veel kleinere files gaan supertraag. BTW. Mijn atto bench met 2x 15k.3 seagates in raid0 was ook rond 115MB met een intel srcu raid adapter in 33mhz pci bus in mijn vorige pc.

---

On Jan 23, 2006, at 3:09 PM, Smeltekop, Wouter wrote:

Hoi *,

Superbedankt voor je reply!

Hier heb ik zeker iets aan, ik ga de schijven verplaatsen naar het einde van de kabel; de settings schelen elkaar niet echt veel. Ik heb alle stripe sizes gebruikt. Echter als ik mijn 4e schijf terugkrijg dan zal ik een RAID10 opzetten. RAID5 was alleen vanwege het feit dat ik maar 3 schijven heb.

Probleem met het mobo is alleen dat er amper s939 borden zijn met PCI-x. Laat staan met PCI-e.

PS, is het oke als ik je reply (zonder je e-mail adres en naam) op het forum post? Dat maakt het wat duidelijker..

Gr, Wouter

---

From: *
Sent: maandag 23 januari 2006 15:05
To: Wouter
Subject: Re: Megaraid

Hoi Wouter,

Ik heb ff die thread doorgelezen. Ik zei je al dat je alleen ATTO benchmark moet vertrouwen, HD tach of anderen kunnen gewoon niet met raid omgaan (dat zie je ook aan resultaten - single hd performance = 75MB/sec raid = 44 . Als je de resultaten van atto bekijkt zie je dat alles in orde is .. 110MB/sec is normaal hoor ... je krijgt nooit resultaten boven 120MB te zien met pci33 er is in theorie 133MB/sec bus transfer mogelijk, maar in praktijk is de transfer ergens tussen 110-125MB/sec max(denk aan overhead, timing etc...). Resultaten zijn nog kleiner als die pci slot nog eens geshared is (kijk in de handleiding van je mobo). Ook moet je goed opletten met stripe size en de instellingen van de raid controller zelf. Mijn advies is : lees de manual heel goed, en kijk ff op internet hoe je het beste zon raid array kan configureren. Soms kan een kleine/onbelangrijke instelling grote impact hebben op de performance van de array(lees: tot 50MB/sec minder).

Ik zie dat je raid 5 gebruikt - mijn advies als je performance wilt ga voor raid 10 of stripe met 4 schijven(krijg je 4x speed) (je hebt toch 4 schijven - dat een defekt is is echt schande van maxtor - oh well ik zei al tegen jou hoeveel problemen wij hadden op werk met maxtor schijven - ik zou ze echt teruggeven en 2x seagates kopen maar ok dat is me ) stripe is gewoon sneller dan raid 5. En als je toch E600 hebt gegeven voor schijven, een mobo met 64 bit pci is echt geen overbodig luxe .

Ik hoop dat dit je wat geholpen heeft. Veel succes in SCSI RAID wereld.

Groeten,

*

PS. Met raid5 krijg je geen 3xhdspeed maar max 2x (is vaker minder dan perf 2xschijf). En probeer de schijven aan de eind van de kabel te zetten - dus geen lege aansluitingen tussen laatste hd en de terminator.

---

On Jan 23, 2006, at 10:26 AM, Wouter wrote:

Hoi *,

Zou je eens naar dit topic willen kijken Zeer slechte RAID performance LSI Megaraid 320-1 ? Ik zit met problemen met de kaart, misschien komt je iets bekend voor?

Tnx,

Wouter

[ Voor 3% gewijzigd door Pakjebakmeel op 23-01-2006 15:44 ]

[FreeRider]

Fairy schreef op maandag 23 januari 2006 @ 09:11:
[...]


Ja doh, ik ben systeembeheerder

Ging me even om waarom het performanceverschil, want Microsoft heeft mij verteld dat het verschil 0,0 is.

Ik heb even bij Microsoft nagegaan, het schijnt alleen maar uit te maken als je volumes zijn aangemaakt als basic op een Windows 2000 SP3 of lagere machine, aangezien daar een bug zat in het gebeuren wat de write caching configureerd. XP SP0 en W2K SP 4+ heeft hier geen last van.

Het maakt inderdaad niet veel uit, ik heb wel meegemaakt dat writes sterk achterbleven tov reads. Nadat ik de RAID disk had geupgrade naar dynamic was dit weg. Misschien had het wel met iets anders te maken hoor, zou kunnen.