[LSI MegaRAID 150-6] Snelheidsproblemen met RAID5

[Verwijderd]

Hey,

Ik heb me een LSI MegaRAID 150-6 aangekocht ter aanvulling van mijn PCI-X Mylex SCSI RAID kaartje met mijn 2 Fujitsu's erop.
Nu heb ik deze in een PCI-X slot gepropt van mijn Tyan Thunder K8W en er 6x 200GB Seagate 7200.7 8MB buffer HDDs aangehangen. Nieuwste firmware geflashed want anders kreeg ik HDDs van max 128GB grootte en ze werken nu perfect [qua grootte].
Ik draai WINDOWS XP PRO met alle patches erop en de nieuwste LSI driver, en mijn snelheden zijn schrijnend Reads van 20MB/s en Writes van 5MB/s...
Ik heb 64KB stripe size en 64KB clusters in Windows ingesteld, de schijf is 1 partitie.
Wat is er aan de hand? Ben ik iets vergeten ofzo? Ik weet het niet en ik vind ook niets

Dank je alvast.

//edit: xtra info = Write Policy @ WRTHRU, Read Policy @ NORMAL en Cache Policy @ DirectIO

[ Voor 7% gewijzigd door Verwijderd op 14-07-2004 20:28 ]

[Rolfie]

Probeer eens write back als change policy in te stellen. Loste bij mij het probleem geheel op.

[Verwijderd]

Okay, dit heb ik gedaan en het is al wat verbeterd, maar die results zijn toch wat raar...
Wat zou je aanraden van settings om algemeen de beste prestaties te geven? Dus in de controller op de array, stripe size, cluster size etc...

Cluster size is nu 4096bytes (Windows wou niet groter installen )

Is RAID0 misschien een betere keuze? Of is de kans op 1 falen HDD misschien té groot?

En alvast bedankt voor de hulp!

Dit zijn de results nu:

[ Voor 8% gewijzigd door Verwijderd op 14-07-2004 20:44 ]

[BalusC]

Je moet de Total Length op minimaal de totale hoeveelheid schijfcache instellen

Wat betreft benchmarkscores en de "beste instellingen", kijk eens in de FAQ van dit subforum:
OM FAQ - Grote benchmark topics
OM FAQ / Beleid » RAID FAQ

[Verwijderd]

Dank je!

Ik wil dus nu 64/64 instellen, maar Windows werkt weer tegen

[Verwijderd]

Hou zowiezo rekening mee dat een raid 5 met 6 schijven veel rekenwerk is voor die kaart dus je write zal niet zo heel snel zijn read moet wel een flink stuk sneller zijn zoals je al bij atto ziet

http://www.gamepc.com/lab...?id=serialcompare&page=10

hier zie je een test site waar je kaart met raptor schijfjes getest wordt

de kaart zou 15mbs write moeten halen (bottle neck van de Chip die de berekeningen doet) voor read ja daar moet je zeker wel de 200mb kunnen halen zeker als je een 64bit slot gebruik bij pci 33mhz 32bit zal je dan op max 133mbs komen omdat de poort niet meer bied

er zijn wat mogelijkheden die je snelheid boosten maar als er geen backup battery op die kaart zit zeker af te raden ander kan je data corrupt raken als je pc crasht en dat wil je denk ik niet
raid 50 of 10 kan je overwegen als je snelheid belangrijk is je verliest wel de helft van je data maar het is wel een stuk sneller en betrouwbaar

[Femme]

Het 'probleem' met de MegaRAID SATA 150-4 is dat ie de write-back cache van de harde schijf uitschakeld. Dat is veiliger maar scheelt ook behoorlijk in performance. De onboard cache weet dit redelijk te ondervangen (en in combinatie met een BBU op de SATA 150-6 is het ook een betrouwbare oplossing), maar je blijft vastzitten aan de lage write transfer rates van SATA-schijven zonder write-back cache. Ik haal met een Raptor WD740GD slechts 27MB/s sequentieel. Dit probleem doet zich kennelijk ook voor bij de Seagate schijven van TS. SCSI-harde schijven hebben er geen last van want die hebben altijd prima write transfer rates op MegaRAID-adapters.

Hier wat write STR benchies:

http://www.tweakers.net/b...ne%5BUser%5D=1&bar_max=80

Voor thuisgebruikers is een RAIDCore BC4452 wellicht een betere oplossing. Die biedt de mogelijkheid om write-back op de harde schijven aan te zetten en schaalt uitstekend in RAID 5.

[Desolation Angel]

Prolly ook geen firm update die da gaat 'verhelpen' ?

[MikeN]

Ik krijg morgen hopelijk een paar hd's binnen voor mijn 150-6 en zal dan eens gaan testen. Op http://www.tweakers.net/shopsurvey/4369 staat bij de 2e survey dat de prestaties slecht waren door uitgeschakelde cache (die dus blijkbaar _wel_ aan te zetten is? itt wat femme beweerd in de review?)

[ Voor 4% gewijzigd door MikeN op 15-07-2004 00:16 ]

[UltraSub]

Dus als ik je goed begrijp Femme, moet je als je een 150-6 koopt eigenlijk sowieso ook de BBU erbij kopen, anders performed het niet?

* UltraSub baalt nu, want dat is weer 120 euro extra, op zijn toch al ver overschreden budget

[Femme]

Je kunt gewoon de write-back cache van de controller aanzetten. De recente firmware verbiedt je om een array aan te maken met write-back cache als er geen BBU aanwezig is. Naderhand kun je wel de write-back cache aanzetten.

Ik ben nog nergens in WebBIOS, ctrl-m, Mega Manager en Power Console een setting tegengekomen waarmee je de write-back cache op de harde schijven kunt aanzetten.

[UltraSub]

Femme schreef op 15 juli 2004 @ 05:19:
Je kunt gewoon de write-back cache van de controller aanzetten. De recente firmware verbiedt je om een array aan te maken met write-back cache als er geen BBU aanwezig is. Naderhand kun je wel de write-back cache aanzetten.

Ik ben nog nergens in WebBIOS, ctrl-m, Mega Manager en Power Console een setting tegengekomen waarmee je de write-back cache op de harde schijven kunt aanzetten.

Maar dan loop je dus verhoogd risico op datacorruptie bij lockups van het systeem, of bij stroomuitval, right?
Heb ik zo begrepen ergens in een ander topic over de 150-6 en zijn BBU.
Ik meende toen dan maar (evt tijdelijk, tot aanschaf BBU) geeen write-back cache aan te zetten om dit risico niet te lopen, maar ja... als dan de hele controller niet performed, en je propt er toch een bak geld in, das doodzonde..

[BalusC]

Maar dan loop je dus verhoogd risico op datacorruptie bij lockups van het systeem, of bij stroomuitval, right?

Daar is de BBU dus voor

Zonder BBU raakt alleen het data dat op het moment wordt weggeschreven corrupt. An sich niet in alle gevallen ernstig, behalve dan wanneer het om een critical mission databaseserver gaat, een 100 bladzijden tellende stageverslag zonder backup ofzo.

[ Voor 49% gewijzigd door BalusC op 15-07-2004 08:42 ]

[Rolfie]

Femme schreef op 15 juli 2004 @ 05:19:
Je kunt gewoon de write-back cache van de controller aanzetten. De recente firmware verbiedt je om een array aan te maken met write-back cache als er geen BBU aanwezig is. Naderhand kun je wel de write-back cache aanzetten.

Ik ben nog nergens in WebBIOS, ctrl-m, Mega Manager en Power Console een setting tegengekomen waarmee je de write-back cache op de harde schijven kunt aanzetten.

Volgens mij heb ik hem wel aan kunnen zetten. Zit alleen momenteel niet achter mijn PC. Zal vanavond even proberen te kijken.

[MikeN]

Ik heb net in CTRL-M gewoon de write back cache op de HD's kunnen aanzetten (en het wordt ook onthouden bij reboot etc.) (objects > physical drives > properties oid)

Performanceverschil kan ik nog niet meten, array is nog aan het initializen

[Desolation Angel]

mooizo, klinkt interessant dan

[MikeN]

OK, scores

Hardware: Megaraid 150-6 met 3x hitachi 250 GB in Raid5.
Test: IOmeter, 2 MB 100% write 100% sequential, 2 minuten lang met 1 GB testfile:

Met disk cache ingeschakeld: 43 MB/s
Met disk cache uitgeschakeld: 13 MB/s

Trek zelf uw conclusies

[Desolation Angel]

Das dus duidelijk niet de write-back cache op de schijven, want Gilles haalt dezelfde writes

[MikeN]

Erm.... dat is atto, die gaat zo ongeveer 100% in je cache, in Atto haal ik 120 MB/s bij read en write....

[edit]
Je kunt het beter vergelijken met de testresultaten die Femme postte (27 MB/s met 4 raptors), daar ga ik met 3 "simpele" schijfjes dus aardig overheen.

En het is duidelijk de write cache op de schijven, het is echt een physical drive setting, alle andere cache settings gaan per logical drive.

[ Voor 67% gewijzigd door MikeN op 16-07-2004 19:17 ]

[Desolation Angel]

Kan je ook is even testen met HD Tune ?

[MikeN]

HD Tune geeft een nogal vaag resultaat, 38 MB/s constant.
HD Tach geeft 45 MB/s constant.

Winbench99 geeft 80 MB/s, net als sisoft en IOmeter....

[Femme]

Ik heb die write-back setting voor de schijven blijkbaar over het hoofd gezien in ctrl-M. In Mega Manager en Power Console zijn ze in ieder geval niet aanwezig.

Het scheelt aardig wat in performance:

Tweakers.net BenchDB - Desktop StorageMark 2004 Index
#	RAID	Controller	HDD cache	Score (StorageMarks)
4	RAID 5	LSI MegaRAID SATA 150-4	Write-back	158,9
4	RAID 5	LSI MegaRAID SATA 150-4	Write-through	125,5

Tweakers.net BenchDB - Workstation StorageMark 2004 Index
#	RAID	Controller	HDD cache	Score (StorageMarks)
4	RAID 5	LSI MegaRAID SATA 150-4	Write-back	175,1
4	RAID 5	LSI MegaRAID SATA 150-4	Write-through	127,5

[ Voor 12% gewijzigd door Femme op 17-07-2004 14:28 ]

[Verwijderd]

blijft toch een rare score omdat raid5 in theorie ook al hogere Writescores hoort te halen door die parity.
Kaart Misschien in een shared Slot ?
of misschien Pci latency geneuzel ?

[MikeN]

Erm... door de parity haalt RAID5 juist lagere write scores. Voor ieder datablok dat moet worden geschreven moeten eerst de parity en het huidige datablok (oid) worden uitgelezen om de nieuwe parity te kunnen berekenen.

Hij zit niet in een shared PCI slot maar in zijn eigen 64bit/66mhz PCI slot op een Tyan plank, zit volgens mij wel goed

[ Voor 23% gewijzigd door MikeN op 18-07-2004 01:06 ]

[multipasser]

Ben nog altijd aan het uitkijken voor een raid5 oplossing in mijne nieuwe dual opteron. Ik wil vooral een grote schijf creeëren waar mijn data veilig opstaat.

Ik heb ook een pro HDTV capture kaart in pci-X 133mhz slot zitten. Die trekt met enkele HDTV uncompressed 4:4:4 tracks er toch serieus wat megabytes erdoor.

Eerst dacht ik RAID5 met sata's maxline III's te gebruiken voor mijn capturing/playing.
Maar zoals ik hier de testen lees valt dit heel zwaar tegen in snelheid.
Dan ik ik beter gewoon software raid5 nemen in xp met 4x 250gig of 4x 300gig.

En 2 scsi's in stripe zetten. En de videofiles manueel backuppen naar mijn raid5.
Scsi's lijkt me echt beste en snelste te zijn voor mijn bedoelingen.

Ofwel 3 a 4 maxline III's in stripe zetten?

Als ik en lsi zou nemen met 8xsata. Kan ik dan 4x sata's in RAID5 zetten en nog eens 4 in stripe?

[Femme]

multipasser schreef op zondag 28 november 2004 @ 06:19:

En 2 scsi's in stripe zetten. En de videofiles manueel backuppen naar mijn raid5.
Scsi's lijkt me echt beste en snelste te zijn voor mijn bedoelingen.

SCSI heeft geen enkel voordeel voor video-editing. De sequentiële transfer rates zijn wat hoger maar dat wordt teniet gedaan door slechtere cachestrategieën. Sowieso bouw je voor dezelfde prijs veel snellere RAID-arrays met SATA-schijven. Neem gewoon een RAIDCore BC4852 met een aantal 16MB Maxtor DiamondMax 10 of MaXLine III schijven. De LSI MegaRAID SATA 150-4 en 150-6 presteren gewoon een stuk minder dan de nieuwste generatie SATA RAID-adapters.

[mahi]

BalusC schreef op donderdag 15 juli 2004 @ 08:38:
Zonder BBU raakt alleen het data dat op het moment wordt weggeschreven corrupt. An sich niet in alle gevallen ernstig, behalve dan wanneer het om een critical mission databaseserver gaat, een 100 bladzijden tellende stageverslag zonder backup ofzo.

Een beetje off-topic, maar als je al een UPS hebt, heb je dan nog zo'n BBU nodig? Als de spanning uitvalt, dan blijft de UPS de PC toch netjes van spanning voorzien? En wanneer de UPS ook "leeg" begint te raken, dan zal deze een graceful shutdown initialiseren op het systeem. Dan is er toch geen kans op dataverlies?

[multipasser]

@ Femme: Maar zoals je ziet hebben sommige mensen hier HEEEEL slechte resultaten met raid5 controllers met of zonder XOR engine. ik moet minium 160mb/sec continue halen.
Want ik wil HDTV ready zijn. Hdtv uncompressed is rond de 5.9mb/frame.

5.9mb x 25 = 147,5mb/seconden En dit is uncompressed zonder Alpha. Reken daar nog 1.5mb/frame bij. Je ziet dat HD gewijs er ECHT wel veeeeel snelheid nodig is.

Door hier veel over raid bench's te lezen denk ik dat voor mijn video-array het beter is om naar striping te gaan. Desnoods neem ik raid10 als ik backup wil Maar dat is natuurlijk wel 2x de $$$.

[Bierkameel]

multipasser schreef op dinsdag 30 november 2004 @ 23:19:
@ Femme: Maar zoals je ziet hebben sommige mensen hier HEEEEL slechte resultaten met raid5 controllers met of zonder XOR engine. ik moet minium 160mb/sec continue halen.
Want ik wil HDTV ready zijn. Hdtv uncompressed is rond de 5.9mb/frame.

5.9mb x 25 = 147,5mb/seconden En dit is uncompressed zonder Alpha. Reken daar nog 1.5mb/frame bij. Je ziet dat HD gewijs er ECHT wel veeeeel snelheid nodig is.

Door hier veel over raid bench's te lezen denk ik dat voor mijn video-array het beter is om naar striping te gaan. Desnoods neem ik raid10 als ik backup wil Maar dat is natuurlijk wel 2x de $$$.

In wat voor een slot ga je die controller stoppen?
Een normaal PCI slot trekt 133MB/sec maar dat haal je niet door overhead, dat word dus PCI 64/66 of PCI-X oid

[Femme]

multipasser schreef op dinsdag 30 november 2004 @ 23:19:
@ Femme: Maar zoals je ziet hebben sommige mensen hier HEEEEL slechte resultaten met raid5 controllers met of zonder XOR engine. ik moet minium 160mb/sec continue halen.
Want ik wil HDTV ready zijn. Hdtv uncompressed is rond de 5.9mb/frame.

5.9mb x 25 = 147,5mb/seconden En dit is uncompressed zonder Alpha. Reken daar nog 1.5mb/frame bij. Je ziet dat HD gewijs er ECHT wel veeeeel snelheid nodig is.

Door hier veel over raid bench's te lezen denk ik dat voor mijn video-array het beter is om naar striping te gaan. Desnoods neem ik raid10 als ik backup wil Maar dat is natuurlijk wel 2x de $$$.

Als je dat soort snelheden wilt halen in RAID 5 zou ik maar gaan shoppen voor een Areca ARC-1120. Om 160MB/s sustained in RAID 0 te halen heb je minimaal drie maar liever vier snelle SATA-drives (bijv. DiamondMax 10) nodig en dan haal je de snelheid alleen als je gaat short stroken (een DMax 10 haalt op de buitenste sporen 64MB/s en op de binnenste sporen 36MB/s). Misschien lukt het in RAID 0 met een wat goedkopere controller. Wilt je deze snelheden trouwens alleen met lezen halen of ook met schrijven? Veel controllers (3ware's, alles met een IOP303 of oudere I/O processor) trekken niet eens 160MB/s aan writes in RAID 5.

[multipasser]

@ femme: 160mb/sec lezen en schrijven. Niet dat ik die 160mb/sec nu nodig ga hebben. Maar ik wil mijn systeem zo bouwen dat het makkelijk is te upgraden (door schijven toe te voegen) mocht ik HDTV echt gaan gebruiken. Want EU is nog niet echt HDTV ready

Is een 15k scsi niet sneller op zijn binneste/buitenste sporen? Want als al je sata's op 36mb lezen dan heb je erbijna 6 nodig om zo'n snelheden te halen. 6= $ + dB's

[Femme]

Een Cheetah 15K.4 haalt maximaal 95MB/s dus dat is inderdaad wat sneller dan een 7200rpm SATA-schijf. Het probleem is dat je voor de prijs van een 36GB 15K SCSI-schijf als tweeënhalve 200GB SATA-schijf hebt.

[multipasser]

Yep scsi is nog steeds stukke duurder Anders was de keuze snel gemaakt natuurlijk.

Kan Win2k3 standaard raid5 software aan? Of is er ook een hack nodig?
Ik vind hier weinig info over

edit:
Juist alles in orde gebracht om mijn raid5 te kunnen maken. Maar toch eventjes een stripe getest. 3x 120gig striped haal ik 120mb/sec met ATTO. Dat is een redelijk hoog voor 210euro aan hd's

edit2:
Eindelijk is mijn raid5 resynched. Met atto haal ik nu 35mb write en 40mb read. Met dezelfde 3 120gig hd's. Dus om aan mijn 160mb/sec te komen met raid5 moet ik ofwel veeel meer hd's runnen ofwel naar hwraid5 controller overstappen

ps: na resync zegt win2k3 dat de health van 2 hd's AT RISK zijn. Wat zou dat kunnen inhouden? Krijg verder geen info.

[ Voor 69% gewijzigd door multipasser op 05-12-2004 19:16 ]

[Priyantha Bleeker]

Even een kickje

Ik heb nu sinds kort mijn 6 Raptor 74 GB schijfjes allemaal tegelijk op m'n MegaRaid aangesloten
En heb hem in RAID5 staan, Write-Back staat aan, en Cache op de schijven ook.
De stripesize heb ik de bios op 128 gezet.
Even alles samengevat:
RAID = 5
Size = 354530MB
StripeSize = 128KB
Write Policy = WRBACK
Read Policy = NORMAL
Cache Policy = DirectIO
#Stripes = 6
State = OPTIMAL

even een copy/paste van megamgr

Het kopieren van een bestand van 1,3 GB van de ene dir naar de andere dir gaat met een snelheid rond de 18 en de 11 MB/s.
Gezien met Midnight Commander.

Hieronder de hdparm resultaten:

code:

Cached(sda)    = 6896.23 / 5 = 1379.246 MB/sec  min = 1372.15 max = 1388.21
Buffered(sda)  = 417.19  / 5 = 83.438 MB/sec    min = 81.74   max = 83.54 MB

Cached(sda1)   = 6878.85 / 5 = 1375.77 MB/sec   min = 1371.52 max = 1381.52
Buffered(sda1) = 186.96  / 5 = 37.392 MB/sec    min = 36.61   max = 38.09

Cached(sda2)   = 8214.40 / 6 = 1369.067 MB/sec  min = 1362.16 max = 1375.52
Buffered(sda2) = 433.25  / 6 = 72.208 MB/sec    min = 66.63   max = 77.37

Cached(sda3)   = 6863.550 / 5 = 1372.71 MB/sec  min = 1363.53 max = 1380.14
Buffered(sda3) = 364.530  / 5 = 72.906 MB/sec   min = 70.37   max = 74.80

Cached(sda4)   = 6912.84 / 5 = 1382.568 MB/sec  min = 1372.15 max = 1386.82
Buffered(sda4) = 378.930 / 5 = 75.786 MB/sec    min = 71.37   max = 81.18

Hieronder de partitie indeling:

code:

   Device Boot  Start      End      Blocks   Id  System     Mount Point
/dev/sda1   *       1       18      144553+  83  Linux      /boot
/dev/sda2          19    35275   283201852+  83  Linux      /home
/dev/sda3       35276    45074    78710467+  83  Linux      /
/dev/sda4       45075    45196      979965   82  Linux swap swap

De Filesystems die ik gebruik zijn:

code:

Device          Filesytem
sda1            ext3
sda2            reiserfs
sda3            reiserfs
sda4            swap

[Priyantha Bleeker]

Iemand nog tips voor mij ?