[SCSI] RAID0 op LSI 320-2e, slechte performance

[psy]

Heb sinds kort een LSI Megaraid 320-2e. Hier heb ik twee identieke Cheetah's 15k.4 op aangesloten van 136 GB. Ieder zit op een eigen kanaal. Er zijn geen verdere schijven aangesloten.
Beide schijven zijn via de LSI tool correct gevonden, geformatteerd, als RAID0 gekoppeld, opstartbaar gemaakt, en geinitialiseerd. Stripe-size 128kB.

Nu is de performance er bepaald niet op vooruitgegaan. Windows XP start zeker niet sneller op, eerder langzamer. Op zich is dat niet zo'n ramp. In Windows heb ik een aantal tooltjes geprobeerd waaronder HDTune, ATTO en HDTach. ATTO heb ik niets aan want met zijn maximum va 32 MB test deze alleen maar mijn onboard cache van 128MB. HDTune laat erg lage waardes zien maar elders op GoT las ik dat deze eigenlijk nooit fatsoenlijke waardes laat zien icm SCSI RAID controllers.
HDTach laat het volgende zien (na een schone install):



Wat ik ook aan instellingen verander (Read/Write/Cache instellingen) het resultaat blijft redelijk vergelijkbaar.
Ik vind het maar vreemd. Hij piekt wel degelijk naar de 180 MB wat ik zou verwachten maar houdt deze lijn geenszins vast. Het gemiddelde ligt eerder op 80 MB wat meer op één schijf lijkt. Waar zou dit aan kunnen liggen?

- Brakke kabels? ATTO doet het perfect dus ik betwijfel ik dit wel . Echter ik vertrouw de kabels niet helemaal.
- Kapotte controller? Hij is 'gebruikt' van eBay maar doet het verder perfect en ik krijg geen fouten ofzo te zien. Verder ga ik er niet snel vanuit dat zoiets als een controller defect raakt.
- Het feit dat WinXP op dezelfde RAID0 schijf staat?
- Schijven? Deze zijn net een maand oud.

Wat kan ik nog proberen:
- WinXP op een aparte schijf installeren. RAID0 apart zetten en dan in WinXP benchen. WinXP kan dan geen invloed hebben. Helaas kosten dit soort acties telkens veel tijd
- Andere kabels proberen
- ?

Wie heeft ideeën waar dit aan kan liggen. Ik heb gezocht op got maar niets kunnen vinden wat me verder heeft kunnen helpen.

[ Voor 4% gewijzigd door psy op 21-02-2007 14:56 . Reden: nieuwe linkje voor screendump ]

[maratropa]

Ik heb ongeveer dezelfde setup, maar dat met 2 fujitsu's er aan, ook met xp er op.

Is het een Dell kaart of een echte LSI? Zit er de laatste firmware/bios op enzo?

Cache policy op write through/direct IO/normal read ahead staan? (goed voor STR benchmarks zonder cache gekloot)

Laat ook ATTO eens zien?

En op wat voor moederbord en in wat voor pci-e SLOT zit ie? (bij mij in een 4x slot)

Wat je ongeveer zou moeten zien: (nu overigens met 128+BBU ipv 256mb zonder BBU)

[ Voor 36% gewijzigd door maratropa op 17-01-2007 13:17 ]

[psy]

Is het een Dell kaart of een echte LSI? Zit er de laatste firmware/bios op enzo?

Een "echte" LSI, bewust gekozen zodat ik geen gehackte XP driver hoefde te gebruiken voor de Dell.

Cache policy op write through/direct IO/normal read ahead staan? (goed voor STR benchmarks zonder cache gekloot)

Yep

Laat ook ATTO eens zien?

Komt eraan.

En op wat voor moederbord en in wat voor pci-e SLOT zit ie? (bij mij in een 4x slot)

P5W-DH. Ik gebruik de 'tweede' PCI-e. Volgens mij is deze minimaal 8x

Wat je ongeveer zou moeten zien: (nu overigens met 128+BBU ipv 256mb zonder BBU)

[afbeelding]
[afbeelding]
[afbeelding]

Ja dat hoopte ik dus ook, iets vergelijkbaars. Ik heb trouwens ook de versie met battery unit. Meer informatie volgt.

Read ahead heb ik nu ingesteld. Deze stond eerst op Read.
Resultaat (lange benchmark)

[ Voor 8% gewijzigd door psy op 21-02-2007 16:13 . Reden: resize ]

[maratropa]

Lees ook deze eens door, misschien staan er tips:

http://forums.2cpu.com/sh...?t=67387&highlight=320-2e

Maar je hebt de laatste firmware er op zitten?

LSI support is best snel trouwens, je kunt zo ook even mailen om zeker te zijn dat er geen problemen tussen de 15k4 en de 320-2e zijn, (just in case, om uit te sluiten)

[ Voor 48% gewijzigd door maratropa op 17-01-2007 14:35 ]

[psy]

Ja 514P.

Helaas kan ik niet snel nieuwe benchmarks posten, ik ga dit vanavond wel doen. Met ATTO krijg ik nu weer een ander beeld te zien. Ik probeer deze nog te posten.

[ Voor 19% gewijzigd door psy op 21-02-2007 15:12 . Reden: resize ]

[maratropa]

Hmm die 600+ is dus duidelijk je bus. Op zich fijn om te weten dat die wel wat doet iig

[psy]

Yep dat klopt. Al is de write snelheid weer erg laag bij ATTO.
HDTune

[ Voor 9% gewijzigd door psy op 21-02-2007 15:41 . Reden: resize ]

[Verwijderd]

Kun je eens met SiSoft Sandra testen? (filesystem benchmark). Hoeveel gegevens staan er op je schijf (maw hoeveel procent van de capaciteit is gebruikt)? Je gebruikt Write Back buffercache?

[psy]

Alles is van sratch af gebouwd. Alleen de C-schijf is gevuld met de kale XP installatie. De D schijf is compleet leeg.

writeback aan:

[ Voor 44% gewijzigd door psy op 17-01-2007 18:12 ]

[maratropa]

Maar dan bench je de cache weer. Bij mij krijg ik ATTO waardes die representatief voor de schijven zijn door de cache policy op

Write through, direct io en normal read ahead te zetten

Maar misschien dat dat ook niet bij iedereeen werkt ofzo. En ATTO is ook maar alleen leuk voor max STR en zo..

Maar met de bus is niet zo veel mis lijkt me. Ik zou toch in ieder geval LSI mailen om te vragen of er problemen zijn, dan weet je dat iig zeker.

[ Voor 6% gewijzigd door maratropa op 17-01-2007 18:32 ]

[psy]

Ja ik heb net Sisoft Sandra gedraaid en die komt doodleuk aan met 79 MB/s en 80 MB/s voor C en D. Dat is toch echt veel te laag. Ja de toegangstijd is goed met 2 en 3 ms maar daar heb ik dan ook geen problemen mee.

Misschien zijn mijn SCA converters brak? De schijven worden wel gewoon herkend op 320 snelheid dus dat 'zou' goed moeten zijn.

Ja ik ga LSI vanavond eens mailen, dat is een goede optie.

[maratropa]

Ik weet niet precies hoe Sandra werkt, je hebt kans dat ze meer realistische "realworld" scenario's loslaten op je schijf, en dan kom je toch niet aan die max waardes die je in de HDtach/atto/hdtune ziet.

Toch zijn die laatste programma's fijn om even snel te checken of alles in orde is, wat bij jouw niet helemaal het geval is als ik de grafieken zie.

Andere kabels en SCA converters proberen kan geen kwaad, al "syncen" ze wel goed op 320 wat al hoopvol is.

[ Voor 16% gewijzigd door maratropa op 17-01-2007 19:57 ]

[Verwijderd]

gladiool schreef op woensdag 17 januari 2007 @ 19:56:
Ik weet niet precies hoe Sandra werkt

Sandra geeft zeven scores:
- Buffered Read (cache performance)
- Sequential Read (maar dan met 1GB transfer size dus ook geschikt voor (kleine) buffercaches
- Random Read (iets van 64kB random I/O)
- Buffered Write (buffer performance)
- Sequential write (1GB)
- Random write
- Access time

Dus de sequentiele read/writes zijn hetr maximale wat je schijf, controller, bustechnologie en filesystem toelaat. Bij RAID0 zou dat dus <aantal schijven> * <max STR per schijf> zijn. Leuke van Sandra is dat ze ook random I/O testen, als een van de weinige gratis Windows benchmarks. Echt realistische benchmarksuites zijn nog steeds commercieel voor zover ik weet.

[psy]

Nog wat geprobeerd. Andere kabels geprobeerd, zelfde resultaat. Alle disks apart geconfigureerd en gebenchd, perfecte resultaten (min 50, max 95). Disks zijn dus goed, kabels ook. Probeer vandaag nog op mijn derde 15k4 WinXP te zetten, om dan de twee disks apart in RAID0 te benchen. Kijken of dat verschil uitmaakt als ze geen deel uitmaken van de opstartpartitie.

[maratropa]

Dus de schijven in los in een raid 0 met maar 1 schijf aan dezelfde controller doen het dus prima?

[psy]

gladiool schreef op donderdag 18 januari 2007 @ 12:49:
Dus de schijven in los in een raid 0 met maar 1 schijf aan dezelfde controller doen het dus prima?

Exact. Heb net antwoord van de verkoper, die vraagt zich al of misschien de PCI-e snelheid op 1x staat. Ik heb gelezen dat die contropller dan problemen geeft (minimum was 4x, toch?), maar dan zou ATTO niet zulke hoge waardes moeten laten zien lijkt me?

[maratropa]

Ja dan lijkt me dat 400-600mb niet kan voorkomen, dus de pci-e snelheid lijkt me prima. Officieel is die kaart 4x en 8x, maar 2x schijnt ook te kunnen. Maar 1x kan niet eens volgens mij.

Je zou er ook eens een oudere firmware in kunnen flashen?

[Verwijderd]

Waarom zou x1 niet kunnen? Volgens mij kun je zelfs een PCIe x16 kaart op x1 laten lopen; als het fysiek maar past. Maar PCIe x1 is max 500MB/s dus als je hoger dan dat haalt (ook al is het burst) dan zou dat betekenen dat de bus sneller draait.

[maratropa]

Het zal theoretisch wel kunnen maar LSI zegt dat de kaart alleen 4x en 8x ondersteund iig.

[John2B]

gladiool schreef op donderdag 18 januari 2007 @ 15:45:
Het zal theoretisch wel kunnen maar LSI zegt dat de kaart alleen 4x en 8x ondersteund iig.

De Areca PCI-E x8 controllers bv, werken ook alleen op x1, x4 en x8 en dus expliciet niet op x2.

Card Interoperability for Areca

LSI heeft dat dus beperkt tot x4 en x8

[Verwijderd]

John2B schreef op donderdag 18 januari 2007 @ 22:08:
[...]


De Areca PCI-E x8 controllers bv, werken ook alleen op x1, x4 en x8 en dus expliciet niet op x2.

Card Interoperability for Areca

LSI heeft dat dus beperkt tot x4 en x8

Dat is vreemd want ik kan me een posting op een ander forum herinneren waarbij iemand in het BIOS de PCIe-bus op x2 heeft kunnen instellen (de 16/2/2 en 8/8/2 instellingen enzo) en dan ook lagere snelheden kreeg. Dat het niet ondersteund wordt betekent wellicht niet automatisch dat het ook niet werkt.

[psy]

Heb ook al XP op mijn derde 15k4 apart gezet, en de RAID0 apart gebenchd. Zelfde resultaat helaas.

Zouden de settings op mijn schijven nog enige invloed hebben?

Setting Description
Write Cache Enabled (WCE) On, SCSI Write command may return as soon as data has been received from host. Off, SCSI Write command may not return status until data has been written to media.
Read Cache Disabled (RCD) On, SCSI Read command must access the media. Data cannot come from the cache. Off, SCSI Read command may access the cache or the media.
Performance Mode (PM) On (Desktop Mode), PM indicates that the number of cache segments is fixed to the value set in Caching Page. Off (Server Mode), PM indicates that the drive will optimize the number of segments depending on the command activity observed by the drive.
Just In Time (JIT) JIT (Just In Time) bits allow you to enable and disable certain seek speeds. Slow, has the quietest audio operation with a reduction in performance. This can also reduce power consumption (from seek activity). Medium, allows all seek speeds and selects the quietest speed that doesn't hurt performance. Fast, has the loudest audio operation but enhances performance speed.

Vooral de eerste twee heb ik mijn twijfels over. Maar het is meer wishfull thinking denk ik. Helaas moet ik ze weer op een andere controller zetten om dit te kunnen wijzigen.

[maratropa]

Je zou de schijven even aan een normale scsi controller kunnen hangen en ze even nagaan met seatools enterprise. Je kan seagate ook mailen of er nog firmware voor is. (of zijn het hp/dell modellen ofzo?)

[smvs]

Je kan ook nog proberen om de schijven in een andere modus te zetten (desktop/server), zie hier: http://forums.storagereview.net/index.php?showtopic=24243 (en geniet daar van mijn strakke engels )

Volgens deze review kan de modus nogal schelen: http://www.storagereview....0041116ST3146754LW_1.html

Met dat programma sdparm heb je best kans dat je gewoon dat soort settings kunt veranderen als de schijven aan je raid controller hangen, het valt te proberen.

[ Voor 43% gewijzigd door smvs op 19-01-2007 12:03 ]

[maratropa]

Dat desktop / server verschil komt toch voor uit de segmentatie van de cache? Ook instelbaar in seatools enterprise dacht ik.

[psy]

Ik heb er eerder al wat aan gewijzigd toen ze nog aan mijn 29160 zaten, ze staan nu op desktop mode. Dat programma Sdparm ken ik niet, eens proberen.

Ik heb op het 2Cpu forum al heel wat topics doorgespit en daar kwam ik een paar keer tegen dat de cache instellingen op de schijf ook nog invloed hebben.

Overigens oudere firmware op de 320-2e heb ik nog niet geprobeerd.
De schijven zelf kan ik niet wijzigen qua firmware, want het zijn inderdaad Dell oem's.

[ Voor 20% gewijzigd door psy op 19-01-2007 13:12 ]

[maratropa]

Ik vraag me uberhaupt af wat de 320-2E met de cache op de schijven doet. Helemaal uitschakelen? (omdat er al cache op de controller zit enzo)

[psy]

Ik betwijfel dat, volgens mij kan de LSI dat niet uitschakelen. Ik kan me wel voorstellen dat die twee cache's elkaar mogelijk beinvloeden. Maar dan zou jij daar ook last van moeten hebben, want ik ga er even vanuit dat jij dat niet hebt uitgeschakeld bij jouw Fujitsu's.

[ Voor 20% gewijzigd door psy op 19-01-2007 13:32 ]

[smvs]

psy schreef op vrijdag 19 januari 2007 @ 13:10:
[...]
De schijven zelf kan ik niet wijzigen qua firmware, want het zijn inderdaad Dell oem's.

Er is een post van iemand op het storagereview forum die wel gewoon Seagate firmware in een OEM schijf heeft gekacheld en dat ging goed. Op afraden van Seagate omdat je dan zogenaamd je schijf zou slopen. Kan het topic niet meer vinden helaas.

[psy]

smvs schreef op vrijdag 19 januari 2007 @ 15:57:
[...]

Er is een post van iemand op het storagereview forum die wel gewoon Seagate firmware in een OEM schijf heeft gekacheld en dat ging goed. Op afraden van Seagate omdat je dan zogenaamd je schijf zou slopen. Kan het topic niet meer vinden helaas.

Aha... ik heb het wel geprobeerd met seagate enterprise maar volgens mij pikte hij dat niet

[psy]

Update.
Heb een andere identieke 320-2e erin gedaan, en wat blijkt, exact hetzelfde resultaat. Heb de BBU ook eens gewisseld met een batterijloze 128 MB variant, resultaat exact hetzelfde.

Extreem verdacht dus nu: mijn SCA adapters, en AL mijn kabels.

[maratropa]

En de schijven?

[psy]

Ja, wie weet. Maar deze zijn nieuw, en in single mode doen ze het perfect.
Al zou ik nu graag eens gewone 68 pins schijven willen proberen maar die heb ik niet.

[Verwijderd]

Met scsitool kan je de on-disk firmware wel editen..

[psy]

Heeft iemand ervaringen met SCA adapters in een RAID0 configuratie? Mijn adapters zijn van de 'goedkope' soort en ik denk dat daar het probleem ligt. Helaas zijn goede adapters in Europa gewoon niet te krijgen althans niet die van het soort wat ze bijvoorbeeld bij SCSI4ME hebben. Ik kan ze daar bestellen maar hoor graag de ervaringen van anderen als dat mogelijk is.

[psy]

Nou ik ben er uiteindelijk toch achtergekomen, het lag aan de disks.
Het kon nog maar aan drie dingen liggen.
1. SCA adapters
2. De Seagate Cheetah 15k.4 disks
3. Het Asus P5W-DH moederbord

De SCA adapters vervangen was de goedkoopste optie om eerst te proberen. Helaas is echt nergens in Europa een ander soort adapter te bestellen als die ik al had:


Bij Scsi4me.com heb ik dus maar via eBay de ‘betere’ soort besteld:


Helaas gaf dit exact hetzelfde resultaat
Nou leek het me wel HEEL erg onwaarschijnlijk dat het aan het moederbord lag. Deze is vrijwel nieuw en op het 2CPU forum is een user die vrijwel dezelfde configuratie heeft en wel een fatsoenlijke RAID0 waarde heeft met zijn LSI 320-2e. Dus ik ging op zoek naar andere scsi schijven met een normale 68pins aansluiting. Die vond ik bij Alternate, vier Maxtor Atlas 15K II schijven voor een scherp prijsje van 99 euro per stuk (het is inmiddels bijna een prestigezaak geworden, ik MOEST het toch kunnen oplossen!).

En zie, alvast met twee schijven snel aangesloten, default waardes:





Zo, dat is stukken beter en veel meer in de lijn der verwachting! Nu zijn die Atlas II schijven zowiezo al ietsje sneller dan de 15k4’s, maar dit verbaasde me toch wel. Blijkbaar was er iets in die SCA schijven wat ervoor zorgde dat ze niet presteerde in een RAID0 config. Misschien toch de Dell firmware?

[ Voor 0% gewijzigd door psy op 21-02-2007 12:26 . Reden: typo's ]