[LSI megaraid 320-2x] Slechte performance.

[Verwijderd]

Specs:
LSI megaraid 320-2x, 128 MB
settings:
- stripe size: 64kb
- write policy: write-through
- read ahead: normal
- cache policy : direct I/O

6 X 18.2 GB, U160, 15k disks

Channel 1: 2 disks array @ raid 1 (OS)
Channel 2: 4 disks array @ raid 5 (Data)

Verdere server specs:
Tyan thunder k8se
2 GB DDR400
AMd opteron 270 (dual core, 2.0 ghz, 1mb L2 cache)
De server host een Vbulletin forum.

Bij het uitvoeren van hdparm -tT /dev/sda kom ik niet boven een snelheid vann 40 mb read!
Wat kan ik het beste veranderen aan de controller settings om mijn performance te boosten? Het moet wel veilig blijven, want ik heb geen BBU.

[ Voor 6% gewijzigd door Verwijderd op 01-05-2006 21:55 ]

[maratropa]

Die 40mb, doet met altijd meteen aan UW/SE denken.

Kabels in orde, terminator in orde? (converters in orde?) Kun je ergens (bijvoorbeeld in de power console) zien of alles ook echt op u160/u320 loopt?

Wat voor generatie schijven zijn het?

[ Voor 10% gewijzigd door maratropa op 01-05-2006 22:29 ]

[Verwijderd]

De kabels zijn denk ik wel in orde, het zijn nieuwe rounded kabels. Die heb ik gekregen bij de aanschaf van de SCSI SCA backplane.
Terminated via de controller.
Wat betreft de power console, daar zal ik zo even naar kijken. Maar in de Bios staat het ingesteld op U320.

[maratropa]

Naja instellen is 1 ding, daadwerkelijk lopen op 320 is weer een ander.

Zo had ik eerst op een lsi u320 kaart een kabel met een SCA converter aan een schijf, en die combinatie wilde alleen maar op u160 lopen, ook al stelde je u320 in.
Nu op een 320-2E met een andere kabel doet die converter/schijf wel u320.

En die backplane is nieuw? Of een oude? Die ondersteunt ook u160? En die backplane doet de termination?

(Rounded kabels geven trouwens wel kleine "performance drops", omdat er meer interferentie is.)

[ Voor 11% gewijzigd door maratropa op 01-05-2006 22:42 ]

[Verwijderd]

De backplane is nieuw. Het is een 2*4 ports SCA SCSI backplane van chenbro, voor een chenbro RM311 case. Ik weet eigenlijk niet of het U160/U320 ondersteund! Dat moet ik zeker eens ff navragen, thnx daarvoor.
De termination verloopt gewoon via de LSI MR 320-2x .. toch..? Dat is iig wat ik heb ingesteld in de BIOS.

Zie foto's van het geheel (let niet op de zooi)

[maratropa]

Een scsi "chain" moet van 2 kanten ge-"terminate" worden.

De ene kant is de controller, en die terminate ook.

Maar de andere kant moet je actief "terminaten" met een terminator. Of dat zijn losse kastjes die je op je kabel zet, of ze zitten vast op het einde van de kabel, OF je backplane doet het (of niet)

Doet die het? (terminaten?)

Als het goed is vanalles in te stellen op die backplane, ID's, termination, whatevah.

En als ie nieuw is zal hij wel u320 zijn.

[ Voor 10% gewijzigd door maratropa op 01-05-2006 23:08 ]

[Verwijderd]

*Pakt backplane handleiding erbij en word er niet veel wijzer uit :)*

Er staat niets over termination in qua switches ofzo.
Zie http://www.chenbro.com.tw...e206ff1dc12dc8b0cd6f04790

Ik heb alles op OFF staan, behalve HDD_MOTOR_DLY_START op ON

Wat is NC eigenlijk?

[maratropa]

Ik denk dat je een u320 LVD terminator op de scsi-out moet hebben zitten, om de boel te "terminaten" als ik het zo zie.

Nu draait de bus dan denk ik zonder "termination" en schakelt ie automatisch naar UW/SE modus, die 40mb per sec max is. (wat je dus even moet checken in je power console, of als je zoiets in linux hebt)

[ Voor 19% gewijzigd door maratropa op 01-05-2006 23:13 ]

[Verwijderd]

Ik heb 2 terminators op de OUT's gezet.

hdparm -tT /dev/sda
Timing cached reads: 4304 MB in 2.00 seconds = 2152.33 MB/sec
Timming buffered disk reads: 120 MB in 3.04 seconds = 39.41 MB/sec

Kan het zijn dat de controller of iets anders de schijven als scsi-2 ziet? Want ik blijf het vreemd vinden dat het maar tegen de 40 MB/sec read blijft aantikken.


Power console moet ik zo dan maar even installeren, want ik heb vanavond een clean install gedaan van centos 3.4 64-bit.

[ Voor 16% gewijzigd door Verwijderd op 01-05-2006 23:20 ]

[raymondw]

Ik heb heel wat testen gedaan met heel wat verschillende controllers, maar een LSI zonder BBU is ALTIJD traag tenzij je dus onveilig te werk gaat.
Dit is wat ik met de meeste controllers als waardes heb gezien (even uit het blote hoofd)
Zonder BBU 5write, 40read mb
Met BBU 90write, 150read mb
(Alle testen die ik draaide zijn onder Windows geweest met IOmeter en een standaard ICF en onder Linux met hdparm)

Niet nader te noemen fabrikanten leveren deze hell zonder problemen aan hun klanten.
Ik kan je hier maar 1 advies in geven koop de BBU als die op de kaart past!

Wil je het echt ff testen, maak een gecontroleerde! ! ! backup, zet het dan even aan in de RAID BIOS, test je performance en zet het dan weer uit.

Garandeer ik dat je toch op zoek gaat naar een BBU of een goeie kaart

[Verwijderd]

Raymond, beweer je dat een LSI MR 320-2X niet goed is?
Ik was al zeker van plan om er een BBU bij te kopen, en het geheugen te upgraden naar minimaal 512 MB DDR

[maratropa]

Nja...Die cached reads is weer helemaal niks mis mee.

Maare, welke array test je nu? En wat voor schijven zijn het precies? (merk/typenummer)

---

LSI slecht zonder BBU is een beetje kort door de bocht denk ik. Het is trouwens niet zo zeer de BBU maar de veilige write back cache policy die de BBU mogenlijk maakt. En dat merk je bij de ene raid level meer dan bij de ander. Bij raid 5 is het goed merkbaar.

Ik heb nu geen BBU en raid 0 is zeer snel, sequentieel iig.

[ Voor 54% gewijzigd door maratropa op 01-05-2006 23:28 ]

[Verwijderd]

gladiool schreef op maandag 01 mei 2006 @ 23:24:
Nja...Die cached reads is weer helemaal niks mis mee.

Maare, welke array test je nu? En wat voor schijven zijn het precies? (merk/typenummer)

Raid 1 array (2 schijven voor OS).
18.2 GB, 15k, WIDE ultra 3 SCSI

Van compaq

model nr: BF01863644

Deze schijven komen uit een Compaq storageworks 4354R, +/- 5 jaar oud.

http://h18004.www1.hp.com...nclosure/description.html

[maratropa]

In princiepe zou raid 1 wel een speedboost moeten geven met lezen, maar dat varieert ook wel.
Vergeet niet dat die schijven al behoorlijk oud zijn, het zijn intern vast seagate 15k-36lp's of als je pech hebt eerste generatie 15k's Die eerste generatie 15k schijven deden maximaal ongeveer 40 mb per seconde. Dus als je dat zit te benchen dan klopt dat, maar ik zou dus eerst kijken of de bus echt op u320 loopt, want dan kun je al meer zeggen.

[Verwijderd]

Ok, ik zal dat morgen eens met power console bekijken.
Wat mij zojuist te binnen schiet, is dat de controller de schijven als scsi-2 schijven herkende, maar daar heb ik verder geen aandacht aan gegeven. Ik weet ook niet meer waar ik dat gezien heb. Misschien is dat ook wel te zien in power console.

----

Hoe kan ik er eigenlijk achter komen, wat voor schijven het daadwerkelijk zijn? Ik hoop toch echt niet dat het een van de eerste generatie 15k schijven zijn!

[ Voor 22% gewijzigd door Verwijderd op 02-05-2006 00:00 ]

[maratropa]

Verwijderd schreef op maandag 01 mei 2006 @ 23:59:
Ok, ik zal dat morgen eens met power console bekijken.
Wat mij zojuist te binnen schiet, is dat de controller de schijven als scsi-2 schijven herkende, maar daar heb ik verder geen aandacht aan gegeven. Ik weet ook niet meer waar ik dat gezien heb. Misschien is dat ook wel te zien in power console.

----

Hoe kan ik er eigenlijk achter komen, wat voor schijven het daadwerkelijk zijn? Ik hoop toch echt niet dat het een van de eerste generatie 15k schijven zijn!

Soms is dat te achterhalen via alle nummertjes die er op staan. Beetje zoeken op internet.

[wezep]

Een foto van de bovenknat van de schijf zegt ook al heel veel.
Vaak is daar wel aan te zien om welk merk (Seagate, Maxtor) het precies gaat en welk typenr.

[Verwijderd]

wezep schreef op dinsdag 02 mei 2006 @ 08:34:
Een foto van de bovenknat van de schijf zegt ook al heel veel.
Vaak is daar wel aan te zien om welk merk (Seagate, Maxtor) het precies gaat en welk typenr.

Op de achterkant zie ik een chip met:
100280-502
Seagate
lucent 1303T
0051KC 4426325

Verder nog wat chips van samsung en infineon

[ Voor 5% gewijzigd door Verwijderd op 02-05-2006 09:52 ]

[maratropa]

Dat lijkt me een 15k, de allereerste 15k schijf, of iig daar in de buurt.

Alleen je lens flare verstopt wat cijfertjes.

[ Voor 26% gewijzigd door maratropa op 02-05-2006 10:17 ]

[Verwijderd]

gladiool schreef op dinsdag 02 mei 2006 @ 10:16:
Dat lijkt me een 15k, de allereerste 15k schijf, of iig daar in de buurt.

Alleen je lens flare verstopt wat cijfertjes.

Ik heb al op die cijfers gegoogled, maar kon er niets nuttigs over vinden.

[Verwijderd]

Als ik in de BIOS kijk naar physical drive information, dan zie ik staan. SCSI STANDARD: SCSI-2
Dat lijkt me niet helemaal te kloppen?

[maratropa]

Verwijderd schreef op dinsdag 02 mei 2006 @ 10:42:
Als ik in de BIOS kijk naar physical drive information, dan zie ik staan. SCSI STANDARD: SCSI-2
Dat lijkt me niet helemaal te kloppen?

denknie, scsi-2 zit in de regionen van 20-40mb, scsi/ultra-3 moet je hebben dacht ik.

Maar al gekeken wat power console zegt bij de adapter properties?

Want soms wordt de snelheid pas verhoogd als in het OS een driver geladen is.

Zo is tijdens het booten op mijn andere lsi adapter de snelheid van alle schijven 80mb per sec, en pas in het OS wordt het u320. (maar ik weet eigenlijk niet of dat ook zo bij de 320 raid kaarten gaat)

En je moet even op plaatjes googlen, daar zitten schijven tussen die erg op deze lijken.

[ Voor 26% gewijzigd door maratropa op 02-05-2006 11:14 ]

[Verwijderd]

Power console plus kan ik niet installeren, omdat het alleen beschikbaar is voor windows.
Wat ik wel heb kunnen installeren is Megaraid manager.

megaraid manager geeft de melding: failed to open driver node /dev/megadev0

No adapters found. Press any key to exit.

Vreemd, want centos ondersteund de kaart, en heeft de drivers zelf geinstalleerd.


Als ik bij mn hardware browser kijk, zie ik bij raid installingen alleen
LSI logic / symbios logic megaraid staan.
Leverancier: onbekend
Stuurprogramma: megaraid_mbox

Volgens mij mis ik iets

--------
Edit:
Heb die file ff aangemaakt, en kan het proggie nu wel gewoon runnen.
Alleen het geeft nog steeds scsi-2 aan

[ Voor 11% gewijzigd door Verwijderd op 02-05-2006 14:13 ]

[maratropa]

Verwijderd schreef op dinsdag 02 mei 2006 @ 13:31:
Power console plus kan ik niet installeren, omdat het alleen beschikbaar is voor windows.
Wat ik wel heb kunnen installeren is Megaraid manager.

megaraid manager geeft de melding: failed to open driver node /dev/megadev0

No adapters found. Press any key to exit.

Vreemd, want centos ondersteund de kaart, en heeft de drivers zelf geinstalleerd.


Als ik bij mn hardware browser kijk, zie ik bij raid installingen alleen
LSI logic / symbios logic megaraid staan.
Leverancier: onbekend
Stuurprogramma: megaraid_mbox

Volgens mij mis ik iets

--------
Edit:
Heb die file ff aangemaakt, en kan het proggie nu wel gewoon runnen.
Alleen het geeft nog steeds scsi-2 aan

Dus iets zorgt er voor dat het niet op u160 loopt. De kabels, de terminator, de backplane of de schijven.

Voor hetzelfde geld zijn de schijven zo oud dat er een probleempje is tussen de schijven en de controller, of zit er rare compaq firmware in de schijven.

Iig moet je elk onderdeel apart uitsluiten, door hem te tijdelijk te vervangen oid.

[Verwijderd]

..

[ Voor 100% gewijzigd door Verwijderd op 03-05-2006 20:00 ]

[Verwijderd]

Bestaat er net zoiets als een CMOS reset ofzo voor die controllers? Heb er niets over kunnen vinden.

[raymondw]

In de meeste gevallen haalt dat niets uit.
Voor zover ik weet kun je alleen de raid config resetten.

De link naar de fabrikant geeft iig weer dat je niet hoeft te kijken naar id's.
Indien de kabels etc er bij werden geleverd vermoed ik dat termination ook word gedaan door het backplane.

Ik ga even voor je kijken wat ik hier kan vinden.

[Verwijderd]

Het boot probleem is inmiddels opgelost. Maar de controller herkent de schijven nog steeds als scsi-2, terwijl het scsi-3 schijven zijn. Ik heb nog eens naar info gezocht over de backplane, en volgens mij doet de backplane aan auto-termination.

[maratropa]

Misschien dat je een wat nieuwere sca schijf ergens vandaan kan toveren om even te testen of het aan die schijven licht?

[Verwijderd]

gladiool schreef op woensdag 03 mei 2006 @ 11:35:
Misschien dat je een wat nieuwere sca schijf ergens vandaan kan toveren om even te testen of het aan die schijven licht?

Je hebt gelijk, dat ik daar nog niet aan gedacht heb! Ik ga even rondvragen of iemand een SCA schijfje voor me heeft.
Ik heb contact opgenomen met LSI, en zij zeggen dat het aan de backplane ligt. Foute backplane firmware ofzo.

[Verwijderd]

MIsschien een beetje off-topic. Maar ik krijg de volgende melding bij een hdparm /dev/sda command:

HDIO_GET_MULTICOUNT failed: invalid argument
readonly = 0 (off)
readahead = 256 (on)
gemoetry = 2188/255/63, sectors = 17999855616, start = 0

Ik heb tot twee keer toe mijn schijven geformatteerd, en Centos opnieuw geinstalleerd. Maar ik blijf deze melding krijgen, terwijl ik dat eerst niet had.

Edit:
-----
Pff al die stress is niet goed, was -tT in de commandline vergeten.

[ Voor 10% gewijzigd door Verwijderd op 03-05-2006 16:20 ]

[Verwijderd]

Ik heb helaas niemand in mn directe omgeving gevonden die een SCA schijfje heeft.
Morgen even wat computerzaken bellen.

Weet iemand misschien een linux utility om firmware af te lezen/upgraden voor harde schijven?
Ik heb al gezocht, maar kon niets vinden. En zou het graag van iemand horen die er al ervaring mee heeft.

[maratropa]

Het zullen seagates zijn, en daar moet je serienummers naar toe sturen voordat je firmware krijgt. Maar het zijn Compaq's dus seagate zal je daar niet bij helpen. En Compaq ook niet zonder de server waar ze bij zaten, als ze er uberhaupt nog wat mee doen. En firmware van schijven flashen moet je altijd als laatste pas doen.

Maar als LSI zegt dat er wat is met de backplane, dan zou ik dat eerst eens onderzoeken. Hang 1 van die schijven met een sca converter aan een kabel aan de controller. Als alles dan wel op u160 loopt, weet je zeker waar het door komt.

[ Voor 8% gewijzigd door maratropa op 03-05-2006 19:44 ]

[Verwijderd]

gladiool schreef op woensdag 03 mei 2006 @ 19:43:
Het zullen seagates zijn, en daar moet je serienummers naar toe sturen voordat je firmware krijgt. Maar het zijn Compaq's dus seagate zal je daar niet bij helpen. En Compaq ook niet zonder de server waar ze bij zaten, als ze er uberhaupt nog wat mee doen. En firmware van schijven flashen moet je altijd als laatste pas doen.

Maar als LSI zegt dat er wat is met de backplane, dan zou ik dat eerst eens onderzoeken. Hang 1 van die schijven met een sca converter aan een kabel aan de controller. Als alles dan wel op u160 loopt, weet je zeker waar het door komt.

Wist ik maar wat de serienummer van de seagate schijf is. Waar kan ik dat normaal gesproken op vinden? Compaq heeft alleen drivers voor hun eigen servers/controllers.

[pixel]

Ik heb hier een soort gelijk systeem staan momenteel.

spec:
dual xeon bak 3.0Ghz 2Mb 800Mhz 1024 MB
een lsi 320-2x met BBU
2 maal een 73Gb 10K rpm seagate disk
raid setup:
RAID 1
stripesize 64K
writeback pol Writeback
Readpol Adaptive
cache pol Chached I\O
128Mb cache.
Rehat es 4 upd 3

Ik haal me hdparm Cached 1248,94Mb/s
buffered 72.96 Mb/s

Wat me opviel is dat je de termination op het backplane gebruikt.
Dit is ons door Chenbro afgeraden. Gebruik als je kan een echte externe terminator.
Heeft ons in het verleden ook wel een wat kopzorgen gegeven door de backplane termination te gebruiken.

Ik hoop dat je hier wat aan hebt.

[Verwijderd]

pixel schreef op donderdag 04 mei 2006 @ 17:18:
Ik heb hier een soort gelijk systeem staan momenteel.

spec:
dual xeon bak 3.0Ghz 2Mb 800Mhz 1024 MB
een lsi 320-2x met BBU
2 maal een 73Gb 10K rpm seagate disk
raid setup:
RAID 1
stripesize 64K
writeback pol Writeback
Readpol Adaptive
cache pol Chached I\O
128Mb cache.
Rehat es 4 upd 3

Ik haal me hdparm Cached 1248,94Mb/s
buffered 72.96 Mb/s

Wat me opviel is dat je de termination op het backplane gebruikt.
Dit is ons door Chenbro afgeraden. Gebruik als je kan een echte externe terminator.
Heeft ons in het verleden ook wel een wat kopzorgen gegeven door de backplane termination te gebruiken.

Ik hoop dat je hier wat aan hebt.

Ik heb 2 U320 LVD/SE terminators op de outputs van de backplane gezet. De backplane doet aan auto-termination, en ik weet niet hoe ik dat uit moet zetten want er is geen switch voor.

[pixel]

welk type backplane heb je dan? dan zal ik morgen even voor je kijken

[maratropa]

En heb je uberhaupt de schijven al los getest op de controller? Want als dat werkt, en LSI heeft het over een probleem tussen controller en backplane, dan weet je tenminste zeker dat het de combi controller-backplane is en niet controller-schijven.

[Verwijderd]

pixel schreef op donderdag 04 mei 2006 @ 21:33:
welk type backplane heb je dan? dan zal ik morgen even voor je kijken

Backplane voor chenbro RM311
artikel code: 84-331110-022

[Verwijderd]

gladiool schreef op donderdag 04 mei 2006 @ 22:24:
En heb je uberhaupt de schijven al los getest op de controller? Want als dat werkt, en LSI heeft het over een probleem tussen controller en backplane, dan weet je tenminste zeker dat het de combi controller-backplane is en niet controller-schijven.

Nope, nog niet. Maar dat ga ik morgen doen.

[Verwijderd]

Setup overzicht:

HDD's:
- Compaq BF01863664
- 18.2 GB, 15k RPM
- Wide ultra3 scsi (U160)
- LVD/SE

Bekabeling:
- Chenbro
- scsi ultra 320 cable

Terminators:
- Ultra 320M
- LVD/SE

Backplane:
- Scsi Ultra4

Termination via 2 LVD/SE terminators op de outputs van de backplane. (Er zit geen termination switch op de backplane!?)

Auto-termination op de controller enabled.

Backplane/HDD setup:
Channel 1 controller / port 1 backplane:
HDD 1 = ID 0
HDD 2 = ID 1

Raid 1.

--------

Channel 2 controller / port 2 backplane:
HDD 1 = ID 0
HDD 2 = ID 1
HDD 3 = ID 2
HDD 4 = ID 3

Raid 5

Backplane switch:

Switch 1 - 3 = ON (fan alarm disabled)
Switch 4 = OFF (temperatuur 50 graden)
Switch 5 = OFF (Hdd motor RMT_START_OFF)
Switch 6 = OFF (hdd motor DLY_START_OFF)
Switch 7 = OFF (SAF-TE
Switch 8 = OFF (NC)


Een technische medewerker van TCW vertelde mij dat de backplane en bijbehorde scsi kabels Ultra 4 zijn. Volgens hem ligt het aan de schijven.

Maar wat zeggen de anderen:
LSI:Het ligt aan de backplane
Seagate: Het ligt aan de backplane of misschien de firmware van de schijven
Chenbro: Het ligt aan de schijven

Dus ik ga de wijze raad van gladiool maar opvolgen, en een schijf direct op de controller aansluiten dmv een SCA converter!
Ik hoop toch echt dat het niet aan de schijven ligt, want daar kan ik geen nieuwe firmware op zetten.

Zie mail van seagate:
"Unfortunately, this/these drives came from an OEM, meaning our firmware
will not work for you. Updating with our firmware would kill the drive.
When Seagate manufactures drives for OEM's, these drives are designed to
their custom specifications. These design changes can cause the drive to
operate differently than general release drives. Since our OEM customers
consider these design changes proprietary information, Seagate has no
information or end user support available on these drives.

Please contact the manufacturer for further support.

Regards,
Seagate Technical Support "


"We are not allowed to alter the firmware except on standard distribution
drives. I have been a senior agent for a long time at Seagate and this has
always been the rule that we can not break. Even if we sent out the
firmware for a standard distribution drive it does a check on the drive
and would not update the firmware. If it did there is a good possibility
that it would make the drive unusable.

Seagate Technical Support"


P.s. Weet iemand nog een goed adresje voor een converter?


EDIT:
----------------------

Kreeg zojuist antwoord bij iemand van HP forums:

Hello,

the capabilities of the drive dictate if the SCSI ANSI version is set, and that
has to be set to SCSI-2 for backwards compatibility onto older controllers.
The indication of SCSI-2 does not mean the drive is Ultra-2 at all, it can be
aswell Ultra or Ultra3. Their is a difference in a disk being compliant to the
standard "ANSI SCSI-2" and it's speed which can be Ultra, Ultra-2 and Ultra-3, don't mix those two terms.

Some controllers use the ANSI SCSI information and some don't, the SCSI-2
indication is telling us what SCSI command set features this disk supports, not the speed.


The SCSI inquiry details in this case shows SCSI-II but this is often done for backward compatibility because those disk are also supported on ultra/ultra-II and ultra-III controllers.


If you really have performance problems you can measure, then it is not due to this.
Only a SCSI analyser trace will prove you at what exact speed the disks negotiate with the controller.


HTH

Kris

------

Wat is daarvan waar? Het zou zonde zijn als ik een converter zou kopen van 30 euro, en blijkt dat die kerel gelijk heeft.

[ Voor 24% gewijzigd door Verwijderd op 05-05-2006 13:39 ]

[maratropa]

Gewoon even vraag en aanbodje plaatjes, iemand heeft er vast nog wel 1tje liggen. Of anders MR@ (mr-at.nl)