[SCSI raid]sda: asking for cache data failed

[Verwijderd]

Server specs:

AMD opteron 270
Tyan thunder K8SE
LSI megaraid 320-2x
6 X 18.2GB U160 SCSI disks
2 disks in raid 1, channel 0
4 disks in raid 5, channel 1
OS: Centos 4.3

Bij het booten zie ik het volgende:
sda: asking for cache data failed
sda: assuming drive cache: write through
sdb: asking for cache data failed
sdb: assuming drive cache: write through

Ik weet totaal niet wat de oorzaak ervan is, en wat de mogelijke gevolgen zijn.

Als ik in anaconda.syslog kijk, zie ik het volgende:
<6>megaraid cmm: 2.20.2.6 (Release Date: Mon Mar 7 00:01:03 EST 2005)
<6>megaraid: 2.20.4.6 (Release Date: Mon Mar 07 12:27:22 EST 2005)
<6>megaraid: probe new device 0x1000:0x0407:0x1000:0x0532: bus 10:slot 0:func 0
<6>ACPI: PCI interrupt 0000:0a:00.0[A] -> GSI 27 (level, low) -> IRQ 217
<5>megaraid: fw version:[414C] bios version:[H429]
<6>scsi0 : LSI Logic MegaRAID driver
<6>scsi[0]: scanning scsi channel 0 [Phy 0] for non-raid devices
<6>scsi[0]: scanning scsi channel 1 [Phy 1] for non-raid devices
<6>scsi[0]: scanning scsi channel 2 [virtual] for logical drives
<5> Vendor: MegaRAID Model: LD 0 RAID1 17G Rev: 414C
<5> Type: Direct-Access ANSI SCSI revision: 02
<5>SCSI device sda: 35155968 512-byte hdwr sectors (18000 MB)
<3>sda: asking for cache data failed
<3>sda: assuming drive cache: write through
<5>SCSI device sda: 35155968 512-byte hdwr sectors (18000 MB)
<3>sda: asking for cache data failed
<3>sda: assuming drive cache: write through
<6> sda: sda1 sda2
<5>Attached scsi disk sda at scsi0, channel 2, id 0, lun 0
<5> Vendor: MegaRAID Model: LD 1 RAID5 51G Rev: 414C
<5> Type: Direct-Access ANSI SCSI revision: 02
<5>SCSI device sdb: 105467904 512-byte hdwr sectors (54000 MB)
<3>sdb: asking for cache data failed
<3>sdb: assuming drive cache: write through
<5>SCSI device sdb: 105467904 512-byte hdwr sectors (54000 MB)
<3>sdb: asking for cache data failed
<3>sdb: assuming drive cache: write through
<6> sdb: sdb1
<5>Attached scsi disk sdb at scsi0, channel 2, id 1, lun 0


Heeft iemand enig idee wat er aan de hand is?

[ Voor 8% gewijzigd door Verwijderd op 14-05-2006 13:54 ]

[maratropa]

Controller in de bios terug gezet op factory defaults? (Dat laat je raid configuratie intact)

Dit zijn de schijven uit je ander topic niet? Die oude 15k schijven van Compaq?

De log heeft het over de drive cache..

Wat ik wel eens gehoord heb is dat dus OEM's zoals Compaq rare dingen met de cache doen, zoals de cache helemaal uitzetten in de firmware, omdat ze vaak aan raid controllers hangen met hun eigen cache. (Ook doen controllers dit zelf wel eens)

Maar doet de controller dit ook met 1 willekeurige schijf?

Werkt eigenlijk alles? Zijn de volumes wel benaderbaar? Hoe benchen ze? Alles loopt nu wel op u160?

Zowieso kun je het beste je schijven splitsen over de kanalen per array. Dus voor de raid 1 op elk kanaal een schijf en voor de raid 5 op elk knaal 2 schijven.

[ Voor 6% gewijzigd door maratropa op 14-05-2006 14:13 ]

[Verwijderd]

Dit zijn inderdaad de schijven uit mijn andere topic. Ik heb de controller nog niet terug gezet op factory defaults.

Of de controller dat ook doet met 1 schijf weet ik niet. Ik heb dat niet getest omdat die error mij pas opviel bij het plaatsen van de server in de datacenter.

Alles werkt wel. Ik heb elke array op z'n eigen channel gezet. En elke array heeft z'n eigen LVM.

Bench:
/dev/sda:
Timing cached reads: 4296 MB in 2.00 seconds = 2148.33 MB/sec
Timing buffered disk reads: 120 MB in 3.05 seconds = 39.40 MB/sec
[root@srv01 ~]#


/dev/sdb:
Timing cached reads: 4184 MB in 2.00 seconds = 2090.23 MB/sec
Timing buffered disk reads: 308 MB in 3.01 seconds = 102.27 MB/sec

Zie mijn andere topic voor het scsi-2 "probleem", het heeft te maken met backward compatibiliteit ofzo.

Waarom kan ik de arrays beter opsplitsen over de 2 kanalen? Ik dacht dat het beter was voor de performance om elke array op een eigen kanaal te zetten.

[maratropa]

Het maakt soms meer uit en soms minder, maar voorbeeldje, 2 u160 schijven die ik had, deden samen in raid 0 op 1 scsi kanaal ongeveer 90 mb sustained. splitste ik deze 2 schijven, door ze elk hun eigen kanaal te geven, kwam ik aan de 120 mb per sec.

Volgens mij is het bij scsi veel minder zo (itt pata) dat meer devices op 1 kanaal elkaar in de weg zitten maar dat gebeurt toch een klein beetje blijkbaar. Door de schijven te verdelen verdeel je de "load" beter.

Bij u320 schijven en controller had ik dit effect al veel minder. Dus je komt er alleen maar achter door te veranderen en te benchen. Bij het raid 1 volume zal het wel niet veel uitmaken maar misschien wel wat bij het raid 5 volume.

En als ik die raid 5 lees score zie, lijkt het me dat je schijven gewoon wat ouder zijn en dus maar 40mb per stuk doen, en dan lijken me de scores wel ok.

En al ken ik de foutmelding niet, het lijkt me dat de controller data uit de schijfcache wil checken maar dat deze er niet is. Dus misschien dat de cache op de schijven uit staat. Er zit cache op je controller dus een ramp lijkt me dat niet, en als alles verder stabiel werkt....

( trouwens, "factory defaults" resetten op de 320-2E laat de config zoals deze is, ik neem aan op de 320-2X ook )

[ Voor 20% gewijzigd door maratropa op 14-05-2006 14:34 ]

[Verwijderd]

Dus het is beter om de load over de kanalen te verdelen... Ik ga morgen naar redbus om het eens uit te proberen. Verder werkt alles gewoon goed en stabiel.
Misschien weet LSI er meer vanaf, ik heb ze net een mailtje gestuurd.
Schijfcache, kan ik dat veranderen in de BIOS?

[maratropa]

Verwijderd schreef op zondag 14 mei 2006 @ 14:41:
Dus het is beter om de load over de kanalen te verdelen... Ik ga morgen naar redbus om het eens uit te proberen. Verder werkt alles gewoon goed en stabiel.
Misschien weet LSI er meer vanaf, ik heb ze net een mailtje gestuurd.
Schijfcache, kan ik dat veranderen in de BIOS?

Fijne support van LSI laatst toen ik ze mailde, snelle replies.
In m'n 320-2E heb ik nog geen opties kunnen vinden op de cache op de schijven te beheren. Ik weet ook niet wat deze kaarten nou eigenlijk met de schijfcache doen.

Misschien dat ze alleen de read cache uitschakelen als je geen bbu hebt, en ook de write als je dat wel hebt en read-back cache aanhebt ofzo, dunno.

Soms moet je de schijven dan aan een andere -niet- raid controller hangen om iets met de schijfcache te kunnen doen.

Kun je de schrijfprestaties ook benchen? (ik zag nu alleen de read)

[Verwijderd]

Ik ken geen linux command om de write prestaties te checken.

[maratropa]

Naja, je hebt een bbu toch? Stel dat firmwarematig de cache op de schijven uit staat, wat wel zou kunnen met compaq, dan is het toch niet zo'n ramp door de cache op de controller.
( Write back (mits BBU), adaptive read ahead, cached IO schijnt vaak de beste "real world" cache policy te zijn btw )

[Verwijderd]

Nope. ik heb geen BBU, maar ben wel van plan om er een te kopen.
Mijn instellingen zijn:
- stripe size: 64kb
- write policy: write-through
- read ahead: normal
- cache policy : direct I/O

[Verwijderd]

Antwoord van LSI:

HI,

First of all, Only RedHat and SuSE commercial version of Linux are supported by LSI. No derivatives of RedHat other Linux versions are supported by LSI.

Information given does not constitute any errors. It shows that there is no data in the Cache to write. This happens only during the Boot time.

You could check the Logical Drive settings via MegaRC command downloadable from LSI web Site

Regards