[Debian] I/O Problemen met 3Ware Escalade controller*

[DiedX]

Hi allen,

Ik beheer een Debian server. Deze heb ik uit laten rusten met een 3Ware Escalade controller, vanwege zijn goede ondersteuning in Linux.

Sinds een week is het niets meer dan doffe ellende met de machine:

Ik ben bezig met regulier onderhoud. Ik bedoel dan de nodige apt-getjes, en eens nakijken hoe en wat er draait. Dit draait allemaal perfect, behalve dat er een 2.4.26 kernel op draait. Ik besluit deze te upgraden.

Na de kernel upgrade (.config meenemen, en erin hacken, perfect werken) besluit ik na een paar dagen mijn firewall eens te installeren. (Zie ook [rml][ IPTABLES] Gek word je ervan: No chain/target/match[/rml]). Dit gaat niet lekker, en er blijkt een kernelmodule niet geladen te kunnen worden.

Tevens (!) kom ik er achter dat 1 van de HDD's aan de 3ware niet goed meer is. Ik geef opdracht aan de leverancier om dit te vervangen.

De eigenaar van de server hartstikke tevreden. (ik heb op dit moment het up-zijn van de server niet bekeken) Ik besluit na een aantal dagen toch verder te gaan met de firewall, maar kom niet op de server. Eigenaar gaat naar TC2.

Daar aangekomen krijgt hij allerlei I/O errors te zien (I/O ERROR: DEV(08:02), sect 233788712). Ik schrik me lens! Het blijkt dat de RAID-array verdwenen is en we besluiten voor vanavond (vr avond) een afspraak te maken, en dan de boel te rebuilden.

De hardware-leverancier is vandaag met de eigenaar naar TC2 gegaan, en heeft de machine aangezet. Alles lijkt op het eerste ook goed te functioneren Hij vervangt de RAID kaart, en de HDD, en de harde schijf gaat rebuilden.

Tot 14:38 vandaag. Ik probeer vanavond in te loggen, om eea aan services weer aan te zetten, en wat scherst mijn verbazing:

code:

 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617433, block=19234834
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617429, block=19234834
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617450, block=19234835
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617435, block=19234834
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617458, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617461, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617463, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617442, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617444, block=19234835
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617432, block=19234834
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617431, block=19234834
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617446, block=19234835
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617422, block=19234834
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617421, block=19234834
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617449, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617459, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617455, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617462, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617456, block=19234835
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617434, block=19234834
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617457, block=19234835
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617440, block=19234834
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617415, block=19234834
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617517, block=19234837
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617512, block=19234837
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617505, block=19234837
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617506, block=19234837
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617516, block=19234837
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617469, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617471, block=19234835
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617514, block=19234837
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617513, block=19234837
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617465, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617454, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617460, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617453, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617464, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617468, block=19234835
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617427, block=19234834
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617437, block=19234834
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617510, block=19234837
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617445, block=19234835
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617413, block=19234834
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617507, block=19234837
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617470, block=19234835
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617425, block=19234834
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617467, block=19234835
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617509, block=19234837
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617515, block=19234837
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617511, block=19234837
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617466, block=19234835
 I/O error: dev 08:02, sector 153878680
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617452, block=19234835
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617518, block=19234837
 I/O error: dev 08:02, sector 153878696
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617508, block=19234837
 I/O error: dev 08:02, sector 153878672
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9617410, block=19234834
 I/O error: dev 08:02, sector 221253784
 I/O error: dev 08:02, sector 221253784
 I/O error: dev 08:02, sector 221253784
 I/O error: dev 08:02, sector 221253784
EXT3-fs error (device sd(8,2)): ext3_readdir: directory #13828099 contains a hole at offset 0
 I/O error: dev 08:02, sector 221253784
 I/O error: dev 08:02, sector 221253784
EXT3-fs error (device sd(8,2)): ext3_readdir: directory #13828099 contains a hole at offset 0
 I/O error: dev 08:02, sector 221253784
 I/O error: dev 08:02, sector 7347512
 I/O error: dev 08:02, sector 7347512
 I/O error: dev 08:02, sector 6833768
 I/O error: dev 08:02, sector 6833768
ext3_abort called.
EXT3-fs abort (device sd(8,2)): ext3_remount: Abort forced by user
ext3_abort called.
EXT3-fs abort (device sd(8,2)): ext3_remount: Abort forced by user
ext3_abort called.
EXT3-fs abort (device sd(8,2)): ext3_remount: Abort forced by user
ext3_abort called.
EXT3-fs abort (device sd(8,2)): ext3_remount: Abort forced by user
 I/O error: dev 08:02, sector 6833768
 I/O error: dev 08:02, sector 6833768
 I/O error: dev 08:02, sector 6829624
 I/O error: dev 08:02, sector 6829624
 I/O error: dev 08:02, sector 6815952
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=426242, block=851994
 I/O error: dev 08:02, sector 7602328
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=475187, block=950291
 I/O error: dev 08:02, sector 6815912
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=426101, block=851989
ext3_abort called.
EXT3-fs abort (device sd(8,2)): ext3_remount: Abort forced by user
ext3_abort called.
EXT3-fs abort (device sd(8,2)): ext3_remount: Abort forced by user
ext3_abort called.
EXT3-fs abort (device sd(8,2)): ext3_remount: Abort forced by user
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175099, block=18350099
 I/O error: dev 08:02, sector 7344320
 I/O error: dev 08:02, sector 7344320
 I/O error: dev 08:02, sector 7344456
 I/O error: dev 08:02, sector 7344456
 I/O error: dev 08:02, sector 7344456
 I/O error: dev 08:02, sector 7344456
 I/O error: dev 08:02, sector 193462416
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=12091393, block=24182802
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175042, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175045, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175052, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175062, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175047, block=18350098
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175079, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175095, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175078, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175091, block=18350099
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175068, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175069, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175048, block=18350098
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175073, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175098, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175082, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175087, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175083, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175086, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175088, block=18350099
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175054, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175055, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175056, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175057, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175058, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175059, block=18350098
 I/O error: dev 08:02, sector 146800784
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175060, block=18350098
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175084, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175081, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175093, block=18350099
 I/O error: dev 08:02, sector 146800792
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9175080, block=18350099
 I/O error: dev 08:02, sector 147325072
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9207809, block=18415634
 I/O error: dev 08:02, sector 149684368
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=9355265, block=18710546
 I/O error: dev 08:02, sector 146810496
 I/O error: dev 08:02, sector 146810496
 I/O error: dev 08:02, sector 6815960
EXT3-fs error (device sd(8,2)): ext3_get_inode_loc: unable to read inode block - inode=426276, block=851995

IK WORDT GEK!. Rebooten lukt niet meer, de partities zijn ondertussen read-only gemount.

Het file-system lijkt corrupt, en daar valt nog wat voor te zeggen. Maar waarom die I/O errors?? De kaart is vervangen, en de harde schijven ook!

Wie heeft een idee?

[defusion]

het KAN ook iets met debian te maken hebben. Ik had namelijk hetzelfde probleem met een promise ataraid kaartje.
Toen gewoon gentoo dr'op gezet, en geen problemen meer.
Ik heb geen idee in hoeverre zoiets mogelijk is, maar probeer eens een andere distro.
Ik had dus geen echte oplossing voor het probleem toendertijd.

[silentsnake]

@defusion

Ik mag aannemen dat z'n servertje het eerst wel goed deed met Debian. Maar het is inderdaad het proberen waard.

Zover ik begrijp heb je dus alles opnieuw gebouwd op je nieuwe kaart en schijven. Mocht een andere distributie ook niet helpen, zou ik toch denken dat het dieper ligt in je hardware. Gare CPU/mobo/geheugen wellicht.

[DiedX]

silentsnake schreef op 01 oktober 2004 @ 21:55:
@defusion

Ik mag aannemen dat z'n servertje het eerst wel goed deed met Debian. Maar het is inderdaad het proberen waard.

Zover ik begrijp heb je dus alles opnieuw gebouwd op je nieuwe kaart en schijven. Mocht een andere distributie ook niet helpen, zou ik toch denken dat het dieper ligt in je hardware. Gare CPU/mobo/geheugen wellicht.

De machine heeft 9 maanden perfect gedraaid. Hoe groot is de kans dat de voeding loopt de meuten?
Voor de duidelijkheid: een reinstall van het OS heeft /NOG/ niet plaatsgevonden. Voorlopig ziet het er als hardware uit, en dan ga ik het nog niet vervangen.

[defusion]

mmm, ja, dan heeft het waarschijnlijk toch iets met je hardware te maken ja.
maar zoals je zelf al aangaf was dit gebeurt na wat apt-getjes enzo, dus is er toch iets in de software veranderd. Dus ik zou de software absoluut niet uitsluiten.
Geheugen lijkt me sterk, mobo ook, voeding wel goed mogelijk. Aangezien de 3ware kaart en schijven vervangen zijn, lijkt het daar ook niet aan te liggen (of je hebt gewoon pech met 3ware ofzo)
Het eerste wat ik zou doen is een andere voeding proberen, geheugen testen, met smart of wat is het schijven testen, etc. gewoon de mogelijkheden uitschakelen totdat er nog maar 1 ding over is wat het kan zijn

[DiedX]

defusion schreef op 01 oktober 2004 @ 22:23:
mmm, ja, dan heeft het waarschijnlijk toch iets met je hardware te maken ja.
maar zoals je zelf al aangaf was dit gebeurt na wat apt-getjes enzo, dus is er toch iets in de software veranderd. Dus ik zou de software absoluut niet uitsluiten.

Erm, tussen de updates en de failure zit +- 4 dagen. Weliswaar niet genoeg om uit te sluiten, maar toch.

De grote ham-kaas vraag: waarom geeft hij I/O errors aan?
Voor de duidelijkheid: Debian stable, met hier en daar een backport-dpkgje....

[DiedX]

Ok, stap verder.... De 3Ware en schijven zijn overgeplaatst naar een desktopje, en draaien daar perfect. Ziet er naar uit dat de hardware (mobo/geheugen) het probleem vormden!

Bedankt allemaal!