HP-UX 10.2 heeft Kernel Panics: Troubleshooting

[JumpStart]

GRRRRR, en wéér is het HP9000 2240 workstation uit de lucht. Daar gaat mijn opvatting dat HP-UX zo stabiel is.

Als het nou een windows machine was, dan kon ik een slag slaan naar de reden van deze alternatieve vorm van BSOD, maar wat betreft HP-UX ben ik een eindgebruiker, ik heb er weinig verstand van.

De gebruikte software (DEFORM 3D) heeft het maanden lang gedaan zonder problemen, en nu ineens gaat het fout.

Er draaiden 3 DEFORM simulaties, ieder had volgens 'top' een MB of 100 in gebruik (De machine heeft 1024, zie .sig).

Mijn vraag:

Als er een kernel panic optreedt, kan er dan meteen gezegd worden op welk gebied het probleem zich voordoet ? (Met andere woorden: wijst dit dan eerder op hardware- of juist software problemen ?)

Helaas weet de systeembeheerder niet veel van HP-UX (ja, da's zwaar klote) en de persoon die wél veel van HP-UX afweet is nog 2 weken met vakantie.

Zijn er hier ervaren HP-UX gebruikers die tips hebben om, wat het probleem ook is, het probleem te isoleren ? (Oplossen maak ik me later wel druk om, eerst weten wat er hier in de fout zou kunnen gaan.)

[Coen Rosdorff]

Indirecte oplossing: Bel HP eens op. Meestal zit er wel goede support bij de licenties.

[Mior]

Kijk iig de log files eens na, en meestal geeft HP-UX ook de reden waarom hij een kernel panic krijgt.

[Verwijderd]

Een kernel panic is in principe nauwelijks tot niet traceerbaar. Vanuit mijn linux- en BSD-ervaring weet ik dat een traceerbare kernelfout in een OOPS wordt gerapporteerd. Zodra de kernel de kluts kwijt is geeft hij een OOPS als hij weet wat er fout is en anders een panic ("help ik weet het niet meer").

Probleem kan dus overal liggen. Als het stabiel heeft gedraaid zou je een reboot kunnen proberen. Helpt dat niet en is er geen nieuwe software in gebruik genomen (schakel dat uit en test als het wel zo is) dan denk ik eerlijk gezegd aan een hardware probleem..... En dat is gewoon trial en error testen (geheugenmodules verwijderen, kaartjes verwijderen) totdat ie weer stabiel is, dna heb je de fout gevonden.

[Mior]

Op woensdag 25 juli 2001 17:00 schreef beelzebubu het volgende:
[..]
Probleem kan dus overal liggen. Als het stabiel heeft gedraaid zou je een reboot kunnen proberen. [..]

Volgens mij heb je na een kernel panic weinig keus

[Verwijderd]

Op woensdag 25 juli 2001 17:06 schreef Phantom_ het volgende:

[..]

Volgens mij heb je na een kernel panic weinig keus

Oeps

[JumpStart]

Op woensdag 25 juli 2001 16:59 schreef Phantom_ het volgende:
Kijk iig de log files eens na, en meestal geeft HP-UX ook de reden waarom hij een kernel panic krijgt.

Mmm, Okay, kan jij hier iets van maken ?

15:38 Thu May 24 2001. Reboot after panic: , isr.ior = 0'8240064.40000000'437721c0
18:41 Mon Jun 25 2001. Reboot after panic: , isr.ior = 0'103400c1.40000000'de2015a0
15:55 Wed Jun 27 2001. Reboot after panic: , isr.ior = 0'3400d2.40000000'59e95e00
19:16 Wed Jul 04 2001. Reboot after panic: , isr.ior = 0'103400ca.40000000'4a427480
16:26 Thu Jul 05 2001. Reboot after panic: , isr.ior = 0'103400c1.40000000'cb608428
04:10 Sat Jul 07 2001. Reboot after panic: , isr.ior = 0'18340082.40000000'6ac09660
17:21 Tue Jul 24 2001. Reboot after panic: , isr.ior = 0'3400e2.40000000'9b842e60
16:00 Wed Jul 25 2001. Reboot after panic: , isr.ior = 0'83400e5.40000000'8208ce00

Bron: /etc/shutdownlog

[Mior]

isr.ior staat die file ergens op de hd waar een daemon gebruik van maakt?

Misschien is de file corrupt. Die ascii zooi, daar kan ik iig geen touw aan vastknopen.

edit: lijken wel geheugen adressen..

[JumpStart]

Op woensdag 25 juli 2001 16:56 schreef little_soundman het volgende:
Indirecte oplossing: Bel HP eens op. Meestal zit er wel goede support bij de licenties.

Ja, als de problemen aanblijven, dan zal het hier wel op uitdraaien ja...

[JumpStart]

Op woensdag 25 juli 2001 17:17 schreef Phantom_ het volgende:
isr.ior staat die file ergens op de hd waar een daemon gebruik van maakt?

Misschien is de file corrupt. Die ascii zooi, daar kan ik iig geen touw aan vastknopen.

edit: lijken wel geheugen adressen..

erhh, als root:

# find / -name isr.ior

Niets gevonden... Dus het is geen file. Wel moet er na de reboot eerst het file systeem hersteld worden op enkele devices.

[JumpStart]

... een stapje dichterbij...

Heerlijk! [Please add sufficient sarcasm!] Gisterenmiddag rond 16:00 had die HP9000 er ook geen zin meer in, en nu blijkt dat 'ie OOK tegen een uur of 20:00 alwéér een kernel panic gehad heeft.

Maar, na toch nog eens goed gekeken te hebben viel me het volgende ineens op. (Ik vraag me af waarom het me niet eerder is opgevallen, het is nogal duidelijk)

18:30 Fri Nov 10, 2000. Halt:
12:33 Tue Nov 14, 2000. Reboot: (by SAM)
12:34 Tue Nov 14, 2000. Reboot: (by xxxxxxxxx!root)
14:59 Wed Nov 22, 2000. Reboot: (by SAM)
14:59 Wed Nov 22, 2000. Reboot:
13:12 Wed May 16, 2001. Halt:
14:41 Wed May 16, 2001. Halt:
14:46 Thu May 17, 2001. Halt:
12:08 Fri May 18, 2001. Halt:
08:13 Mon May 21, 2001. Halt:
14:38 Mon May 21, 2001. Halt:
13:00 Tue May 22, 2001. Halt:
13:30 Tue May 22, 2001. Halt:
15:38 Thu May 24 2001. Reboot after panic: , isr.ior = 0'8240064.40000000'437721c0
18:41 Mon Jun 25 2001. Reboot after panic: , isr.ior = 0'103400c1.40000000'de2015a0
15:55 Wed Jun 27 2001. Reboot after panic: , isr.ior = 0'3400d2.40000000'59e95e00
19:16 Wed Jul 04 2001. Reboot after panic: , isr.ior = 0'103400ca.40000000'4a427480
16:26 Thu Jul 05 2001. Reboot after panic: , isr.ior = 0'103400c1.40000000'cb608428
04:10 Sat Jul 07 2001. Reboot after panic: , isr.ior = 0'18340082.40000000'6ac09660
07:20 Wed Jul 11, 2001. Halt:
17:21 Tue Jul 24 2001. Reboot after panic: , isr.ior = 0'3400e2.40000000'9b842e60
16:00 Wed Jul 25 2001. Reboot after panic: , isr.ior = 0'83400e5.40000000'8208ce00
16:17 Wed Jul 25, 2001. Reboot: (by SAM)
16:18 Wed Jul 25, 2001. Reboot:
16:35 Thu Jul 26 2001. Reboot after panic: , isr.ior = 0'83400a6.40000000'12c40d80
20:51 Thu Jul 26 2001. Reboot after panic: , isr.ior = 0'824009b.40000000'895adfc4

Al die system Halts midden/eind Mei 2001 waren voor de pogingen om een nieuwe externe 50 Gb SCSI LW van Dataman te installeren... Toch wel typisch dat al die kernel panics komen na installatie van een nieuwe HD. Nu weet ik in ieder geval waar het probleem gezocht moet worden: HD en/of SCSI controller.

(Er is ook minder goed nieuws, het support contract bij HP blijkt niet verlengd te zijn, GDV !!)

[JumpStart]

Topic revisited:

Vergeet harde schijven maar, het is een oude bekende voor tweakers en overklokkers: HITTE!...

Om precies te zijn: de I/O traffic crasht de machine.

Een van de 2 exhaust fans (80x80x20) is waarschijnlijk kapot, en da's niet prettig wanneer 2 stuks HP PA-RISC 8200 CPUs er beide rond de 100 watt aan warmte lozen. De backplate van de kast is zo heet dat je jezelf bijna brandt, en er komt lucht uit waarmee je je haar kan fohnen, letterlijk.

Als er jobs draaien die een MB of 5 gebruiken is er niets aan de hand (niet gek, CPU hebben 2 MB data en 2 MB instructie cache). Een job van 100 MB genereert teveel I/O traffic naar dual channel 118 MHz SDRAM... Met de kernel panic tot gevolg.

Nu staat er een extra 120x120x40 mm fan (15 watt, 220 volt) extra de hete lucht af te zuigen, en de crashes blijven uit.

... Tijd om zo'n HP man even langs te laten komen dus, voor wat nieuwe exhaust fans...

[Myrdhin]

Op woensdag 25 juli 2001 17:17 schreef Phantom_ het volgende:
isr.ior staat die file ergens op de hd waar een daemon gebruik van maakt?

[....]

edit: lijken wel geheugen adressen..

isr en ior zijn als ik het goed begrepen heb adres registers. isr = segment register en de ior is het bijbehorende offset register.. meer kon ik er zo snel niet over vinden.

[Anton]

Op donderdag 23 augustus 2001 17:17 schreef JumpStart het volgende:
Topic revisited:
Een van de 2 exhaust fans (80x80x20) is waarschijnlijk kapot, en da's niet prettig wanneer 2 stuks HP PA-RISC 8200 CPUs er beide rond de 100 watt aan warmte lozen.

En heb je daar geen melding van gekregen in je syslog?

[Marcel Loesberg]

>Een van de 2 exhaust fans (80x80x20) is waarschijnlijk
>kapot, en da's niet prettig wanneer 2 stuks HP PA-RISC 8200
>CPUs er beide rond de 100 watt aan warmte lozen.

En heb je daar geen melding van gekregen in je syslog?

Kijk eens naar `man envd`.
Op mijn HP9000 715/50 met HP-UX 10.20 (zonder patches) kan
ik daarmee bepalen hoe er op bepaalde situaties als hoge
tamparatuur wordt gereageerd.
"envd" stuurt zijn output dan inderdaad naar syslog.

[JumpStart]

Op vrijdag 24 augustus 2001 15:27 schreef Anton het volgende:

[... Een van de 2 exhaust fans (80x80x20) is waarschijnlijk kapot, ]

En heb je daar geen melding van gekregen in je syslog?

Erhh, 2 dingen: 1) ik ben geen sysadmin voor die machine, en 2) een van de fans blaast minder naar staat niet stil.

Nu ik er bij stilsta, het is inderdaad nogal fout, maar ja, aan de andere kant ga je ervan uit dat zo'n dure machine ( 2œ geleden kostte 'ie fl. 90.000,- ) degelijk gebouwd is.

En loesberg, bedankt voor de instructie, ik ga het eens rustig doorlezen/bekijken.

[edit] Aangezien ik een typische eindgebruiker ben van HP-UX 10.20... Weet er iemand of er een commando is om fan-rpm en temperaturen op te vragen ?? 'envd' is voor het eventuele triggeren van een backup of reboot, maar zegt niets over het tonen van temperaturen.

[Verwijderd]

Ik heb dat fenomeen al meegemaakt op HP-UX servers. Als 1 van de fans het nog maar een tikkie minder doet wil de healthmonitoring de ganse machine wel eens down brengen. Been there done that!
Oplossing: HP bellen, zij vervangen (als je een onderhoudscontract hebt) meteen de fan in kwestie.

[JumpStart]

Op vrijdag 24 augustus 2001 16:22 schreef gotbert het volgende:
Oplossing: HP bellen, zij vervangen (als je een onderhoudscontract hebt) meteen de fan in kwestie.

Tsja, de verantwoordelijke persoon is helaas nogal indolent ... erhh vergeetachtig geweest. Contract is dus niet verlengd. Verlenging is wél aangevraagd ondertussen, maar ja, vanwege vakantie is contactpersoon voor HP niet aanwezig. Daarna komt er iemand van HP de machine inspecteren voordat servicecontract (her)start wordt.

[Verwijderd]

Woeps

[Verwijderd]

1. Installeer EMS (Event Monitoring Services) en controleer regelmatig je root mail en console.
4. Installeer de laatste patchbundle. Deze kan bij HP worden besteld ook zonder service-contract aan de hand van je customer-id geloof ik. Als je probeert dit aan te melden bij HP (als je weer service hebt) en je bent niet bij met patches, zal dit hun eerste advies zijn
2. Bij HP hebben ze ook een forum, waar mensen aan meedoen die er echt verstand van hebben. Zie hieronder.
3. De Fans kunnen zichzelf vanuit de ISL afzonderlijk regelen naar gelang de benodigde koeling, dus klopt dat ze niet evenhard draaien. Als dit mechanisme niet werkt wordt dit gemeld binnen EMS. Soms zit er linksonder bij de fan een kleine oranje led, welke kan gaan branden als de fan het niet meer doet.


http://forums.itrc.hp.com/cm/