[Ubuntu] 'Spontane' 'shutdowns'

[simon]

Mijn webserver draait Ubuntu 6.06 LTS met 2.6.15-23-server kernel en heeft last van spontane 'shutdowns'. Spontaan is ook niet echt duidelijk. Maar in ieder geval, hij stopt, dropt opeens alle pings.

In /var/log/syslog kom ik dit tegen als ik op zoek ga naar de timecode. Dit is dus van ten tijde dat het mis ging, zie ook de timecodes.

code:

Feb 24 19:58:12 jackabuzah courierpop3login: LOGIN, user=*****nl, ip=[::ffff:**.**.**.**]
Feb 25 05:51:17 jackabuzah spamd[9770]: prefork: select returned error on server filehandle: Transport endpoint is not connected 
Feb 25 15:54:06 jackabuzah syslogd 1.4.1#17ubuntu7.1: restart.

Ik heb op de ubuntu fora iets met syslogd gelezen, maar dat is 't ook niet echt, denk ik. volgens mij heeft dat ermee te maken..

Ik tast volledig in het duister. Mijn server is al meerdere keren (nu 3) van de radar verdwenen, en om elke keer dat ding te laten rebooten. Zijn er checks, behalve logboeken doorlezen (heeft iemand nog tips om 't juiste te vinden, 't zijn echt bakken met logs), om tot probleem te komen?

Ik vertrouw spamd niet helemaal, aangezien het elke keer begint met niet meer kunnen inloggen op mail, denk dat 't in die hoek zit.. Maar ik blijf in het duister tasten.

[Rainmaker]

In die 3 regels staat geen melding waarvan ik zeg "daar gaat ie op rebooten".

Staat er iets in /var/log/messages?

Iets van een kernel OOPS, BUG, wat dan ook?

[simon]

messages:

code:

Feb 24 19:56:47 jackabuzah kernel: [43218816.410000] 177232 pages mapped
Feb 24 19:56:47 jackabuzah kernel: [43218816.410000] 3930 pages slab
Feb 24 19:56:47 jackabuzah kernel: [43218816.410000] 1958 pages pagetables
Feb 25 15:54:06 jackabuzah syslogd 1.4.1#17ubuntu7.1: restart.
Feb 25 15:54:06 jackabuzah kernel: Inspecting /boot/System.map-2.6.15-23-server
Feb 25 15:54:07 jackabuzah kernel: Loaded 23140 symbols from /boot/System.map-2.6.15-23-server.
Feb 25 15:54:07 jackabuzah kernel: Symbols match kernel version 2.6.15.
Feb 25 15:54:07 jackabuzah kernel: No module symbols loaded - kernel modules not enabled.

dat is dus de 'brug' tussen die 2 momenten, ik zie geen bugs noch OOPS

ik lees erg veel over syslogd, maar ik kan me niet voorstellen dat dat relevant is.

De boot is vlak na restart door mijn colocater.

[ Voor 8% gewijzigd door simon op 25-02-2008 17:15 ]

[daft_dutch]

speelt het telkens op de zelfde tijd?
zo ja kan je in je bios kijken daar kunnen aan/uit opties worden opgegeven

[simon]

niet elke keer zelfde tijd daft_dutch, en het bios kan ik niet in zonder op locatie te gaan.

[sam.vimes]

Syslogd is het proces dat systeemboodschappen opvangt en naar (onder meer) de files /var/log/messages en /var/log/syslog schrijft. Deze daemon wordt daarom zo snel mogelijk na een systeemstart opgestart.
De melding

Feb 25 15:54:06 jackabuzah syslogd 1.4.1#17ubuntu7.1: restart.

betekent niet meer dan dat de machine korte tijd daarvoor aan een boot is begonnen en dat syslogd klaar is om meldingen te ontvangen.

Overigens vind ik wel raar dat er zoveel tijd zit tussen de regels in je syslog. Daar hoort (gemiddeld) om de paar seconden wel een regel bij te komen en zeker niet met uren tussenruimte zoals in jouw geval. Vooral als de machine opstart horen er in een paar seconden honderden regels bijgeschreven te worden, evenals bij een (reguliere) shutdown.

Als je echt last hebt van een crash of vastloper ("freeze"), bijvoorbeeld door kapot geheugen, houdt de logging plotseling op, maar wordt er wel weer veel bijgeschreven als de machine opnieuw boot.

[simon]

Hmm, en weer van de radar verdwenen

Misschien toch maar eens op locatie gaan..

[zomertje]

Ik vraag me ook af of er niet een hardware probleem is met je systeem

[simon]

Inderdaad.. dat zou kunnen, al is 't gekke dat dit sinds ongv. een week of 2, 3 opspeelt.

[Bravo]

Het lijkt een beetje op wat mij onlangs overkwam.

De server reageerde nergens meer op, maar toen ik op locatie kwam bleek dat de machine goed draaide, maar dat de internetverbinding niet meer actief was. Hiervan heb ik niets in de logs kunnen terugvinden, net zoals jij nu niets vind.

We hebben geprobeerd eth0 weer aan de praat te krijgen, maar dit heeft niets geholpen. De oplossing was toen een reboot van het systeem en tot nu toe draait het zonder problemen door..

Misschien dat je hier wat aan hebt.

[simon]

nouja, het gebeurt zo vaak, en hij wordt elke keer gereboot, mijn host wordt dat ook wel zat denk ik.

[gertvdijk]

Eens gekeken naar de module in de kernel voor je netwerkkaart? Misschien zijn er bugs gefixt in nieuwere kernels, ofzo.

[simon]

maar dat zou niet verklaren waarom het nu opeens zich voordoet..

[gertvdijk]

Simon schreef op donderdag 28 februari 2008 @ 14:27:
maar dat zou niet verklaren waarom het nu opeens zich voordoet..

Je installeert toch ook zo nu en dan security updates van de kernel, mag ik hopen? En Ubuntu doet vaak meer dan security fixes wanneer ze het een security update noemen.

[ Voor 12% gewijzigd door gertvdijk op 28-02-2008 14:29 ]

[simon]

Hmm, dat is waar.. tijd voor een kernel update.. de rest van de updates heb ik wel gedaan

[ Voor 29% gewijzigd door simon op 28-02-2008 14:32 ]

[simon]

code:

Feb 29 06:25:48 jackabuzah kernel: [43260905.930000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:48 jackabuzah kernel: [43260906.210000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:48 jackabuzah kernel: [43260906.210000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:49 jackabuzah kernel: [43260907.220000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:49 jackabuzah kernel: [43260907.220000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:49 jackabuzah kernel: [43260907.250000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:49 jackabuzah kernel: [43260907.250000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:50 jackabuzah kernel: [43260907.410000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:50 jackabuzah kernel: [43260907.410000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:50 jackabuzah kernel: [43260908.220000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:50 jackabuzah kernel: [43260908.220000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:51 jackabuzah kernel: [43260908.930000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:51 jackabuzah kernel: [43260908.930000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:52 jackabuzah kernel: [43260909.420000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:52 jackabuzah kernel: [43260909.420000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:52 jackabuzah kernel: [43260909.440000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:52 jackabuzah kernel: [43260909.440000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:52 jackabuzah kernel: [43260910.220000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:52 jackabuzah kernel: [43260910.220000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:53 jackabuzah kernel: [43260910.610000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:53 jackabuzah kernel: [43260910.610000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:53 jackabuzah kernel: [43260911.250000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:53 jackabuzah kernel: [43260911.250000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:54 jackabuzah kernel: [43260911.440000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:54 jackabuzah kernel: [43260911.440000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:54 jackabuzah kernel: [43260912.220000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:54 jackabuzah kernel: [43260912.220000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:56 jackabuzah kernel: [43260913.470000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:56 jackabuzah kernel: [43260913.470000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:56 jackabuzah kernel: [43260913.820000] eth0: NULL pointer encountered in Rx ring
Feb 29 06:25:56 jackabuzah kernel: [43260913.820000] cur_rx:1385556, dirty_rx:1385556
Feb 29 06:25:57 jackabuzah exiting on signal 15

dat was voor de kernel upgrade... ik heb nu 2.6.15-51-server

[gertvdijk]

Simon schreef op vrijdag 29 februari 2008 @ 12:22:

code:

Feb 29 06:25:56 jackabuzah kernel: [43260913.820000] eth0: NULL pointer encountered in Rx ring

dat was voor de kernel upgrade... ik heb nu 2.6.15-51-server

Googlen leert mij dat het probleem zich ontzettend veel voordoet op een SiS900 netwerkkaart met een 2.6.8 en 2.6.7 kernel.
Welke netwerkkaart heb je in je server? (toevallig ook die SiS?)

code:

lspci | grep ethernet -i

Misschien is het een regression bug in een van de recentere security fixes van Ubuntu.
Het probleem met die SiS900 kaart kon (tijdelijk) worden verholpen door op de terminal networking te restarten. Voor Ubuntu is dat:

code:

/etc/init.d/networking restart

Had je al een andere netwerkkaart geprobeerd in je server?

[ Voor 16% gewijzigd door gertvdijk op 29-02-2008 12:54 ]

[jealma]

Geeft een 'ifconfig eth0' ook fouten weer bij errors, dropped, overruns en frame? Zo ja (als er extreem veel erros staan bijvoorbeeld) dan is het mischien je netwerkkaart. Bij mijn router (IPcop) is dat ook een keer gebeurd, het werdt steeds erger en na verwisselen van de netwerkkaart was het weg.

[simon]

Volgens mij heeft de kernel upgrade het probleem verholpen,

code:

eth0      Link encap:Ethernet  HWaddr 00:0C:6E:41:AF:65  
          inet addr:85.234.236.66  Bcast:85.234.236.71  Mask:255.255.255.248
          inet6 addr: fe80::20c:6eff:fe41:af65/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:46766 errors:0 dropped:0 overruns:0 frame:0
          TX packets:64392 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:7627690 (7.2 MiB)  TX bytes:67975055 (64.8 MiB)
          Interrupt:201 Base address:0x8800

ziet er goed uit lijkt me

En inderdaad, een SIS kaart:

code:

0000:00:04.0 Ethernet controller: Silicon Integrated Systems [SiS] SiS900 PCI Fast Ethernet (rev 91)

gert, ik denk niet dat dat gaat werken als ik er fysiek niet bij kan..

[ Voor 14% gewijzigd door simon op 29-02-2008 14:11 ]

[gertvdijk]

Simon schreef op vrijdag 29 februari 2008 @ 14:08:
Volgens mij heeft de kernel upgrade het probleem verholpen,

Mooi. Dat is ook het eerste waar ik aan zou denken.

Simon schreef op vrijdag 29 februari 2008 @ 14:08:
gert, ik denk niet dat dat gaat werken als ik er fysiek niet bij kan..

Logisch. Maar misschien heeft jouw colo hoster wel een hippe KVM-over-internet apparaat...

[simon]

in ieder geval dank voor je hulp

[simon]

Denk je dat je 't opgelost hebt, maar nee hoor.. again foetsie..

[gertvdijk]

Andere netwerkkaart erin knallen, lijkt me.

[simon]

Vraagje gert (of iemand anders), of deze bug in nieuwere versies van ubuntu gefixt is? want dan kan ik beter distro upgraden.

[gertvdijk]

Simon schreef op zaterdag 01 maart 2008 @ 11:32:
Vraagje gert (of iemand anders), of deze bug in nieuwere versies van ubuntu gefixt is? want dan kan ik beter distro upgraden.

Je kan ook zelf eerst een beetje googlen. (met de volgende keywords:

sis900 changelog site:www.kernel.org/pub/linux/kernel/v2.6

)
Hoewel het dus een rete oude chip is worden er zelfs nog in 2.6.21 2.6.23 nog bugfixes gedaan. Gutsy met 2.6.22 zou je dus eens kunnen proberen, als laatste stable van Ubuntu.
Of gewoon zelf je kernel compilen maar dan mis je de eenvoud van security fixes op je kernel.
edit: Die bugfix in 2.6.21 is wel relevant, volgens mij.

sis900: Allocate rx replacement buffer before rx operation

The sis900 driver appears to have a bug in which the receive routine
passes the skbuff holding the received frame to the network stack before
refilling the buffer in the rx ring. If a new skbuff cannot be allocated, the
driver simply leaves a hole in the rx ring, which causes the driver to stop
receiving frames and become non-recoverable without an rmmod/insmod according to
reporters. This patch reverses that order, attempting to allocate a replacement
buffer first, and receiving the new frame only if one can be allocated. If no
skbuff can be allocated, the current skbuf in the rx ring is recycled, dropping
the current frame, but keeping the NIC operational.

[ Voor 36% gewijzigd door gertvdijk op 01-03-2008 17:37 ]