Linux server hangt elke ochtend op/rond dezelfde tijd

[Mailyourmom]

Hoi,

Op het werk staat een proxy/intranetserver die elke ochtend trouw rond 7 uur 21 hangt. Hij crasht niet echt maar doet gewoon niets meer. Op de console kun je niets intypen en het netwerkverkeer ligt helemaal plat. De cursor knippert wel.

In de crontab staat niets dat op die tijd wordt opgestart.

De specs:

Compaq Deskpro EP Pentium II 350
256 MB geheugen (3 latjes @ 66 MHz)
4 GB IBM harddisk (hda, verdeeld in hda1 (/boot) en hda3 (/))

Promise Ultra100 Controller met daarop:
Maxtor 40 GB 7200 RPM
Maxtor 120 GB 5400 RPM

Op de 120 GB disk staan ISO images die worden gemount als loop device en gedeeld via Samba. Gebruikers kunnen zo makkelijk archief-CD's raadplegen.

Op de 40 GB disk staat de Squid cache, het intranet en de rest.

Het OS is SuSE Linux 7.1 met kernel 2.4.20.

Ideeën zijn welkom. Alvast bedankt.

[scorpie]

Ik heb zo het idee dat rond die tijd alle clients bepaalde programma's opvragen van de server en dat zijn cpu load dan ineens omhoog schiet...
en een PII 350 kan het moeilijk hebben als er ineens 20 mensen op hetzelfde tijdstip een programma openen (oftewel, check voor een soort crontab op de clients).

edit:
of de clients autoarchiveren hun mailbox op dat tijdstip, is dat niet een idee?

[ Voor 14% gewijzigd door scorpie op 28-02-2003 10:02 ]

[Mailyourmom]

Mmm... Nee, dat is het toch niet. Er logt op zich niemand op de server in en de CPU load wordt nooit hoger dan een procentje of 10.

[XTerm]

Scorperito schreef op 28 February 2003 @ 10:02:
Ik heb zo het idee dat rond die tijd alle clients bepaalde programma's opvragen van de server en dat zijn cpu load dan ineens omhoog schiet...
en een PII 350 kan het moeilijk hebben als er ineens 20 mensen op hetzelfde tijdstip een programma openen (oftewel, check voor een soort crontab op de clients).

edit:
of de clients autoarchiveren hun mailbox op dat tijdstip, is dat niet een idee?

Met wat netwerkverkeer krijg je een GNU bak niet plat hoor

Wslijk is het wel een crontab. Controleer ALLE users hun cron eens ? De mail users, de squid user etc...

Kan je niets vinden in de logs ?

[scorpie]

Mailyourmom schreef op 28 februari 2003 @ 10:04:
Mmm... Nee, dat is het toch niet. Er logt op zich niemand op de server in en de CPU load wordt nooit hoger dan een procentje of 10.

er hoeft ook niemand in de te loggen op dat tijdstip, misschien staan er voor iedere dag gewoon taken geplanned op die clients dat ze bijvoorbeeld een programma op de server moeten uitvoeren oid.
dat bedoelde ik

[ACM]

XTerm schreef op 28 February 2003 @ 10:07:
Wslijk is het wel een crontab. Controleer ALLE users hun cron eens ? De mail users, de squid user etc...

En natuurlijk de /etc/cron.* dirs

[Verwijderd]

Anders een keertje vroeg beginnen, en die bak monitoren (voor zover dat mogelijk is) net voor en tijdens de crash

[Mailyourmom]

Ik kan daarin niets vinden... Ook in de logs staat niets. Er staat in /var/log/messages:
Feb 28 06:17:58 ams1lin01 squid[547]: NETDB state saved; 792 entries, 949 msec
Feb 28 06:59:00 ams1lin01 /USR/SBIN/CRON[17146]: (root) CMD ( rm -f /var/spool/cron/lastrun/cron.hourly)
Feb 28 07:06:31 ams1lin01 squid[547]: NETDB state saved; 792 entries, 10783 msec
Feb 28 07:19:40 ams1lin01 -- MARK --
Feb 28 09:43:31 ams1lin01 syslogd 1.3-3: restart.
Feb 28 09:43:32 ams1lin01 usbmgr[275]: start 0.4.1

In /var/log/messages van 24 februari staat:

Feb 24 07:21:26 ams1lin01 kernel: attempt to access beyond end of device
Feb 24 07:21:26 ams1lin01 kernel: 22:41: rw=0, want=617409768, limit=120060328
Feb 24 07:21:26 ams1lin01 kernel: klogd 1.3-3, ---------- state change ----------
Feb 24 07:21:26 ams1lin01 kernel: Inspecting /boot/System.map
Feb 24 07:21:27 ams1lin01 kernel: Loaded 17318 symbols from /boot/System.map.
Feb 24 07:21:27 ams1lin01 kernel: Symbols match kernel version 2.4.20.
Feb 24 07:21:27 ams1lin01 kernel: Loaded 56 symbols from 3 modules.
Feb 24 07:21:27 ams1lin01 kernel: 0060328
Feb 24 07:21:27 ams1lin01 kernel: attempt to access beyond end of device
Feb 24 07:21:27 ams1lin01 kernel: 22:41: rw=0, want=617409768, limit=120060328
Feb 24 07:21:27 ams1lin01 kernel: attempt to access beyond end of device
Feb 24 07:21:27 ams1lin01 kernel: 22:41: rw=0, want=617409768, limit=120060328

Precies om 7 uur 21. Enig idee welk device hij probeert aan te spreken?

[scorpie]

hmm je krijgt dezelfde melding als m'n grote vriend morphje in dit topic:

[rml][ linux] attempt to access beyond end of device[/rml]

[JeroenE]

Precies om 7 uur 21. Enig idee welk device hij probeert aan te spreken?

Welke kernel heb je draaien? Er zijn een aantal 2.4.x kernels die niet altijd even stabiel zijn geweest met hun filesysteem. In google heb ik ook wel een boel berichtjes gevonden met deze melding. Vaak was het dan of een raid systeem, of iemand die met loop-devices aan het spelen was.

Waarschijnlijk is het dus een van je "CD's" die de melding veroorzaakt. Helaas kan ik je zo 1-2-3 niet vertellen hoe je kan achterhalen welke het is. Je kan eens kijken of je per dag maar 1 "CD" mount of je op die manier kan achterhalen welke het is.

Het zou overigens heel goed kunnen dat 1 van de clients probeert zijn netwerk-share te benaderen. Misschien doet iemand wekl iedere dag een virusscan en worden de shares meegescanned; of wellicht iemand die zijn computer automatisch aanzet (of altijd op dezelfde tijd opstaat) en dat er bij het aanmelden iets fout gaat?

Samba is erg leuk, maar ik heb ook wel eens meegemaakt dat het een PC totaal liet hangen. Wellicht kan je eens kijken of je naar een nieuwere Samba of kernel toe kan?

[Verwijderd]

Ik had ooit iets dat veel hierop lijkt.... toen was er een netwerkkaart langzaamaan kapot aan het gaan.

[deadinspace]

Mailyourmom schreef op 28 februari 2003 @ 10:37:
In /var/log/messages van 24 februari staat:
Feb 24 07:21:26 ams1lin01 kernel: attempt to access beyond end of device
Feb 24 07:21:26 ams1lin01 kernel: 22:41: rw=0, want=617409768, limit=120060328
Feb 24 07:21:26 ams1lin01 kernel: klogd 1.3-3, ---------- state change ----------
Feb 24 07:21:26 ams1lin01 kernel: Inspecting /boot/System.map
Feb 24 07:21:27 ams1lin01 kernel: Loaded 17318 symbols from /boot/System.map.
Feb 24 07:21:27 ams1lin01 kernel: Symbols match kernel version 2.4.20.
Feb 24 07:21:27 ams1lin01 kernel: Loaded 56 symbols from 3 modules.
Feb 24 07:21:27 ams1lin01 kernel: 0060328
Feb 24 07:21:27 ams1lin01 kernel: attempt to access beyond end of device
Feb 24 07:21:27 ams1lin01 kernel: 22:41: rw=0, want=617409768, limit=120060328
Feb 24 07:21:27 ams1lin01 kernel: attempt to access beyond end of device
Feb 24 07:21:27 ams1lin01 kernel: 22:41: rw=0, want=617409768, limit=120060328

Precies om 7 uur 21. Enig idee welk device hij probeert aan te spreken?

Device 22:41. Dat is /dev/hdh1. Wat hangt er aan /dev/hdh?

Dit zou trouwens niet die bak mogen crashen, maar misschien helpt die drive je IDE bus over de zeik, dat zou wel je systeem op zijn bek kunnen helpen. Stel anders je logging eens zo in dat elke logmelding over je console komt, dan zie je misschien meer. Het kan namelijk zijn dat dit niet alles aan boeiende logs is, maar dat je systeem verdere logs niet meer kon wegschrijven (vanwege de oorzaak van de crash).

[Mailyourmom]

Het is geloof ik opgelost. Ik heb een fsck geforceerd en er werden inderdaad wat foutjes gevonden. Nu blijft ie lopen. Hoe weet ik trouwens dat device 22:41 /dev/hdh is?

[Verwijderd]

Zie de major/minor nummers van het desbetreffende device:

lain [r3boot]$ ls -la /dev/ad0s1
crw-r----- 1 root operator 4, 2 Mar 3 08:04 /dev/ad0s1

Dit is mij hda1 onder FreeBSD. Jouw /dev/hdh zal daar (waarschijnlijk) 22 en 41 hebben staan

offtopic:
bold doet 't niet in code

[ Voor 11% gewijzigd door Verwijderd op 03-03-2003 11:16 ]

[The_Ghost]

Nou,
Het is meer de master aan je tweede IDE controller...
zie hier: http://www.tldp.org/LDP/sag/x822.html

(ik gok op een CD-Rom speler..)

[ Voor 14% gewijzigd door The_Ghost op 03-03-2003 11:30 ]

[deadinspace]

Mailyourmom schreef op 03 March 2003 @ 11:06:
Hoe weet ik trouwens dat device 22:41 /dev/hdh is?

ls -l /dev/ | grep getal
/usr/src/linux/Documentation/devices.txt staat ook veel nuttigs in.

Verwijderd schreef op 03 March 2003 @ 11:13:
bold doet 't niet in code

Dat is niet gek, alles wat tussen code tags staat moet letterlijk weergegeven worden

The_Ghost schreef op 03 March 2003 @ 11:28:
Nou,
Het is meer de master aan je tweede IDE controller...
zie hier: http://www.tldp.org/LDP/sag/x822.html

Als ik me niet heel sterk vergis, dan geeft de kernel die device nummers in hexadecimaal. 22:41 is dus 34:65 in decimaal.

Dat is ook logischer, want 22:41 zou anders /dev/hdd41 zijn... Zoveel partities snapt het DOS partitioning scheme niet