[apache] ontzettend vaag moeilijk beschrijfbaar probleem...

[daVeX]

Ik heb het volgende ontzettend vage apache probleem:

Om het xx aantal weken/dagen (lijkt totaal @random) stopt apache met het serveren van webpages. De apache deamon draait nog gewoon en de system idle is 99/100%. Een "kill -HUP" is nodig om apache te stoppen een weer draaiende te krijgen. Een graceful restart levert, in eerste instantie, het volgend op:

/var/www/bin/apachectl graceful: httpd not running, trying to start
/var/www/bin/apachectl graceful: httpd started

[Wed Dec 10 11:44:46 2003] [crit] (98)Address already in use: make_sock: could not bind to port 80

Tijdens de periode dat pagina's niet meer geladen kunnen worden wanneer een site wordt bezocht, logt apache nog wel vrolijk door. In de log files van apache/syslog is niks terug te vinden dat niet normaal is.

Ik heb nu ff totaaaaal geen id waar het aan zou kunnen liggen en zoeken in newsgroepen en google heeft me ook al niets opgeleverd.

Nog wat info van de debian server:
[Wed Dec 10 11:47:46 2003] [notice] Apache/1.3.29 (Unix) mod_macro/1.1.2 AuthMySQL/2.20 PHP/4.3.4 mod_ssl/2.8.16 OpenSSL/0.9.6c configured -- resuming normal operations


Ik heb op grond van wat logfiles het volgende te constateren: Het komt meestal voor rond 10:00 's ochtends, de laatste 2x was op de 10e van de maand....

iemand suggesties?

(ik heb al geprobeerd het probleem op GOT of Google te vinden, maar waar zoek ik in hemelsnaam op?)

[Verwijderd]

weet niet of dit helpt, maar heb je al eens een apt-get upgrade geprobeerd ?
mss heb je je apache net geupdate/installed in de periode dat er security issues waren op de debian update servers ..

probeer anders eens een apt-get remove en opnieuw installeren ...

Hope it helps ..

Allesinds, het lijkt erop dat apache crashed en een hangend process geeft port 80 niet terug vrij op de adapter .. tot dat je idd de -HUP gebruikt.

[ Voor 24% gewijzigd door Verwijderd op 10-12-2003 18:23 ]

[daVeX]

Verwijderd schreef op 10 december 2003 @ 18:19:
weet niet of dit helpt, maar heb je al eens een apt-get upgrade geprobeerd ?

Zowel apache 1.3.28 als 1.3.29 geeft deze problemen (beide al geprobeerd)... ook is inmiddels al het moederbord vervangen (niet om dit probleem, maar toch)..

1.3.29 is nu wel weer een sec.issue.. maar die module staat niet active.

[Confusion]

Tjah, als het op reguliere tijdstippen gebeurd: wat voor cronjobs heb je allemaal?

[daVeX]

Confusion schreef op 10 december 2003 @ 20:50:
Tjah, als het op reguliere tijdstippen gebeurd: wat voor cronjobs heb je allemaal?

Vrijwel niets dat exact overeen komt met de tijden waarop er problemen zijn...

Er zijn überhaupt bijna geen jobs ... (alleen een logrotator en andere standaard jobs, niet iets waar ik de oorzaak zoek, want geen van alle heeft iets met httpd op de tijd stippen wanneer het probleem zich voor doet)

ik denk dat ik er ook niet van uit moest gaan dat het iets periodiek is... het kwam nl op de volgende dagen voor:

01-08
17-09
29-10
09-11
10-12

[ Voor 14% gewijzigd door daVeX op 10-12-2003 21:13 ]

[daVeX]

Ik heb de Openssl module en macro module maar uit gezet. Ik draai nu server-status module van apache, maar alles lijkt normaal:

code:

Server Version: Apache/1.3.29 (Unix) PHP/4.3.4
Server Built: Nov 11 2003 00:51:41

--------------------------------------------------------------------------------
Current Time: Friday, 12-Dec-2003 10:20:01 CET
Restart Time: Wednesday, 10-Dec-2003 16:03:14 CET
Parent Server Generation: 7 
Server uptime: 1 day 18 hours 16 minutes 47 seconds
3 requests currently being processed, 9 idle servers 
_G_W___G____....................................................
................................................................
................................................................
................................................................

Scoreboard Key: 
"_" Waiting for Connection, "S" Starting up, "R" Reading Request,
"W" Sending Reply, "K" Keepalive (read), "D" DNS Lookup,
"L" Logging, "G" Gracefully finishing, "." Open slot with no current process

PID Key: 


   21606 in state: _ ,   12166 in state: G ,   28510 in state: _ 
   10620 in state: W ,   906 in state: _ ,   7078 in state: _ 
   24588 in state: _ ,   7890 in state: G ,   23123 in state: _ 
   29140 in state: _ ,   27506 in state: _ ,   4109 in state: _

Geen reden om aan te nemen dat het weer gebeurd, maar toch kan het...

[serkoon]

Je zou, als het weer gebeurt, met een trace-tool kunnen kijken wat apache aan syscalls doet. Heel misschien zie je dan iets geks gebeuren..

Als je er zelf niet achter kunt komen, dan lijkt het me slim om eens wat mailtjes/posts richting apache.org te sturen

[_JGC_]

OpenSSL 0.9.6c, ik hoop dat die versie van jou met alle bugfixes gebackport erin is, anders denk ik dat ik wel weet waar je problemen vandaan komen:
die OpenSSL versie is behoorlijk verouderd en heeft meerdere exploits en DoS lekken. Kan best zijn dat elke keer als jouw apache sterft, iemand een exploit op je mod_ssl zit uit te spoken

Aangezien je nog geen problemen hebt na het verwijderen van de mod_ssl module, zit ik hier sterk aan te denken.

[daVeX]

_JGC_ schreef op 12 december 2003 @ 13:06:
OpenSSL 0.9.6c, ik hoop dat die versie van jou met alle bugfixes gebackport erin is, anders denk ik dat ik wel weet waar je problemen vandaan komen:
die OpenSSL versie is behoorlijk verouderd en heeft meerdere exploits en DoS lekken. Kan best zijn dat elke keer als jouw apache sterft, iemand een exploit op je mod_ssl zit uit te spoken

Aangezien je nog geen problemen hebt na het verwijderen van de mod_ssl module, zit ik hier sterk aan te denken.

OK.. het staat wat verdekt opgesteld allemaal maarrrrrrrr:

- Het is een Debian distro ... dus die bugfixes zijn wel uit die module... (zie 1st post)
- Het probleem komt meestal pas na een flinke periode voor... dus dat nu nog alles perfect werkt zegt nix...

Als het systeem nu min. 2 maanden OK draait... dan ga ik idd de schuld geven aan 1 van de 2 modules.... maar komt het probleem terug ... sja... denk dat ik die server maar ga vervangen dan...

[Verwijderd]

Zit die machine met een ip rechtstreeks op internet?

Wat ik heb meegemaakt, was een BSD machine die rechtstreeks een ip van de provider kreeg via dhcp met kabelmodem.

Als er dan een storing was bij mijn provider was, bijv. tijdelijk de inet verbinding weg, en daarna weer up kwam kreeg de machine netjes weer een ip maar een aantal netwerkservices waren dan niet meer te bereiken. Het herstarten van het netwerk of service en alles werkte weer.

Misschien kan dat bij jou ook het geval zijn.

Ik zeg niet dat het zo is, maar wat ik heb gehad sta je de eerste keer ook wel vreemd naar te kijken. Pas toen ik bij mijn provider de storingen zag werd het me duidelijk.

[daVeX]

Verwijderd schreef op 12 december 2003 @ 17:01:
Zit die machine met een ip rechtstreeks op internet?

De machine hangt in een datacenter in Adam ... dus ja rechtstreeks op Internet. En de donwtime/storingen van de provider spelen bij dit probleem dus geen rol.

[_JGC_]

Heb je alles op de juiste manier uit sources gecompileerd, of heb je overal maar wat binaries weggeschraapt van de diverse backportmirrors?

Behalve openssl 0.9.6c zie ik nml geen enkel versienummer gelijk aan mn eigen woody server

[elevator]

daVeX schreef op 10 december 2003 @ 18:11:
[Wed Dec 10 11:47:46 2003] [notice] Apache/1.3.29 (Unix) mod_macro/1.1.2 AuthMySQL/2.20 PHP/4.3.4 mod_ssl/2.8.16 OpenSSL/0.9.6c configured -- resuming normal operations

Heb je ook je MySQL server gecontroleerd?

[Rataplan]

Wat voor leuke dingen staan er in /var/log/messages?

offtopic:
Mijn apache ging er vandaag ook af (tegelijk met de rest van het internet, trouwens) maar er stond wel mooi "eth0: NULL pointer encountered in Rx ring" in m'n messages en dan kan er gegoogled worden

Niet dat het oplosbaar is of zo. Kl*tesis900driver

[ Voor 16% gewijzigd door Rataplan op 12-12-2003 21:53 . Reden: andere logs blijkbaar al gecontroleerd |:( ]

[daVeX]

_JGC_ schreef op 12 december 2003 @ 21:01:
Heb je alles op de juiste manier uit sources gecompileerd, of heb je overal maar wat binaries weggeschraapt van de diverse backportmirrors?

Behalve openssl 0.9.6c zie ik nml geen enkel versienummer gelijk aan mn eigen woody server

Apache is gecompiled from source en openssl (die overigens nu niet meer draait) is een debian package

Rataplan schreef op 12 december 2003 @ 21:52:
Wat voor leuke dingen staan er in /var/log/messages?

Nix dat er op fouten duidt... is natuurlijk het eerste waar je gaat kijken

De rest van de services ftp/email/ssh blijft tijdens deze probleem periode gewoon werken, dus de NIC zal het probleem niet zijn.

elevator schreef op 12 december 2003 @ 21:23:
[...]

Heb je ook je MySQL server gecontroleerd?

Sja... wat wil je dat ik controleer ?? logfiles heb ik sowieso bekeken en mij is nix opgevallen

[Verwijderd]

Niet een nette oplossing, maar misschien dat je met MaxRequestsPerChild in je httpd.conf om het probleem heen komt..

[moto-moi]

Dat is niet om het probleem heenkomen, dat is het uitstellen van executie.
Dan kun je nog beter aanraden om apache elke dag te herstarten, maar da's ook niet zoals het hoort

[daVeX]

moto-moi schreef op 13 december 2003 @ 17:14:
Dat is niet om het probleem heenkomen, dat is het uitstellen van executie.
Dan kun je nog beter aanraden om apache elke dag te herstarten, maar da's ook niet zoals het hoort

Dat gebeurt al iedere ochtend .....

[pierre-oord]

Ik begin maar net met linux, maar is het niet een idee om een totaal andere computer te pakken, en daar alles op te installeren zoals je altijd doet, maar dan puur apache. Kijk of die blijft draaien of ook crashed. Daarop kun je dan alles installeren totdat het crashen weer begint. Het kost alleen wat veel tijd misschien...

Verder misschien nog een onbenullig idee: draai even paar uurtjes memtest86? Weet je zeker dat het geheugen geen fouten maakt?