Beste Tweakers,
Op mijn server in het datacenter heb ik de laatste tijd nogal wat problemen met Apache. Een paar keer per dag gaat deze naar zo'n 120 à 200 processen (volgens Cacti zelfs 960 max), met een 100% totaal CPU gebruik.


Zoals te zien is in deze 2 graphs, stijgt de CPU load ook gigantisch. Op deze graphs zie je ook de eerste keer dat het gebeurde: Alle beheerders sliepen en niemand dacht eraan om even een SMSje te sturen. Totale downtime: 2 uur. Ook kan je op de graphs nog een paar kleinere piekjes zien: ik heb inmiddels een .sh scriptje die kijkt of er meer dan 80 processen zijn (abnormaal hoog natuurlijk) en "/etc/init.d/httpd reload" uitvoert als dat zo is. Ook schrijft het logbestandjes weg met de tijd, wat regels uit de logboeken (tail -n) en een dump van de actieve connecties.
Zelf heb ik hier niks uit kunnen halen. Ik zal delen van deze logs meeposten zodat jullie kunnen kijken. In de afgelopen 8 uur zijn er 8 bestandjes weggeschreven: 2 rond 15:05, 3 rond 15:25, 3 rond 17:15 en 1 een paar minuten geleden.
Hierbij dus de beloofde logs :
`lsof | grep TCP | grep http | grep ESTAB`
Apache [domain] error log staat niks nuttigs in. Iets over bestanden die niet gevonden kunnen worden in de public_html.
Apache [global] error log
/var/log/messages heeft niks speciaals. Alleen een paar proftpd logs
Tom
[edit]
En zo ziet het eruit als apache vastloopt:
Op mijn server in het datacenter heb ik de laatste tijd nogal wat problemen met Apache. Een paar keer per dag gaat deze naar zo'n 120 à 200 processen (volgens Cacti zelfs 960 max), met een 100% totaal CPU gebruik.


Zoals te zien is in deze 2 graphs, stijgt de CPU load ook gigantisch. Op deze graphs zie je ook de eerste keer dat het gebeurde: Alle beheerders sliepen en niemand dacht eraan om even een SMSje te sturen. Totale downtime: 2 uur. Ook kan je op de graphs nog een paar kleinere piekjes zien: ik heb inmiddels een .sh scriptje die kijkt of er meer dan 80 processen zijn (abnormaal hoog natuurlijk) en "/etc/init.d/httpd reload" uitvoert als dat zo is. Ook schrijft het logbestandjes weg met de tijd, wat regels uit de logboeken (tail -n) en een dump van de actieve connecties.
Zelf heb ik hier niks uit kunnen halen. Ik zal delen van deze logs meeposten zodat jullie kunnen kijken. In de afgelopen 8 uur zijn er 8 bestandjes weggeschreven: 2 rond 15:05, 3 rond 15:25, 3 rond 17:15 en 1 een paar minuten geleden.
Hierbij dus de beloofde logs :
`lsof | grep TCP | grep http | grep ESTAB`
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
| httpd 6662 apache 167u IPv6 117838935 TCP server.mijndomein.nl:http->first.re.mov.ed:11815 (ESTABLISHED) httpd 18449 apache 167u IPv6 117838910 TCP server.mijndomein.nl:http->second.re.mov.ed:59585 (ESTABLISHED) httpd 20490 apache 167u IPv6 117838913 TCP server.mijndomein.nl:http->first.re.mov.ed:11813 (ESTABLISHED) httpd 20689 apache 167u IPv6 117838921 TCP server.mijndomein.nl:http->first.re.mov.ed:11814 (ESTABLISHED) httpd 21768 apache 167u IPv6 117838900 TCP server.mijndomein.nl:http->first.re.mov.ed:11812 (ESTABLISHED) httpd 21773 apache 167u IPv6 117838942 TCP server.mijndomein.nl:http->third.re.mov.ed:51822 (ESTABLISHED) httpd 21785 apache 167u IPv6 117838970 TCP server.mijndomein.nl:http->forth.re.mov.ed:46528 (ESTABLISHED) httpd 21807 apache 167u IPv6 117839030 TCP server.mijndomein.nl:http->sixth.re.mov.ed:61845 (ESTABLISHED) httpd 21808 apache 167u IPv6 117839032 TCP server.mijndomein.nl:http->seventh.re.mov.ed:timbuktu-srv1 (ESTABLISHED) httpd 21841 apache 167u IPv6 117839245 TCP server.mijndomein.nl:http->eighth.re.mov.ed:13646 (ESTABLISHED) httpd 21868 apache 167u IPv6 117839383 TCP server.mijndomein.nl:http->ninth.re.mov.ed:citysearch (ESTABLISHED) httpd 21869 apache 167u IPv6 117839384 TCP server.mijndomein.nl:http->11th.re.mov.ed:63876 (ESTABLISHED) httpd 21872 apache 167u IPv6 117839387 TCP server.mijndomein.nl:http->12th.re.mov.ed:gprs-cube (ESTABLISHED) httpd 21873 apache 167u IPv6 117839388 TCP server.mijndomein.nl:http->first.re.mov.ed:11821 (ESTABLISHED) httpd 21874 apache 167u IPv6 117839389 TCP server.mijndomein.nl:http->13th.re.mov.ed:anynetgateway (ESTABLISHED) httpd 21875 apache 167u IPv6 117839390 TCP server.mijndomein.nl:http->14th.re.mov.ed:46381 (ESTABLISHED) httpd 21877 apache 167u IPv6 117839414 TCP server.mijndomein.nl:http->first.re.mov.ed:11822 (ESTABLISHED) httpd 21890 apache 167u IPv6 117839417 TCP server.mijndomein.nl:http->15th.re.mov.ed:3835 (ESTABLISHED) httpd 21892 apache 167u IPv6 117839421 TCP server.mijndomein.nl:http->16th.re.mov.ed:notify_srvr (ESTABLISHED) httpd 21893 apache 167u IPv6 117839420 TCP server.mijndomein.nl:http->ik.zelf:51898 (ESTABLISHED) httpd 21894 apache 167u IPv6 117839423 TCP server.mijndomein.nl:http->17th.re.mov.ed:51591 (ESTABLISHED) httpd 21895 apache 167u IPv6 117839719 TCP server.mijndomein.nl:http->ik.zelf:51903 (ESTABLISHED) httpd 21903 apache 167u IPv6 117839781 TCP server.mijndomein.nl:http->forth.re.mov.ed:34498 (ESTABLISHED) httpd 21912 apache 167u IPv6 117839797 TCP server.mijndomein.nl:http->18th.re.mov.ed:10307 (ESTABLISHED) httpd 21914 apache 167u IPv6 117839799 TCP server.mijndomein.nl:http->19th.re.mov.ed:precise-i3 (ESTABLISHED) httpd 21915 apache 167u IPv6 117839943 TCP server.mijndomein.nl:http->ninth.re.mov.ed:13033 (ESTABLISHED) httpd 21945 apache 167u IPv6 117839964 TCP server.mijndomein.nl:http->20th.re.mov.ed:bootserver (ESTABLISHED) httpd 21986 apache 167u IPv6 117840476 TCP server.mijndomein.nl:http->21th.re.mov.ed:re-conn-proto (ESTABLISHED) |
Apache [domain] error log staat niks nuttigs in. Iets over bestanden die niet gevonden kunnen worden in de public_html.
Apache [global] error log
code:
1
2
3
4
5
6
7
8
9
10
| [Mon Aug 17 22:08:41 2009] [error] [client re.mov.ed] File does not exist: /var/www/html/admin [Mon Aug 17 22:08:41 2009] [error] [client re.mov.ed] File does not exist: /var/www/html/404.shtml [Mon Aug 17 22:11:38 2009] [warn] child process 17103 still did not exit, sending a SIGTERM [Mon Aug 17 22:11:38 2009] [warn] child process 21767 still did not exit, sending a SIGTERM [Mon Aug 17 22:11:38 2009] [warn] child process 21768 still did not exit, sending a SIGTERM [Mon Aug 17 22:11:38 2009] [warn] child process 22102 still did not exit, sending a SIGTERM [Mon Aug 17 22:11:40 2009] [warn] child process 22102 still did not exit, sending a SIGTERM [Mon Aug 17 22:11:42 2009] [warn] child process 22102 still did not exit, sending a SIGTERM [Mon Aug 17 22:11:44 2009] [error] child process 22102 still did not exit, sending a SIGKILL [Mon Aug 17 22:11:45 2009] [notice] SIGHUP received. Attempting to restart |
/var/log/messages heeft niks speciaals. Alleen een paar proftpd logs
Tom
[edit]
En zo ziet het eruit als apache vastloopt: