Systeem overloaded door php-cgi

[]Byte[]

Ik heb een webserver (met wordpress en woocommerce) die soms nog al eens over zijn nek wil gaan.
Als ik dan inlog staat de load ergens op 100+ en extreem veel php-cgi processen.
Per proces verbruikt ie dan zonder problemen 180MB+... en dan... tja door het tekort gaat ie swappen als een ...
Is er ergens een mogelijkheid om het aantal php-cgi processen te limiteren in php.ini?
php 5.3.3 (SuPHP) op een CentOS 6.6

[CAPSLOCK2000]

Nee, in ieder geval niet met php.ini, je moet het aantal apache processen beperken.
Tenzij er nog een proces-manager tussen zit als php-fpm, dan moet je het daar inperken.

Overigens zal niet ieder proces daadwerkelijk 180MB gebruiken, het grootste deel wordt gedeeld met andere processen, maar zo te horen is het in ieder geval te veel.

[edwinjm]

Wordt PHP echt als CGI aangeroepen? Dat is voor de performance niet altijd bevordelijk. Waarschijnlijk is dat ooit met een reden gedaan. Weet je (nog) welke?

PHP performt vaak beter met mod_php of nog beter php-fpm. Ook kan je kijken of je een opcode cache aan hebt staan.

(Oké, niet precies de antwoorden op je vraag, maar het kan je wel helpen).

[]Byte[]

Wordt PHP echt als CGI aangeroepen? Dat is voor de performance niet altijd bevordelijk. Waarschijnlijk is dat ooit met een reden gedaan. Weet je (nog) welke?

Om eerlijk te zijn... Ik heb geen flauw idee. Ik ben ook geen webdesigner/php-krasser/...
(geef mij de achterliggende techniek maar... )
Het probleem is destijds ontstaan bij de oude hosting-provider.
Die hadden 'updates gedraaid' op hun shared hosting-cloud. Toen is het dramatisch geworden. (ook al vonden hun dat het daar niet aan lag, maar waar wel konden ze ook niet vertellen)
Uiteindelijk zijn we toen overgestapt naar dedicated hosting. (en kon ik ook met ssh aan de slag)
Toen waren de problemen nog steeds niet voorbij, en toen hebben ze ons geadviseerd om over te stappen naar SSD-hosting. Toen ook gedaan. Uiteindelijk hebben ze uit coulance ook nog extra memory toegewezen.
Toen ging het een stuk beter.
Nu zijn we uiteindelijk sinds een paar weken overgestapt naar een andere hostingprovider en gaat het een aanzienlijk stuk beter. we draaien hiermee onder CentOS 6.6 die ik helemaal vanaf scratch heb opgebouwd. Ik wilde niet nogmaals de ouwe bagger meenemen waar de vingers niet achter te krijgen was.
Nu alleen nog het probleem oplossen dat de server heel soms over zijn nek gaat door de php-cgi processen.

Ik heb nu inmiddels php-fpm geïnstalleerd en zal daar eens wat proces limieten in zetten en kijken of we het daarmee onder controle kunnen houden.
Maarja, eigenlijk lijkt het mij persoonlijk een beetje 'symptoom bestrijding' omdat ik niet weet waarom het precies gebeurd. (ligt de oorzaak in WordPress? WooCommerce?)
We zijn wel heelmaal bij met alle updates en patches etc.

[Thralas]

]Byte\[ schreef op donderdag 19 februari 2015 @ 08:53:
Om eerlijk te zijn... Ik heb geen flauw idee. Ik ben ook geen webdesigner/php-krasser/...
(geef mij de achterliggende techniek maar... )

De opmerking van edwinjm heeft ook niets met PHP-tikken te maken, en alles met de achterliggende techniek

Maarja, eigenlijk lijkt het mij persoonlijk een beetje 'symptoom bestrijding' omdat ik niet weet waarom het precies gebeurd.

Hier zijn wat hints:

1. Check of die 180MB virtueel/shared of resident memory betreft. Zoek op wat de verschillen zijn als je dat niet weet.
2. Check of de load werkelijk door een gebrek aan memory (free, htop) komt, en daardoor teveel leunt op swap space.
3. Controleer of het je disk is die inderdaad op 100% util zit, veroorzaakt door kswapd (iostat, iotop). Als het goed is zie je dan ook hoge await %iowait times in iostat.

Vervolgens: zoek uit hoe Apache/PHP gespawned wordt, met hoeveel childs min/max (en alle bijbehorende variabelen).

Verder gebruik je mod_suphp. Waarom? Heb je daar een goede reden voor, en maak je daar in de praktijk ook gebruik van? Zie wat edwinjm zegt, afhankelijk van het antwoord op voorgaande vraag zou ik kijken naar php-fpm (modernste manier om php standalone te draaien) of mod_php (simpel).

Overigens spawned suPHP volgens mij een php-cgi child voor iedere request, dus dan heb je 1:1 aan apache/php-processen (met een prefork apache mpm). Kritisch naar je top-output kijken vertelt als het goed is welke van de 2 er nu werkelijk het meeste memory opeet.

En als je verder concrete hints wil, voorzie ons ook van wat cijfertjes (excerpts van top/ps en de hoeveelheid geheugen/swap in dat virtuele blik).

(ligt de oorzaak in WordPress? WooCommerce?)

Dat kun je gemakkelijk zien, want je draait suphp om die twee van elkaar te scheiden, dus dan draaien de bijbehorende php-cgi instances onder andere uids. Of ga je ons vertellen dat je suphp onder 1 en dezelfde user draait /flauw

[ Voor 9% gewijzigd door Thralas op 19-02-2015 11:59 ]

[]Byte[]

[quote]Thralas schreef op donderdag 19 februari 2015 @ 11:56:
[...]

1. [/quote] [quote]
2. Check of die 180MB virtueel/shared of resident memory betreft. Zoek op wat de verschillen zijn als je dat niet weet.
3. [/quote] - Oke, zal ik volgende keer even nakijken als het weer voorvalt. [quote]
4. Check of de load werkelijk door een gebrek aan memory (free, htop) komt, en daardoor teveel leunt op swap space.
5. [/quote] - JA, 100% de volle 4GB zit vol... En de swap ook op dat moment. [quote]
6. Controleer of het je disk is die inderdaad op 100% util zit, veroorzaakt door kswapd (iostat, iotop). Als het goed is zie je dan ook hoge await %iowait times in iostat.
7. [/quote] - JA, 100% waar. De iowait loopt op tot, voorzover zabbix nog metingen binnen krijgt, dik boven de 70% En op disk zit ik op dat moment met pieken van zo'n 2650 I/O's per sec reads en 2500 I/O's per sec writes.

En als je verder concrete hints wil, voorzie ons ook van wat cijfertjes (excerpts van top/ps en de hoeveelheid geheugen/swap in dat virtuele blik).

Het is een CentOS 6.6 box met 4 GB RAM en 150 GB disk. ik heb een swap van tevens 4 GB.
Systeem heb ik gebouwd als 'The Perfect Server'.
Welke top/ps output wil je hebben? (ps auwx voldoende?)

Dat kun je gemakkelijk zien, want je draait suphp om die twee van elkaar te scheiden, dus dan draaien de bijbehorende php-cgi instances onder andere uids. Of ga je ons vertellen dat je suphp onder 1 en dezelfde user draait /flauw

Ja, heel flauw..
Nee dus, draait niet onder dezelfde user.

[update]
Oke, hier wat logs...

iotop

code:

Total DISK READ: 79.60 M/s | Total DISK WRITE: 26.00 M/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND                                                                                                         
 2404 be/4 web1      195.90 K/s    0.00 B/s  0.00 % 99.99 % php-cgi
 2403 be/4 web1     1176.29 K/s    0.00 B/s  0.00 % 99.99 % php-cgi
 2284 be/4 web1      168.30 K/s  253.84 K/s  3.89 % 99.99 % php-cgi
 2412 be/4 mailman   156.35 K/s    0.00 B/s  0.00 % 99.99 % python -S /usr/lib/mailman/cron/gate_news
 2417 be/4 root      342.13 K/s    0.00 B/s  0.00 % 99.99 % php -q /usr/local/ispconfig/security/check.php
 2045 be/4 web1      447.89 K/s 1228.71 K/s  4.04 % 99.99 % php-cgi
 2197 be/4 web1      207.85 K/s  287.86 K/s  0.00 % 99.99 % php-cgi
 2443 be/4 web1     1259.06 K/s    0.00 B/s  0.00 % 99.99 % php-cgi
 2424 be/4 getmail   614.36 K/s    0.00 B/s  0.00 % 99.99 % python /usr/bin/getmail -v -g /etc/getmail -r cpanel_<sitenaam>_order.conf -r cpanel_<sitenaam>_<user>.conf
 2270 be/4 web1      173.82 K/s 1052.13 K/s  3.26 % 99.99 % php-cgi
 2042 be/4 web1      264.87 K/s  475.48 K/s  2.54 % 99.99 % php-cgi
 2041 be/4 web1      283.27 K/s  213.37 K/s  6.82 % 99.99 % php-cgi
 2455 be/4 root      605.16 K/s    0.00 B/s  0.00 % 99.99 % php -q /usr/local/ispconfig/server/server.php
 2431 be/4 mysql     607.92 K/s    0.00 B/s  0.00 % 99.99 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mys~/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
 2390 be/4 mysql     387.19 K/s    0.00 B/s  0.00 % 99.99 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mys~/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
 2396 be/4 mysql     838.76 K/s    0.00 B/s  0.00 % 99.99 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mys~/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
   40 be/4 root        0.00 B/s    0.00 B/s  0.00 % 99.99 % [kswapd0]
 2391 be/4 mysql     105.77 K/s    0.00 B/s  0.00 % 99.99 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mys~/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
32435 be/4 apache    220.73 K/s    0.00 B/s 10.27 % 99.99 % httpd
 2352 be/4 mysql     271.31 K/s    0.00 B/s  0.10 % 99.99 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mys~/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
 2444 be/4 web1      393.63 K/s    0.00 B/s  0.00 % 99.99 % php-cgi
 2461 be/4 web1      445.13 K/s    0.00 B/s  7.44 % 99.99 % php-cgi
 2430 be/4 mysql     755.99 K/s    0.00 B/s  0.00 % 99.99 % mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mys~/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
 2355 be/4 root      747.71 K/s    0.00 B/s 11.67 % 99.99 % php -q /usr/local/ispconfig/security/check.php
 2364 be/4 web1      173.82 K/s   57.94 K/s  0.00 % 99.99 % php-cgi
 2192 be/4 root      287.86 K/s    0.00 B/s 25.08 % 99.99 % python /usr/sbin/iotop
 2389 be/4 root      250.16 K/s    0.00 B/s  0.12 % 99.99 % php -q /usr/local/ispconfig/server/server.php
 1978 be/4 web1      137.95 K/s  180.26 K/s 22.65 % 99.99 % php-cgi
 2158 be/4 web1      298.90 K/s 1284.82 K/s 48.50 % 99.99 % php-cgi
 2357 be/4 web1       43.23 K/s   97.49 K/s  0.00 % 99.99 % php-cgi
 2358 be/4 postfix   275.91 K/s    0.00 B/s  0.00 % 99.99 % smtp -t unix -u
 2078 be/4 web1      339.37 K/s  149.91 K/s 52.31 % 99.99 % php-cgi
 2452 be/4 postfix   978.56 K/s    0.00 B/s  0.00 % 99.99 % proxymap -t unix -u
 2388 be/4 web1       91.05 K/s  337.53 K/s  0.00 % 99.99 % php-cgi
 1200 be/4 web1      607.00 K/s  126.00 K/s 41.63 % 99.99 % php-cgi
 2031 be/4 web1       55.18 K/s  941.77 B/s  1.60 % 99.99 % php-cgi
 2339 be/4 postfix   173.82 K/s    0.00 B/s  0.00 % 99.99 % smtp -t unix -u
 2143 be/4 web1      449.73 K/s  786.34 K/s 78.61 % 99.99 % php-cgi
  965 be/4 root        3.68 K/s  568.37 K/s  0.00 % 99.99 % [flush-253:0]
 1756 be/4 zabbix      0.00 B/s    0.00 B/s  0.00 % 99.99 % zabbix_agentd: collector [idle 1 sec]
 1979 be/4 web1      206.93 K/s    3.68 K/s  2.48 % 99.99 % php-cgi
 2254 be/4 web1      194.98 K/s  337.53 K/s 93.18 % 99.99 % php-cgi
32442 be/4 apache    222.57 K/s    0.00 B/s  1.81 % 97.78 % httpd

top

code:

top - 19:40:47 up 1 day, 13:48,  2 users,  load average: 125.21, 105.46, 62.40
Tasks: 426 total,   5 running, 419 sleeping,   0 stopped,   2 zombie
Cpu0  : 13.7%us,  4.0%sy,  0.0%ni, 81.8%id,  0.5%wa,  0.0%hi,  0.0%si,  0.1%st
Cpu1  : 10.9%us,  3.5%sy,  0.0%ni, 85.0%id,  0.4%wa,  0.0%hi,  0.0%si,  0.1%st
Mem:   3922700k total,  3837468k used,    85232k free,     2064k buffers
Swap:  4063228k total,  4053144k used,    10084k free,    31844k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                          
   40 root      20   0     0    0    0 R  2.6  0.0   0:14.01 kswapd0                                                                                                           
  587 mysql     20   0 1170m  33m 1528 S  2.6  0.9   0:24.95 mysqld                                                                                                            
  766 web1      20   0  359m  33m 1624 D  2.6  0.9   0:02.80 php-cgi                                                                                                           
  768 web1      20   0  358m  34m 1432 D  2.6  0.9   0:02.76 php-cgi                                                                                                           
  835 web1      20   0  331m  27m 1444 D  2.6  0.7   0:02.14 php-cgi                                                                                                           
  844 web1      20   0  331m  26m 1552 D  2.6  0.7   0:01.96 php-cgi                                                                                                           
  911 web1      20   0  326m  23m 1632 D  2.6  0.6   0:01.62 php-cgi                                                                                                           
  912 web1      20   0  328m  25m 1424 D  2.6  0.7   0:01.81 php-cgi                                                                                                           
  965 root      20   0     0    0    0 D  2.6  0.0   0:41.32 flush-253:0                                                                                                       
 1023 root      20   0 15272  936  408 S  2.6  0.0   0:01.87 top                                                                                                               
 1157 web1      20   0  312m  22m 1400 D  2.6  0.6   0:00.73 php-cgi                                                                                                           
 1199 web1      20   0  311m  23m 2012 D  2.6  0.6   0:00.56 php-cgi                                                                                                           
 1200 web1      20   0  311m  24m 1620 D  2.6  0.6   0:00.58 php-cgi                                                                                                           
 1207 web1      20   0  306m  20m 1540 D  2.6  0.5   0:00.49 php-cgi                                                                                                           
 1208 web1      20   0  303m  16m 1636 D  2.6  0.4   0:00.40 php-cgi                                                                                                           
 1211 web1      20   0  304m  18m 2140 D  2.6  0.5   0:00.45 php-cgi                                                                                                           
 1252 web1      20   0  303m  18m 1932 D  2.6  0.5   0:00.41 php-cgi                                                                                                           
 1277 web1      20   0  306m  23m 2392 D  2.6  0.6   0:00.40 php-cgi                                                                                                           
 1282 web1      20   0  303m  18m 1960 D  2.6  0.5   0:00.28 php-cgi                                                                                                           
 1429 root      20   0  193m 2720 1740 D  2.6  0.1   0:00.06 php                                                                                                               
32312 web1      20   0  376m  36m   76 D  2.6  1.0   0:08.37 php-cgi                                                                                                           
  350 web1      20   0  378m  28m  776 R  1.3  0.7   0:04.25 php-cgi                                                                                                           
  359 web1      20   0  378m  32m  144 R  1.3  0.8   0:04.31 php-cgi                                                                                                           
  364 web1      20   0  378m  30m   48 R  1.3  0.8   0:04.48 php-cgi                                                                                                           
  666 web1      20   0  365m  19m 1016 D  1.3  0.5   0:03.30 php-cgi                                                                                                           
  754 web1      20   0  357m  33m 1628 D  1.3  0.9   0:03.00 php-cgi                                                                                                           
  756 web1      20   0  332m  23m 1404 D  1.3  0.6   0:01.94 php-cgi                                                                                                           
  769 web1      20   0  345m  29m 1516 D  1.3  0.8   0:02.06 php-cgi                                                                                                           
  771 web1      20   0  337m  27m 1432 D  1.3  0.7   0:01.78 php-cgi                                                                                                           
  779 web1      20   0  341m  30m 1628 D  1.3  0.8   0:01.96 php-cgi                                                                                                           
  781 web1      20   0  337m  31m 1384 D  1.3  0.8   0:02.06 php-cgi                                                                                                           
  845 web1      20   0  329m  25m 1376 D  1.3  0.7   0:01.71 php-cgi                                                                                                           
  893 web1      20   0  325m  22m 1396 D  1.3  0.6   0:01.62 php-cgi                                                                                                           
  895 web1      20   0  328m  25m 1416 D  1.3  0.7   0:01.77 php-cgi                                                                                                           
  906 web1      20   0  339m  36m 1620 D  1.3  1.0   0:01.83 php-cgi                                                                                                           
  924 web1      20   0  331m  28m 1612 D  1.3  0.8   0:01.68 php-cgi                                                                                                           
  928 web1      20   0  331m  29m 1560 D  1.3  0.8   0:01.47 php-cgi

Hoeveel heeft php-cgi in gebruik?

code:

ps -C php-cgi -o rss= | awk '{s+=$1}END{print s/1024}'
3111.56

De ps auwx zal ik maar even achterwege laten. Die is 419 regels lang.

Hopelijk kunnen jullie mij op het goede spoor zetten.

[ Voor 86% gewijzigd door ]Byte[ op 19-02-2015 20:58 ]

[Rainmaker]

Dit lijkt toch heel sterk op "gewoon" een code fout (infinite loop / fork bomb) in 1 van de scripts die door de webserver gedraaid worden.

Staat er toevallig een bepaalde pagina in de access.log die aangeroepen wordt net voordat dit begint? Of zelfs recursive wordt aangeroepen?

Als je dit weer hebt; kijk eens naar de filedescriptors die 1 van die php-cgi processen:
ls -l /proc/<PID>/fd/

Overigens zou je het aantal processen eventueel kunnen beperken, door de gebruiker "web1" te configureren in /etc/security/limits.conf.

offtopic:
Overigens, dat artikel over "the perfect server"; valt wel eea op aan te merken. Onder andere het blind disablen van SELinux... Op een public accessible webserver? Lijkt me niet slim...

[ Voor 20% gewijzigd door Rainmaker op 20-02-2015 01:07 ]

[Thralas]

Met de poster boven mij.

Overigens is wel te zien dat het als user 'web1' draait, dat zou dus al moeten helpen om in te zoomen op de oorzaak? Access logs en fds is de volgende stap inderdaad (misschien heb je nog wat aan `lsof`).

Die 3100 MB aan php-cgi RSS verklaart ook maar de helft van je geheugengebruik, maar ik neem voor het gemak aan dat de andere helft door apache childs wordt verbruikt?

Rainmaker schreef op vrijdag 20 februari 2015 @ 01:02:
Overigens zou je het aantal processen eventueel kunnen beperken, door de gebruiker "web1" te configureren in /etc/security/limits.conf.

Ik zou Apache's MaxClients tunen, dat is de juiste knob.

offtopic:
Overigens, dat artikel over "the perfect server"; valt wel eea op aan te merken. Onder andere het blind disablen van SELinux... Op een public accessible webserver? Lijkt me niet slim...

Mja, NSA conspiracy to make security hard.

[]Byte[]

Ik was nu zo gefocust op php-cgi dat ik er op dat moment even niet aan dacht om dit ook te doen voor httpd
de lsof zal ik de volgende keer ook eens een trap geven.
In de Access.log heb ik nog niets bijzonders kunnen vinden. (ben nog bezig met uitpluizen)

Tav SELinux, tja... ik vindt het ook een beetje een botte methode om 'm helemaal uit te zetten.
Ik zou dan zoiets hebben van, dan zorg je dat je ISPConfig ook in de settings van SELinux opneemt.
Vroeger deed ik niets anders dan disabled zetten 'omdat het mij allemaal telkens in de weg zat', maar als je er even de tijd voor neemt... Tja, ze hebben het niet voor niets geïmplementeerd.

Ik zal maar vast een scriptje klaar zetten voor als het zich nogmaals voordoet.
Dan vergeet ik niet iets te gaan loggen

Wat is een beetje acceptabele waarde voor MaxClients?

[ Voor 3% gewijzigd door ]Byte[ op 20-02-2015 11:21 ]

[init6]

Thralas schreef op vrijdag 20 februari 2015 @ 10:23:

Mja, NSA conspiracy to make security hard.

Selinux is niet moeilijk.

selinux kleurboek

[ Voor 5% gewijzigd door init6 op 25-02-2015 20:12 ]

[edwinjm]

]Byte\[ schreef op vrijdag 20 februari 2015 @ 11:19:
Wat is een beetje acceptabele waarde voor MaxClients?

Dat hangt af van allerlei factoren.

Omdat bij jouw het geheugen het probleem is, zou ik daarnaar kijken.

Als ik het goed zie heb je 4GB geheugen. Stel dat je daar maximaal 2GB aan Apache wil toekennen. In top zie ik dat een PHP-process rond de 25MB is. (Als iemand me kan verbeteren hoor ik het graag).

Je kunt dus in die 2GB 2000 / 25 = 80 Apache-PHP processen draaien.

Dus:

MaxClients 80

[]Byte[]

We hebben de boosdoener waarschijnlijk gevonden.
Het was de multilingual plugin van WordPress!
Sinds we deze hebben uitgeschakeld is het systeem zo 'mak als een lammetje'

@edwinjm
Die rekensom is mij bekend.
En als ik dan zie dat ik op dergelijke momenten 180+ php-cgi processen heb draaien, is die rekensom snel gemaakt.
Maar hoe staat dat in relatie tot 'memory_limit = 256M' in php.ini?
Is het niet zo dat dit proces dan kan groeien tot 256 MB? (of hoe moet ik dit interpreteren?)

[update]
Om je een idee te geven:

code:

 PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                          
 4513 web1      20   0  426m 211m  72m R 74.1  5.5   0:02.23 php-cgi                                                                                                           
 4514 web1      20   0  385m 171m  71m R 60.5  4.5   0:01.82 php-cgi

[ Voor 32% gewijzigd door ]Byte[ op 27-02-2015 09:21 ]