Out of Memory - meerdere keren per dag

[Herr Flicker]

Hi all,

Ik zit met een groot probleem, waar ik niet uitkom:

Introductie:
Ik heb een forum (vespa-ciao.nl) en hiervoor is een VPS gekocht en ingericht bij TransIP. De afgelopen maand (of 2) ligt de server er regelmatig uit. Soms op terugkomende tijden (3.30 in de nacht), maar ook vaak willekeurig. Website draait op Wordpress en is up to date met alle versies en plugins.

Probleem:
De server krijgt pieken in CPU-gebruik en de HDD. Bij de pieken gaat de server ook vaak crashen. Een error die ik vaak terug zie is

code:

Out of memory: Kill process xxxx (php-cgi) score 9 or sacrifice child Killed process xxxx UID xxx, (php-cgi) total-vm:233724kB, anon-rss:9224kB

In een log:

code:

181101  3:23:10 [Note] Plugin 'FEDERATED' is disabled.
181101  3:23:10 InnoDB: The InnoDB memory heap is disabled
181101  3:23:10 InnoDB: Mutexes and rw_locks use GCC atomic builtins
181101  3:23:10 InnoDB: Compressed tables use zlib 1.2.3
181101  3:23:10 InnoDB: Using Linux native AIO
181101  3:23:10 InnoDB: Initializing buffer pool, size = 128.0M
181101  3:23:10 InnoDB: Completed initialization of buffer pool
181101  3:23:10 InnoDB: highest supported file format is Barracuda.
InnoDB: The log sequence number in ibdata files does not match
InnoDB: the log sequence number in the ib_logfiles!
181101  3:23:10  InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
181101  3:23:10  InnoDB: Waiting for the background threads to start
181101  3:23:11 InnoDB: 5.5.59 started; log sequence number 2116274747
181101  3:23:11 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
181101  3:23:11 [Note]   - '0.0.0.0' resolves to '0.0.0.0';
181101  3:23:11 [Note] Server socket created on IP: '0.0.0.0'.
181101  3:23:11 [Note] Event Scheduler: Loaded 0 events
181101  3:23:11 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.5.59'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  MySQL Community Server (GPL)

Error log 2:

code:

Nov  1 03:23:07 vespa-ciao kernel: Out of memory: Kill process 13042 (mysqld) score 17 or sacrifice child

Eindigt hier altijd mee

Wat heb ik geprobeerd:
-Slow query log uitdraaien - alles langer dan 10sec
-Plugins uitschakelen
-Errors verhelpen die in de debug.log van Wordpress staan
-Gekeken of het een DDOS aanval is, TransIP laten monitoren

Ik kom er helaas niet uit, en het voelt voor mij als in het wilde westen schieten en kleine dingetjes proberen. Tot nu toe heeft nog niks geholpen. Ben erg benieuwd of jullie nog met concrete antwoorden kunnen komen.

Mochten er nog vragen zijn, let me know!

[basdej]

Wat zijn de specs van je VPS?

[Herr Flicker]

vespaciao-vps
2 cores / 4.096 MB / CentOS

Apache version: Apache/2.2.27
PHP version: 7.1.0
MySQL version: 5.1.73
CPU Model: Westmere E56xx/L56xx/X56xx (Nehalem-C)
CPU Details: 2 Core (2200 MHz)
Distro Name: CentOS release 6.8 (Final)
Kernel Version: 2.6.32-642.13.1.el6.x86_64
Platform: x86_64

[Hero of Time]

Het gebeurt dus rond 3:30 in de nacht. Kijk dan eens wat er rond die tijd wordt gestart. Kijk daarbij in de verschillende cron opties in /etc/cron.*. Wordt er een backup gemaakt rond die tijd wellicht?

Inrichten van monitoring is in dit geval wel zinvol om meer inzicht te krijgen wat er zoal op je server gebeurt. Ik denk trouwens niet dat er een externe oorzaak is van je geheugentekort. Het kan wel het gevolg zijn van een eerdere inbraak, waardoor er nu wat ongewenst draait.

[Thralas]

Herr Flicker schreef op zaterdag 17 november 2018 @ 14:04:
Ik kom er helaas niet uit, en het voelt voor mij als in het wilde westen schieten en kleine dingetjes proberen.

Dat blijkt.

Je foutmelding is ontzettend duidelijk. 'Out of memory' in je kernel log betekent dat je geheugen op is, waarna de kernel een proces uitkiest en opoffert.

Gelukkig is de kernel ontzettend behulpzaam en print hij nog een hoop meer vóór de 'Out of memory: Kill process'-regel. De eerste regel begint met '<proces> invoked oom-killer', ertussen staat een compleet snapshot van je geheugengebruik op het kritieke moment.

Probeer die eens te lezen, of post hem hier. Zijn er bijvoorbeeld buitensporig veel Apache of PHP (waarom trouwens php-cgi?) workers? Of is er een ander proces dat normaliter niet draait, maar op hét moment de boel over het randje duwt.

Tenzij er iets is dat echt excessief veel geheugen gebruikt zou ik eens kritisch naar je Apache/PHP (#workers, geen fpm?) config of swap toevoegen. Maar 4 GB RAM moet ruim voldoende zijn voor een simpel forum.

[Herr Flicker]

@Thralas Bedankt voor je antwoord. Ik heb er te weinig kaas van gegeten, dus ik hoop hier iets meer te leren

Ik weet niet of ik het goede stuk te pakken heb maar dit is een stuk voor de out of memory regel:

code:

Nov  1 03:23:07 vespa-ciao kernel: httpd invoked oom-killer: gfp_mask=0x200da, order=0, oom_adj=0, oom_score_adj=0
Nov  1 03:23:07 vespa-ciao kernel: httpd cpuset=/ mems_allowed=0
Nov  1 03:23:07 vespa-ciao kernel: Pid: 31912, comm: httpd Not tainted 2.6.32-696.30.1.el6.x86_64 #1
Nov  1 03:23:07 vespa-ciao kernel: Call Trace:
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff81134630>] ? dump_header+0x90/0x1b0
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff81240312>] ? security_real_capable_noaudit+0x42/0x70
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff81134ab2>] ? oom_kill_process+0x82/0x2a0
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff811349f1>] ? select_bad_process+0xe1/0x120
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff81134ef0>] ? out_of_memory+0x220/0x3c0
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff811418e1>] ? __alloc_pages_nodemask+0x941/0x960
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff8117aefa>] ? alloc_pages_vma+0x9a/0x150
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff8116e2b2>] ? read_swap_cache_async+0xf2/0x160
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff8116ee09>] ? valid_swaphandles+0x69/0x160
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff8116e3c3>] ? swapin_readahead+0xa3/0xc0
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff8115d175>] ? handle_pte_fault+0x6c5/0xac0
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff810ae115>] ? __hrtimer_start_range_ns+0x1a5/0x470
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff810ae45d>] ? hrtimer_try_to_cancel+0x3d/0xd0
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff8115d81a>] ? handle_mm_fault+0x2aa/0x3f0
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff81053671>] ? __do_page_fault+0x141/0x500
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff8106f050>] ? default_wake_function+0x0/0x20
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff811e7ae5>] ? sys_epoll_ctl+0xb5/0x800
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff8155a2be>] ? do_page_fault+0x3e/0xa0
Nov  1 03:23:07 vespa-ciao kernel: [<ffffffff81557265>] ? page_fault+0x25/0x30
Nov  1 03:23:07 vespa-ciao kernel: Mem-Info:
Nov  1 03:23:07 vespa-ciao kernel: Node 0 DMA per-cpu:
Nov  1 03:23:07 vespa-ciao kernel: CPU    0: hi:    0, btch:   1 usd:   0
Nov  1 03:23:07 vespa-ciao kernel: CPU    1: hi:    0, btch:   1 usd:   0
Nov  1 03:23:07 vespa-ciao kernel: Node 0 DMA32 per-cpu:
Nov  1 03:23:07 vespa-ciao kernel: CPU    0: hi:  186, btch:  31 usd:  31
Nov  1 03:23:07 vespa-ciao kernel: CPU    1: hi:  186, btch:  31 usd:   5
Nov  1 03:23:07 vespa-ciao kernel: Node 0 Normal per-cpu:
Nov  1 03:23:07 vespa-ciao kernel: CPU    0: hi:  186, btch:  31 usd:  29
Nov  1 03:23:07 vespa-ciao kernel: CPU    1: hi:  186, btch:  31 usd:  58
Nov  1 03:23:07 vespa-ciao kernel: active_anon:458883 inactive_anon:207632 isolated_anon:0
Nov  1 03:23:07 vespa-ciao kernel: active_file:106721 inactive_file:135207 isolated_file:2176
Nov  1 03:23:07 vespa-ciao kernel: unevictable:0 dirty:135411 writeback:0 unstable:0
Nov  1 03:23:07 vespa-ciao kernel: free:21719 slab_reclaimable:11222 slab_unreclaimable:10938
Nov  1 03:23:07 vespa-ciao kernel: mapped:4497 shmem:47 pagetables:12163 bounce:0
Nov  1 03:23:07 vespa-ciao kernel: Node 0 DMA free:15744kB min:248kB low:308kB high:372kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15356kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes
Nov  1 03:23:07 vespa-ciao kernel: lowmem_reserve[]: 0 3000 4010 4010
Nov  1 03:23:07 vespa-ciao kernel: Node 0 DMA32 free:54352kB min:50372kB low:62964kB high:75556kB active_anon:1507876kB inactive_anon:502868kB active_file:316432kB inactive_file:388096kB unevictable:0kB isolated(anon):0kB isolated(file):8576kB present:3072080kB mlocked:0kB dirty:391100kB writeback:0kB mapped:9944kB shmem:100kB slab_reclaimable:31864kB slab_unreclaimable:9036kB kernel_stack:6752kB pagetables:30748kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:4191008 all_unreclaimable? yes
Nov  1 03:23:07 vespa-ciao kernel: lowmem_reserve[]: 0 0 1010 1010
Nov  1 03:23:07 vespa-ciao kernel: Node 0 Normal free:16780kB min:16956kB low:21192kB high:25432kB active_anon:327656kB inactive_anon:327660kB active_file:110452kB inactive_file:152732kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:1034240kB mlocked:0kB dirty:150544kB writeback:0kB mapped:8044kB shmem:88kB slab_reclaimable:13024kB slab_unreclaimable:34716kB kernel_stack:4448kB pagetables:17904kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:1824256 all_unreclaimable? yes
Nov  1 03:23:07 vespa-ciao kernel: lowmem_reserve[]: 0 0 0 0
Nov  1 03:23:07 vespa-ciao kernel: Node 0 DMA: 2*4kB 1*8kB 1*16kB 1*32kB 1*64kB 0*128kB 1*256kB 0*512kB 1*1024kB 1*2048kB 3*4096kB = 15744kB
Nov  1 03:23:07 vespa-ciao kernel: Node 0 DMA32: 640*4kB 710*8kB 590*16kB 524*32kB 225*64kB 17*128kB 5*256kB 0*512kB 2*1024kB 0*2048kB 0*4096kB = 54352kB
Nov  1 03:23:07 vespa-ciao kernel: Node 0 Normal: 57*4kB 631*8kB 409*16kB 71*32kB 12*64kB 3*128kB 2*256kB 0*512kB 1*1024kB 0*2048kB 0*4096kB = 16780kB
Nov  1 03:23:07 vespa-ciao kernel: 252905 total pagecache pages
Nov  1 03:23:07 vespa-ciao kernel: 8767 pages in swap cache
Nov  1 03:23:07 vespa-ciao kernel: Swap cache stats: add 257348286, delete 257339519, find 142329002/170273817
Nov  1 03:23:07 vespa-ciao kernel: Free swap  = 3254784kB
Nov  1 03:23:07 vespa-ciao kernel: Total swap = 4063228kB
Nov  1 03:23:07 vespa-ciao kernel: 1048575 pages RAM
Nov  1 03:23:07 vespa-ciao kernel: 67508 pages reserved
Nov  1 03:23:07 vespa-ciao kernel: 303577 pages shared
Nov  1 03:23:07 vespa-ciao kernel: 774676 pages non-shared
Nov  1 03:23:07 vespa-ciao kernel: [ pid ]   uid  tgid total_vm      rss cpu oom_adj oom_score_adj name
Nov  1 03:23:07 vespa-ciao kernel: [  476]     0   476     2712        0   1     -17         -1000 udevd
Nov  1 03:23:07 vespa-ciao kernel: [  771]     0   771     2678        0   1     -17         -1000 udevd
Nov  1 03:23:07 vespa-ciao kernel: [  777]     0   777     2711        0   1     -17         -1000 udevd
Nov  1 03:23:07 vespa-ciao kernel: [ 1138]     0  1138     7441      118   1     -17         -1000 auditd
Nov  1 03:23:07 vespa-ciao kernel: [ 1172]     0  1172    62463     1198   0       0             0 rsyslogd
Nov  1 03:23:07 vespa-ciao kernel: [ 1206]     0  1206     4562       84   1       0             0 irqbalance
Nov  1 03:23:07 vespa-ciao kernel: [ 1243]    32  1243     4745       24   0       0             0 rpcbind
Nov  1 03:23:07 vespa-ciao kernel: [ 1266]    29  1266     5852        1   0       0             0 rpc.statd
Nov  1 03:23:07 vespa-ciao kernel: [ 1363]    81  1363     5392       65   1       0             0 dbus-daemon
Nov  1 03:23:07 vespa-ciao kernel: [ 1384]     0  1384    47271       58   0       0             0 cupsd
Nov  1 03:23:07 vespa-ciao kernel: [ 1416]     0  1416     1019        0   0       0             0 acpid
Nov  1 03:23:07 vespa-ciao kernel: [ 1428]    68  1428     9484      184   0       0             0 hald
Nov  1 03:23:07 vespa-ciao kernel: [ 1429]     0  1429     5099        1   1       0             0 hald-runner
Nov  1 03:23:07 vespa-ciao kernel: [ 1458]     0  1458     5629        1   0       0             0 hald-addon-inpu
Nov  1 03:23:07 vespa-ciao kernel: [ 1467]    68  1467     4501        1   1       0             0 hald-addon-acpi
Nov  1 03:23:07 vespa-ciao kernel: [ 1491]     0  1491   113180      132   0       0             0 automount
Nov  1 03:23:07 vespa-ciao kernel: [ 1619]     0  1619    16564       75   1     -17         -1000 sshd
Nov  1 03:23:07 vespa-ciao kernel: [ 1668]     0  1668    27088        1   1       0             0 mysqld_safe
Nov  1 03:23:07 vespa-ciao kernel: [ 2021]     0  2021    20238      110   0       0             0 master
Nov  1 03:23:07 vespa-ciao kernel: [ 2041]     0  2041    45751        1   0       0             0 abrtd
Nov  1 03:23:07 vespa-ciao kernel: [ 2042]    89  2042    20364      156   0       0             0 tlsmgr
Nov  1 03:23:07 vespa-ciao kernel: [ 2073]     0  2073    50788       41   0       0             0 php-fpm
Nov  1 03:23:07 vespa-ciao kernel: [ 2092]     0  2092    29224       66   1       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [ 2097]    99  2097   344758       34   1       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [ 2187]     0  2187    46312       55   1       0             0 pure-ftpd
Nov  1 03:23:07 vespa-ciao kernel: [ 2199]     0  2199    29228      119   1       0             0 crond
Nov  1 03:23:07 vespa-ciao kernel: [ 2215]     0  2215     5276        8   0       0             0 atd
Nov  1 03:23:07 vespa-ciao kernel: [ 2231]     0  2231    16104      118   1       0             0 certmonger
Nov  1 03:23:07 vespa-ciao kernel: [ 2250]     0  2250     1015        1   1       0             0 mingetty
Nov  1 03:23:07 vespa-ciao kernel: [ 2252]     0  2252     1015        1   1       0             0 mingetty
Nov  1 03:23:07 vespa-ciao kernel: [ 2256]     0  2256     1015        1   1       0             0 mingetty
Nov  1 03:23:07 vespa-ciao kernel: [ 2258]     0  2258     1015        1   1       0             0 mingetty
Nov  1 03:23:07 vespa-ciao kernel: [ 2261]     0  2261     1015        1   0       0             0 mingetty
Nov  1 03:23:07 vespa-ciao kernel: [ 2265]     0  2265     1015        1   0       0             0 mingetty
Nov  1 03:23:07 vespa-ciao kernel: [ 3432]    99  3432   344754        7   0       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [17031]    99 17031   344732        8   1       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [32124]    99 32124   344808     3084   1       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [32211]    99 32211   344665        7   0       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [32338]    99 32338   344698        6   1       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [18076]    99 18076   344759     2344   0       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [18596]    99 18596   344732        8   0       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [18683]    99 18683   344726        6   1       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [19119]    99 19119   344727       34   0       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [19299]    99 19299   344729        7   1       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [19947]    99 19947   344739        8   0       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [28889]    99 28889   344727       33   1       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [13280]    99 13280   344696        7   0       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [31883]    99 31883   344734     2564   0       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [31953]    99 31953   344791        7   1       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [13042]    27 13042   351776    25855   1       0             0 mysqld
Nov  1 03:23:07 vespa-ciao kernel: [13222]    89 13222    20298      146   0       0             0 qmgr
Nov  1 03:23:07 vespa-ciao kernel: [17780]     0 17780    64258     1160   0       0             0 spamd
Nov  1 03:23:07 vespa-ciao kernel: [17784]     0 17784    64258      726   0       0             0 spamd
Nov  1 03:23:07 vespa-ciao kernel: [17785]     0 17785    64258      730   0       0             0 spamd
Nov  1 03:23:07 vespa-ciao kernel: [17834]   494 17834    84096      801   0       0             0 amavisd
Nov  1 03:23:07 vespa-ciao kernel: [17840]   494 17840    84402      554   0       0             0 amavisd
Nov  1 03:23:07 vespa-ciao kernel: [17841]   494 17841    84402      570   1       0             0 amavisd
Nov  1 03:23:07 vespa-ciao kernel: [14465]    89 14465    20258      534   0       0             0 pickup
Nov  1 03:23:07 vespa-ciao kernel: [17605]   502 17605    55535    19685   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17665]   502 17665    55534    10113   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17717]   502 17717    55534    14158   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17739]   502 17739    54989    12228   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17772]   502 17772    54956     8266   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17799]   502 17799    54923     6400   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17813]   502 17813    54923     7710   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17837]   502 17837    54378    16630   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17855]   502 17855    54345    14989   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17875]   502 17875    54346    14665   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17887]   502 17887    54313    13113   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17905]   502 17905    53800    14133   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17913]   502 17913    53767    13416   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17924]   502 17924    57943    14161   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17938]   502 17938    53767    15267   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17954]   502 17954    53767    15893   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17962]   502 17962    53767    19325   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17971]   502 17971    53255    19083   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17983]   502 17983    57365    19513   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [17997]   502 17997    53255    19082   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18009]   502 18009    53239    18750   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18017]   502 18017    53239    18750   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18027]   502 18027    57316    19278   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18042]   502 18042    53239    18750   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18050]   502 18050    53239    18770   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18068]   502 18068    53239    18772   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18074]   502 18074    53239    18770   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18116]   502 18116    57337    19573   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18131]   502 18131    57914    19955   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18134]   502 18134    57914    19983   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18136]   502 18136    57337    19581   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18137]   502 18137    58011    20186   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18140]   502 18140    57914    19946   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18148]   502 18148    52225    17996   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18155]   502 18155    47966    13764   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18156]   502 18156    48483    13990   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18157]   502 18157    47961    13454   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18161]   502 18161    44909    10381   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18162]   502 18162    44891    10498   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18165]   502 18165    43095     8628   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18168]   502 18168    43075     8515   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18169]   502 18169    43867     9144   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18172]   502 18172    39268     4818   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18174]   502 18174    39812     5529   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18175]   502 18175    43065     8518   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18180]   502 18180    42044     7587   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18181]   502 18181    40947     6709   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18184]   502 18184    39926     5694   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18189]   502 18189    39803     5360   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18191]   502 18191    39803     5351   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18192]   502 18192    39922     5673   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18194]   502 18194    38762     4322   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18195]   502 18195    39317     4853   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18196]   502 18196    39317     4811   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18199]   502 18199    39317     4864   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18201]   502 18201    38785     4530   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18202]   502 18202    39269     4896   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18204]   502 18204    39291     4961   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18207]   502 18207    39317     4843   1       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18219]   502 18219    36724     1771   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18225]     0 18225    25888     1091   1       0             0 sshd
Nov  1 03:23:07 vespa-ciao kernel: [18226]   502 18226    35927      266   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18227]    74 18227    16900      417   1       0             0 sshd
Nov  1 03:23:07 vespa-ciao kernel: [18228]   502 18228    25818      192   0       0             0 php-cgi
Nov  1 03:23:07 vespa-ciao kernel: [18229]    99 18229     2974      187   0       0             0 suphp
Nov  1 03:23:07 vespa-ciao kernel: [18230]    99 18230   344759     1880   0       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: [18231]    99 18231   344759     1845   1       0             0 httpd
Nov  1 03:23:07 vespa-ciao kernel: Out of memory: Kill process 13042 (mysqld) score 17 or sacrifice child

Zit ik hier goed?

@Hero of Time Bedankt,
Er wordt als het goed is wel een backup gemaakt inderdaad. In de /etc/ map kom ik een cron.d , .daily, .hourly, monthly en weekly tegen.
Als ik de daily bekijk zie ik maar 1 regel die vandaag nog iets heeft gedaan:

code:

drwxr-xr-x. 117 root root 12288 Nov 18 02:33 ../

Ook heb ik in /var/log de messages-20181118 bekeken, hier zie ik heel veel:

code:

failed password for root from *ip adres* port xxxxx ssh2

Dit gaat regels lang door. Is dit normaal? Ziet er naar uit dat ze proberen in te loggen via SSH.
Kan dit ook voor een servercrash zorgen?

Bedankt voor alle reacties tot nu toe.

[Jazzy]

Herr Flicker schreef op zondag 18 november 2018 @ 16:31:
Ook heb ik in /var/log de messages-20181118 bekeken, hier zie ik heel veel:

code:

failed password for root from *ip adres* port xxxxx ssh2

Dit gaat regels lang door. Is dit normaal? Ziet er naar uit dat ze proberen in te loggen via SSH.
Kan dit ook voor een servercrash zorgen?

Crashende processen zijn altijd lastig en ik kan me voorstellen dat je dan even een flink stuk log deelt omdat je niet weet waar op te letten. Maar let er even op dat dit geen topic wordt voor al je korte Linux vraagjes. We verwachten nog steeds eigen inzet en een stukje onderzoek naar herhaalde inlogpogingen via ssh kun je prima eerst zelf doen.

[Thralas]

Herr Flicker schreef op zondag 18 november 2018 @ 16:31:
Ik weet niet of ik het goede stuk te pakken heb maar dit is een stuk voor de out of memory regel:

Dat is precies wat ik bedoelde inderdaad.

Je hebt 60 (!) php-cgi processen draaien op het moment van OOM. Dat is veel.

Geheugengebruik per proces is wat lastig afleesbaar: vermenigvuldig de rss-kolom daartoe met 4096.

• Check je webserver logs om te achterhalen wat de drukte veroorzaakt om die tijd. Zou zomaar eens een crawler kunnen zijn.
• Tune je Apache settings om niet zoveel CGI childs te spawnen

Het eerste vertelt je de oorzaak, maar het tweede is de oplossing - ook als iemand 100 requests tegelijk afvuurt zou er niets moeten crashen. Zorg er dus voor dat alles dat magisch processen spawnt (webserver) een zinnige limiet heeft (liever traag of een 503 dan mysql die wordt afgeschoten).

En eigenlijk nog beter dan een php-cgi setup tunen in 2018: eruitgooien en vervangen voor php-fpm (wie of wat heeft dat uberhaupt geinstalleerd?).

Scheelt als het goed is nog in performance en geheugen ook als je niet iedere request een nieuw proces hoeft te spawnen.

[Turdie]

Installeer en configureer ook fail2ban zodat mensen je SSH niet kunnen aanvallen met veel inlogpogingen.

Check ook is de error logs in /var/log/httpd/error_log

Voor een publiek toegankelijke server is dit ook wel aan te raden:
https://javapipe.com/ddos/blog/iptables-ddos-protection/

[Voor 56% gewijzigd door Turdie op 18-11-2018 17:57]

[vj_slof]

Precies wat hierboven staan. Fail2ban installeren en je SSH-poort ipv 22 op een totaal random nummer zetten. Dan geef je portscanners weinig kans om de juiste poort te vinden, na 3 of 5x verkeerd aanbellen blokkeert fail2ban het ipadres van de scanner.

[rippiedoos]

Herr Flicker schreef op zaterdag 17 november 2018 @ 14:14:
vespaciao-vps
2 cores / 4.096 MB / CentOS

Apache version: Apache/2.2.27
PHP version: 7.1.0
MySQL version: 5.1.73
CPU Model: Westmere E56xx/L56xx/X56xx (Nehalem-C)
CPU Details: 2 Core (2200 MHz)
Distro Name: CentOS release 6.8 (Final)
Kernel Version: 2.6.32-642.13.1.el6.x86_64
Platform: x86_64

Ik zou ook maar eens een OS-update draaien. CentOS zit inmiddels op 6.10 en ook PHP zit op 7.1.24. Bij CentOS zitten een boel beveiligings- en stability updates en ik kan mij voorstellen dat een CentOS-versie uit 2016 (!!!) niet de nieuwste beveilings- en software-updates bevat, waar onder andere memory leaks worden gefixt (voorbeeld: https://bugs.php.net/bug.php?id=75945)

Even los van de fail2ban-zaken, die inderdaad zeker noodzakelijk zijn, lijkt mij het updaten van het OS ook essentieel, om memory-leaks (en applicatie- en beveiligingslekken) te voorkomen.

[Chris-1992]

@Herr Flicker
Is het niet de DB (MysSQL) die veel memory slurpt?
Autoclose van databases, query's niet in een loop hangen?

[com2,1ghz]

Probeer het probleem te reproduceren met een reselience test. Kijk daarna verder.

[Jazzy]

Chris-1992 schreef op donderdag 22 november 2018 @ 21:16:
@Herr Flicker
Is het niet de DB (MysSQL) die veel memory slurpt?
Autoclose van databases, query's niet in een loop hangen?

Concrete tips voor hoe je dat vast kunt stellen? Ben niet OP maar heb vergelijkbare ervaringen en vond het erg lastig om te pinpointen wat er precies gebeurt op Linux.

[Hero of Time]

Daarom gaf ik ook als advies om monitoring in te richten op die machine. Dan zie je namelijk heel mooi je geheugengebruik toenemen als er iets lekt, of een piek omhoog waar je dan meer op kan focussen rond dat tijdstip.

Wat uit de logmeldingen duidelijk is, is dat Apache/httpd meer geheugen wil, waardoor ik het in die hoek zou gaan zoeken. Ook omdat er is aangegeven dat er Wordpress wordt gebruikt, iets wat normaal gesproken voor blogs is bedoelt, en is ingezet als forum. Althans, zo staat het beschreven in de opening post. Dat lijkt mij geen goede combinatie, dat zal vast via een plugin zijn die geheugen kan lekken.