Linux CPU verbruik vraag

[BasXcore]

Hoi,

Ik heb een probleem met een CentOS 7 server. Deze is op dit moment heel erg traag. In ATOP en TOP zie ik dat de totaal CPU verbruik op bijna 100% staat. Als ik kijk naar de lijst van actieve processen, dan is er geen één die daadwerkelijk verantwoordelijk is voor die 100%. Sterker nog alles staat heel laag. Ik kan dan ook niet verklaren waar die 100% CPU verbruik dan ook vandaan komt. ATOP en TOP laten precies hetzelfde zien.

Heeft iemand een idee hoe ik dit kan aanpakken?

Alvast bedankt en gegroet,
Bastiaan

[ Voor 14% gewijzigd door BasXcore op 26-08-2019 22:13 . Reden: plaatjes ]

[Room42]

@BasXcore Je linkt 2x naar hetzelfde plaatje. Kun je ze niet gewoon 100% embedden?

Vertel verder wat over je systeem. Betreft het een VM en op wat voor Hypervisor draait deze dan? Wat is de load van de hypervisor en wat zijn de reservations voor deze VM?

Doe ook eens een cat /proc/cpuinfo (even in [code]-tags, aub.).

[ Voor 59% gewijzigd door Room42 op 26-08-2019 22:14 ]

[BasXcore]

Room42 schreef op maandag 26 augustus 2019 @ 22:10:
@BasXcore Je linkt 2x naar hetzelfde plaatje. Kun je ze niet gewoon 100% embedden?

Er zat een tikfout in, de links werken nu goed. txs.

[Room42]

Dit is wellicht een interessante post voor je: https://askubuntu.com/que...in-sudo-top/701092#701092
Ik weet niet of forkstat standaard in de CentOS-repository zit, in Ubuntu is dat wel het geval.

[ Voor 23% gewijzigd door Room42 op 26-08-2019 22:22 ]

[BasXcore]

Het betreft een VM op een VMware 6.7 omgeving. De VM heeft 2 vCPU, de hypervisor constateerd ook 100% CPU, er zijn geen reserveringen van toepassing. Het probleem is begonnen precies om 19:55, volgens de logs lijkt het erop dat een cron taak dit heeft veroorzaakt.

Het systeem tref ik aan dat de CPU dus op 100% staat, zonder aanwijsbaar proces. Daarbij merk ik op dat verschillende bin bestanden weg zijn of de rechten er af zijn.

Zo is van /usr/bin/python2.7 de rechten er af, die heb ik er weer terug opgezet zodat alles weer een beetje begon te werken.

De /usr/sbin/sshd is in zijn geheel weg. Die heb ik zojuist weer via yum teruggezet.

Precies hetzelfde is afgelopen nacht ook gebeurt. We hebben de VM gerestored maar nu gebeurt dus weer hetzelfde.

Een aanwijzing kan zijn als ik erachter kom welk process of thread nu die 100% CPU veroorzaakt. Ik kan mijn weg wel vinden in Linux maar ben geen expert, ik sta open voor suggesties.

code:

processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 79
model name      : Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz
stepping        : 1
microcode       : 0xb000036
cpu MHz         : 2199.998
cache size      : 30720 KB
physical id     : 0
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 0
initial apicid  : 0
fpu             : yes
fpu_exception   : yes
cpuid level     : 20
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx rdtscp lm constant_tsc arch_perfmon nopl tsc_reliable nonstop_tsc eagerfpu pni pclmulqdq ssse3 fma cx16 sse4_1 sse4_2 movbe popcnt aes xsave avx hypervisor lahf_lm 3dnowprefetch arat
bogomips        : 4399.99
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

processor       : 1
vendor_id       : GenuineIntel
cpu family      : 6
model           : 79
model name      : Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz
stepping        : 1
microcode       : 0xb000036
cpu MHz         : 2199.998
cache size      : 30720 KB
physical id     : 2
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 2
initial apicid  : 2
fpu             : yes
fpu_exception   : yes
cpuid level     : 20
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx rdtscp lm constant_tsc arch_perfmon nopl tsc_reliable nonstop_tsc eagerfpu pni pclmulqdq ssse3 fma cx16 sse4_1 sse4_2 movbe popcnt aes xsave avx hypervisor lahf_lm 3dnowprefetch arat
bogomips        : 4399.99
clflush size    : 64
cache_alignment : 64
address sizes   : 40 bits physical, 48 bits virtual
power management:

[Matis]

Mogelijk een device driver of interrupt routine die in kernel-space je resources opsnoept.

Je zou eens in je kernel log kunnen kijken of er rond die tijd nieuwe modules of apparaten zijn aangesloten.

[BasXcore]

Dit is het moment dat het probleem ontstaat. Dan wordt de '/etc/cron.fivem/' gestart:

code:

Aug 26 19:55:01 ic-hlm1-web01 systemd: Started Session 172 of user root.
Aug 26 19:56:49 ic-hlm1-web01 systemd: crond.service: main process exited, code=killed, status=9/KILL
Aug 26 19:56:49 ic-hlm1-web01 systemd: Unit crond.service entered failed state.
Aug 26 19:56:49 ic-hlm1-web01 systemd: crond.service failed.
Aug 26 19:56:50 ic-hlm1-web01 systemd: tuned.service: main process exited, code=killed, status=9/KILL
Aug 26 19:56:50 ic-hlm1-web01 systemd: Unit tuned.service entered failed state.
Aug 26 19:56:50 ic-hlm1-web01 systemd: tuned.service failed.
Aug 26 19:56:50 ic-hlm1-web01 systemd: sshd.service: main process exited, code=killed, status=9/KILL
Aug 26 19:56:50 ic-hlm1-web01 systemd: Unit sshd.service entered failed state.
Aug 26 19:56:50 ic-hlm1-web01 systemd: sshd.service failed.
Aug 26 19:56:59 ic-hlm1-web01 kernel: traps: mxqi[14874] general protection ip:7f3cdcc51f94 sp:7ffcc6a21d18 error:0
Aug 26 19:57:00 ic-hlm1-web01 kernel: traps: wbetdv[14869] general protection ip:7fcfdb108c40 sp:7fffee12cfb8 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: }bD'<97>t[14880] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: 3C<94>q<80><8e>[14889] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: <87>^o<89>(L[14890] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: g'QnW?[14891] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: Ga2Cv3[14892] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: <88>/~<96>C<8e>[14893] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: CX`10s[14894] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: <93>Oa<95><89>o[14898] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:14 ic-hlm1-web01 kernel: show_signal_msg: 4 callbacks suppressed
Aug 26 19:57:14 ic-hlm1-web01 kernel: hjyy[14913]: segfault at 0 ip 00007f175f8a9725 sp 00007ffc56196b28 error 4
Aug 26 19:57:32 ic-hlm1-web01 systemd: sshd.service holdoff time over, scheduling restart.
Aug 26 19:57:32 ic-hlm1-web01 systemd: Stopped OpenSSH server daemon.
Aug 26 19:57:33 ic-hlm1-web01 systemd: Starting OpenSSH server daemon...
Aug 26 19:57:33 ic-hlm1-web01 systemd: Failed at step EXEC spawning /usr/sbin/sshd: No such file or directory
Aug 26 19:57:33 ic-hlm1-web01 systemd: sshd.service: main process exited, code=exited, status=203/EXEC
Aug 26 19:57:33 ic-hlm1-web01 systemd: Failed to start OpenSSH server daemon.
Aug 26 19:57:33 ic-hlm1-web01 systemd: Unit sshd.service entered failed state.
Aug 26 19:57:33 ic-hlm1-web01 systemd: sshd.service failed.
Aug 26 19:58:00 ic-hlm1-web01 nagent: 15439 705064 3747508 java      sh: line 1: 16437 Done                    last -w
Aug 26 19:58:00 ic-hlm1-web01 nagent: 16438 Killed                  | grep tty
Aug 26 19:58:00 ic-hlm1-web01 nagent: 16439 Killed                  | grep still

Op die 19:55 draait er een cron job van N-Central. Dan loopt een process voor het controleren of de N-Able agent misschien geupdate moet worden. Die check loopt elke 5 minuten, de log daarvan is precies hetzelfde als elke loop, dat hij constateerd dat hij niets hoeft te doen. En daarna zie je dat er services beginnen te stoppen.

[Thralas]

code:

Aug 26 19:56:59 ic-hlm1-web01 kernel: traps: mxqi[14874] general protection ip:7f3cdcc51f94 sp:7ffcc6a21d18 error:0
Aug 26 19:57:00 ic-hlm1-web01 kernel: traps: wbetdv[14869] general protection ip:7fcfdb108c40 sp:7fffee12cfb8 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: }bD'<97>t[14880] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: 3C<94>q<80><8e>[14889] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: <87>^o<89>(L[14890] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: g'QnW?[14891] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: Ga2Cv3[14892] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: <88>/~<96>C<8e>[14893] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: CX`10s[14894] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: <93>Oa<95><89>o[14898] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:14 ic-hlm1-web01 kernel: show_signal_msg: 4 callbacks suppressed
Aug 26 19:57:14 ic-hlm1-web01 kernel: hjyy[14913]: segfault at 0 ip 00007f175f8a9725 sp 00007ffc56196b28 error 4

Zo te zien ben je Monero's aan het minen en heeft iemand dat weten te verstoppen met een userspace rootkit.

[BasXcore]

Thralas schreef op dinsdag 27 augustus 2019 @ 07:10:

code:

Aug 26 19:56:59 ic-hlm1-web01 kernel: traps: mxqi[14874] general protection ip:7f3cdcc51f94 sp:7ffcc6a21d18 error:0
Aug 26 19:57:00 ic-hlm1-web01 kernel: traps: wbetdv[14869] general protection ip:7fcfdb108c40 sp:7fffee12cfb8 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: }bD'<97>t[14880] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: 3C<94>q<80><8e>[14889] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: <87>^o<89>(L[14890] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: g'QnW?[14891] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: Ga2Cv3[14892] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: <88>/~<96>C<8e>[14893] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: CX`10s[14894] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:02 ic-hlm1-web01 kernel: traps: <93>Oa<95><89>o[14898] general protection ip:7f9302c0c1ad sp:7fff0bc7ab38 error:0
Aug 26 19:57:14 ic-hlm1-web01 kernel: show_signal_msg: 4 callbacks suppressed
Aug 26 19:57:14 ic-hlm1-web01 kernel: hjyy[14913]: segfault at 0 ip 00007f175f8a9725 sp 00007ffc56196b28 error 4

Zo te zien ben je Monero's aan het minen en heeft iemand dat weten te verstoppen met een userspace rootkit.

Serieus? Uit welke log stukjes maak je dat op?

[Thralas]

Uit de stukken die ik quote.

Er crasht een proces herhaaldelijk, waarbij het telkens een andere (niet-leesbare) naam heeft.

Dat is in geen geval zuivere koffie. Helemaal niet als je het niet terugziet in de proceslijst en er allerlei andere rare dingen gebeuren (de kills zouden de OOM killer nog kunnen zijn, zie kernel log).

Doet sterk vermoeden dat iets (1) malware heeft gestart (2) dat met rootrechten doet

[Hero of Time]

Jup, dat systeem is compromised. Is het vanaf het internet te benaderen? Wat draait er zoal op? Je hebt namelijk zo te zien een lek pakket dat een aanvaller heeft kunnen gebruiken om toegang te krijgen tot het systeem.

Omdat niet duidelijk is wanneer die toegang exact is verkregen (dat kan dagen tot weken terug al zijn geweest), is het het beste om deze machine af te schrijven en een nieuwe op te zetten. Deze is niet meer te vertrouwen.

[BasXcore]

Yup, inderdaad, gehacked.

Ze zijn via een vulnerability in Confluence binnengekomen:
https://community.atlassi...y-Kerberods/qaq-p/1054605

code:

109.201.133.76 - - [26/Aug/2019:19:56:48 +0200] "POST /rest/tinymce/1/macro/preview HTTP/1.1" 200 3545 "-" "-"
109.201.133.76 - - [26/Aug/2019:19:56:48 +0200] "POST /rest/tinymce/1/macro/preview HTTP/1.1" 200 3547 "-" "-"
109.201.133.76 - - [26/Aug/2019:19:56:48 +0200] "POST /rest/tinymce/1/macro/preview HTTP/1.1" 200 3696 "-" "-"
109.201.133.76 - - [26/Aug/2019:19:56:48 +0200] "POST /rest/tinymce/1/macro/preview HTTP/1.1" 502 436 "-" "-"

Daarna is een bash script in /etc/cron.fivem geplaatst en die heeft de rootkit geïnstalleerd.

We gaan een nieuwe machine opzetten en de boel volledig door updaten.

Bedankt voor de analyses!