Process "ksoftirqdx" neemt 200% CPU

[Koozza]

Beste Tweakers,

Sinds ongeveer kwart over 1 afgelopen nacht draait er een proces op mijn VPS genaamd: ksoftirqdx. Deze wordt uitgevoerd door de user www-data (apache?) en trekt mijn gehele CPU vol (200%). Nu heb ik dit proces gekilled maar ik heb geen idee wat dit was. Kan iemand mij dit vertellen? Met google kwam ik er ook niet uit aangezien er ook een proces met de naam: ksoftirqd is (zonder de X).



Kan iemand mij uitleggen of dit "normaal" is of iemand iets gedaan heeft wat niet helemaal de bedoeling is? Ik geloof namelijk niet dat www-data dit proces normaal uit hoort te voeren.

[Thralas]

De legitieme ksoftirqd is een kernel task, draait dus als root, en verstookt geen 200% CPU time.

ThijsD schreef op donderdag 06 maart 2014 @ 14:27:
Kan iemand mij uitleggen of dit "normaal" is of iemand iets gedaan heeft wat niet helemaal de bedoeling is? Ik geloof namelijk niet dat www-data dit proces normaal uit hoort te voeren.

Juist, dat is nog wel de meest duidelijke aanwijzing, en meteen een hint waar je het moet zoeken: waarschijnlijk een lek script in je webroot.

Grep eens op ksoftirq in je webroot, check je httpd access- en error logs en beredeneer eens wat je allemaal draait onder je httpd.

[Koozza]

Hmm de grep geeft niks terug, maar er zijn wel meer dingen niet in de haak merk ik. Zo gaat het IP adres van de server ( http://159.253.5.253/ ) naar /var/www Iet wat in de configs helemaal niet staat.

Tevens zie ik in TOP staan dat www-data ook de volgende dingen uit aan het voeren is: srcds_linux, srcds_run en screen?! Ook als ik de apache2 service stop draait de webserver vrolijk door.


EDIT: Ok mogelijk heb ik iets gevonden. Op die zelfde VPS draaide ook een TF2 (Team Fortress 2) server. Zodra ik deze kill zijn al bovengenoemde processen van www-data weg. Op een of andere manier draait de TF2 server dus onder de user www-data?!

[ Voor 24% gewijzigd door Koozza op 06-03-2014 15:16 ]

[Kees]

srcds klinkt als SouRCe Dedicated Server welke een 'linux' en een 'run' process start in een screen.

Start je je TF2 server toevallig vanaf een webinterface?

[Thralas]

Dat zou een goede verklaring zijn voor TF2. Maar een 'echte' ksoftirqd is toch echt 'ksoftirqd/%u' onder root, en geen ksoftirqdx onder www-data...

Seems fishy. Als het ding weer draait zou je eens kunnen kijken naar /proc/pid/cmdline en /proc/pid/exe (zou een symlink moeten zijn naar de bijbehorende executable).

[Kees]

Je kan sowieso proberen de binary te vinden door iets als locate ksoftirqdx en dan te bekijken wat het precies is. Het is inderdaad fishy en geen standaard binary in linux.

[Hero of Time]

Ik zou bijna denken dat het een verdekt opgestelde miner is die via gaten in de software op je server wordt uitgevoerd. Mining is helemaal hip tegenwoordig en er zijn genoeg Linux machines op 't web die niet zo heel veilig zijn door verouderde software of brakke management tools. En omdat het proces elke naam kan hebben die je wilt, zal je er wellicht ook niet snel iets over vinden omdat het te veel lijkt op een legitiem proces.

[Koozza]

Kees schreef op donderdag 06 maart 2014 @ 16:30:
Start je je TF2 server toevallig vanaf een webinterface?

Nop, deze start DMV een daemon. De reden dat deze als www-data draait heb ik imiddels wel gevonden: De daemon stond zo ingesteld dat hij onder die user draaide. (Lekker vaag )

Thralas schreef op donderdag 06 maart 2014 @ 16:40:
Seems fishy. Als het ding weer draait zou je eens kunnen kijken naar /proc/pid/cmdline en /proc/pid/exe (zou een symlink moeten zijn naar de bijbehorende executable).

Zal ik is proberen als het weer gebeurt.

Kees schreef op donderdag 06 maart 2014 @ 18:35:
Je kan sowieso proberen de binary te vinden door iets als locate ksoftirqdx en dan te bekijken wat het precies is. Het is inderdaad fishy en geen standaard binary in linux.

Dit had ik al geprobeerd, maar hij kan niks vinden

Hero of Time schreef op donderdag 06 maart 2014 @ 20:38:
Ik zou bijna denken dat het een verdekt opgestelde miner is die via gaten in de software op je server wordt uitgevoerd.

Hier had ik ook al over gedacht inderdaad. Het is een beetje te raar dat de hele CPU voltrokken werd.

[Thralas]

Webserver access- en errorlogs bekeken?

Als het screenshot op dezelfde tijd als je post is gemaakt, zou ik zoeken rond 02:00 afgelopen nacht.

[Koozza]

In de logs stond niks merkwaardigs. Ik gok dat het zo rond kwart over 1 vannacht was

[Thralas]

Toch vind je in de meeste gevallen wel degelijk aanwijzingen in logs - www-data kan ze in ieder geval niet clearen.

Wat draai je allemaal aan webapps op die VPS? Zeker weten dat ze up-to-date zijn, incl. plugins?

Als alternatief voor locate (wel eerst de locatedb geupdatet?), find gebruiken om recently created files te vinden? /tmp bekeken? Er zijn niet veel plekken waar je als www-data je files kan droppen, buiten de webroot.

[CAPSLOCK2000]

Met Hero of Time, je website is gekraakt en je VPS wordt misbruikt om een bitcoinminer te draaien. Het kan ook wat anders zijn maar het belangrijkste is dat je er van uit moet gaan dat je website onveilig is en dat het een kwestie van tijd is voor er opnieuw misbruik gemaakt wordt van het gat.

Ik zou een overzicht maken van alle bestanden die er 2 dagen zijn verander op je systeem, daar vind je waarschijnlijk ook de bestanden bij die de kraker heeft geupload.

find / -mtime 2

Negeer het probleem alsjeblieft niet want dit soort dingen gaat van kwaad tot erger en de rest van internet zal er last van hebben.

[ Voor 37% gewijzigd door CAPSLOCK2000 op 06-03-2014 22:03 ]

[Koozza]

Thralas schreef op donderdag 06 maart 2014 @ 21:30:
Toch vind je in de meeste gevallen wel degelijk aanwijzingen in logs - www-data kan ze in ieder geval niet clearen.

Wat draai je allemaal aan webapps op die VPS? Zeker weten dat ze up-to-date zijn, incl. plugins?

Als alternatief voor locate (wel eerst de locatedb geupdatet?), find gebruiken om recently created files te vinden? /tmp bekeken? Er zijn niet veel plekken waar je als www-data je files kan droppen, buiten de webroot.

Nadat Locate niks gevonden had heb ik find / -name gebruikt en die vond ook niks

Aan webapps draait er niet veel: Zpanel en 2 simpele (HTML) subdomains. Ik heb mijn websites nogsteeds niet verhuist (lazyness), dus heel veel draait er niet op. Nu geef ik wel toe dat zpanel HEEL obvious op het systeem aanwezig is (*knip*hier stond een ipadres*knip*) en hij is 1 versie oud (outdated dus).

CAPSLOCK2000 schreef op donderdag 06 maart 2014 @ 22:00:
Met Hero of Time, je website is gekraakt en je VPS wordt misbruikt om een bitcoinminer te draaien. Het kan ook wat anders zijn maar het belangrijkste is dat je er van uit moet gaan dat je website onveilig is en dat het een kwestie van tijd is voor er opnieuw misbruik gemaakt wordt van het gat.

Ik zou een overzicht maken van alle bestanden die er 2 dagen zijn verander op je systeem, daar vind je waarschijnlijk ook de bestanden bij die de kraker heeft geupload.

find / -mtime 2

Negeer het probleem alsjeblieft niet want dit soort dingen gaat van kwaad tot erger en de rest van internet zal er last van hebben.

Negeren was ik zeker niet van plan! Ik heb alle bestanden van 5 dagen terug gezocht maar daar staat deze niet tussen:

root@ThijsDev:/home/thijsd# find / -mtime 5
/var/spool/postfix/deferred/9
/var/spool/postfix/defer/9
/var/zpanel/backups
/var/zpanel/backups/VHOST_BACKUP_1393628701
/var/log/btmp
/var/log/ConsoleKit
/var/log/syslog.6.gz
/var/log/mysql.log.5.gz
/etc/zpanel/configs/apache/httpd-vhosts.conf
find: `/proc/7740/task/7740/fd/5': No such file or directory
find: `/proc/7740/task/7740/fdinfo/5': No such file or directory
find: `/proc/7740/fd/5': No such file or directory
find: `/proc/7740/fdinfo/5': No such file or directory

Zou het kunnen zijn dat de machine al veel eerder gehacked is en er nu pas gebruik van gemaakt wordt?

[ Voor 0% gewijzigd door Hero of Time op 06-03-2014 23:33 . Reden: Nou niet voor nog meer problemen vragen ]

[Thralas]

ThijsD schreef op donderdag 06 maart 2014 @ 22:36:
Zou het kunnen zijn dat de machine al veel eerder gehacked is en er nu pas gebruik van gemaakt wordt?

Zpanel heeft nogal een slechte security track record.

[Hero of Time]

Ik heb even je externe IP adres eruit gehaald, want dat is de goden verzoeken .

Het is idd mogelijk dat het programma er al eerder op stond. Maar een find had 't moeten vinden. Het is allemaal nogal dubieus wat er nou is gebeurt. Zeggen je audit en andere logs niets hierover?

[Whatson]

Hero of Time schreef op donderdag 06 maart 2014 @ 23:36:
Ik heb even je externe IP adres eruit gehaald, want dat is de goden verzoeken .

[...]

Hij staat hier nog gewoon in de post:
ThijsD in "Process "ksoftirqdx" neemt 200% CPU"

[ Voor 23% gewijzigd door Whatson op 06-03-2014 23:42 ]

[Keiichi]

kun je de output van hetvolgende geven: lsof -n -p 10100

10100 eventueel door ander PID vervangen als het process ergens anders onder draait.Uit de output ook even handmatig je IP weghalen als ie daar voorkomt (Alle andere laten staan)

[blaataaps]

Kees schreef op donderdag 06 maart 2014 @ 18:35:
Je kan sowieso proberen de binary te vinden door iets als locate ksoftirqdx en dan te bekijken wat het precies is. Het is inderdaad fishy en geen standaard binary in linux.

De binary kan prima anders heten dan het proces of verwijderd zijn, als het proces nog draait, ls -l /proc/PID/exe en kijken welke binary het is.

[Hero of Time]

Whatson schreef op donderdag 06 maart 2014 @ 23:42:
[...]

Hij staat hier nog gewoon in de post:
ThijsD in "Process "ksoftirqdx" neemt 200% CPU"

Is een andere die niet direct met een link te benaderen is. Er draait geen CMS oid achter. Geen idee of 't ook van de TS is.

[Koozza]

Hero of Time schreef op donderdag 06 maart 2014 @ 23:36:
Ik heb even je externe IP adres eruit gehaald, want dat is de goden verzoeken .

Het is idd mogelijk dat het programma er al eerder op stond. Maar een find had 't moeten vinden. Het is allemaal nogal dubieus wat er nou is gebeurt. Zeggen je audit en andere logs niets hierover?

Thanks Al is het niet zo moeilijk erachter te komen. Logs heb ik echt vrij weinig interesants in kunnen vinden irritant genoeg

Keiichi schreef op donderdag 06 maart 2014 @ 23:50:
kun je de output van hetvolgende geven: lsof -n -p 10100

10100 eventueel door ander PID vervangen als het process ergens anders onder draait.Uit de output ook even handmatig je IP weghalen als ie daar voorkomt (Alle andere laten staan)

Geeft niks terug (Process draait nu ook niet)

blaataaps schreef op vrijdag 07 maart 2014 @ 06:55:
[...]

De binary kan prima anders heten dan het proces of verwijderd zijn, als het proces nog draait, ls -l /proc/PID/exe en kijken welke binary het is.

Nop draait niet meer, heb hem gekilled zodra ik het zag. Misschien niet de slimste keuze

Hero of Time schreef op vrijdag 07 maart 2014 @ 08:18:
[...]

Is een andere die niet direct met een link te benaderen is. Er draait geen CMS oid achter. Geen idee of 't ook van de TS is.

IP van m'n oude VPS. Is niet meer in de lucht en waarschijnlijk aan iemand anders toegekend

[u_nix_we_all]

ThijsD schreef op donderdag 06 maart 2014 @ 15:10:
Tevens zie ik in TOP staan dat www-data ook de volgende dingen uit aan het voeren is: srcds_linux, srcds_run en screen?! Ook als ik de apache2 service stop draait de webserver vrolijk door.

Screen is een tool (vaak gebruikt door lutsers die niet weten hoe je een goed start/stopscript schrijft en redirection doet) waarmee je een sessie in de achtergrond door kunt laten lopen.

Ik zou als screen draait in ieder geval eens die sessie overnemen (attach) en kijken wat daarin loopt.

[Kees]

blaataaps schreef op vrijdag 07 maart 2014 @ 06:55:
[...]

De binary kan prima anders heten dan het proces of verwijderd zijn, als het proces nog draait, ls -l /proc/PID/exe en kijken welke binary het is.

Klopt uiteraard, maar als hij het wel gevonden had dan was het makkelijker geweest

[Koozza]

Vandaag startte het process weer. Ik heb het op dit moment nog niet gekilled en heb 2 bovenstaande commando's uit gevoerd. De uitkomst hiervan was:

Keiichi schreef op donderdag 06 maart 2014 @ 23:50:
kun je de output van hetvolgende geven: lsof -n -p 10100

10100 eventueel door ander PID vervangen als het process ergens anders onder draait.Uit de output ook even handmatig je IP weghalen als ie daar voorkomt (Alle andere laten staan)

root@ThijsDev:/proc/2784# lsof -n -p 2784
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
ksoftirqd 2784 www-data cwd DIR 254,1 4096 2 /
ksoftirqd 2784 www-data rtd DIR 254,1 4096 2 /
ksoftirqd 2784 www-data txt REG 254,1 592464 1048588 /tmp/ksoftirqdx (deleted)
ksoftirqd 2784 www-data mem REG 254,1 80712 3145749 /lib/x86_64-linux-gnu/libresolv-2.13.so
ksoftirqd 2784 www-data mem REG 254,1 22928 3145752 /lib/x86_64-linux-gnu/libnss_dns-2.13.so
ksoftirqd 2784 www-data mem REG 254,1 9800 3146378 /lib/libnss_mdns4_minimal.so.2
ksoftirqd 2784 www-data mem REG 254,1 47616 3145741 /lib/x86_64-linux-gnu/libnss_files-2.13.so
ksoftirqd 2784 www-data mem REG 254,1 1595408 3145747 /lib/x86_64-linux-gnu/libc-2.13.so
ksoftirqd 2784 www-data mem REG 254,1 131107 3145737 /lib/x86_64-linux-gnu/libpthread-2.13.so
ksoftirqd 2784 www-data mem REG 254,1 31744 3145742 /lib/x86_64-linux-gnu/librt-2.13.so
ksoftirqd 2784 www-data mem REG 254,1 136936 3145750 /lib/x86_64-linux-gnu/ld-2.13.so
ksoftirqd 2784 www-data 0r CHR 1,3 0t0 1028 /dev/null
ksoftirqd 2784 www-data 1w FIFO 0,8 0t0 764942 pipe
ksoftirqd 2784 www-data 2w CHR 1,3 0t0 1028 /dev/null
ksoftirqd 2784 www-data 3u IPv4 764418 0t0 TCP {MIJNIP}:51123->66.85.187.133:3333 (ESTABLISHED)

blaataaps schreef op vrijdag 07 maart 2014 @ 06:55:
[...]

De binary kan prima anders heten dan het proces of verwijderd zijn, als het proces nog draait, ls -l /proc/PID/exe en kijken welke binary het is.

root@ThijsDev:/proc/2784# ls -l /proc/2784/exe
lrwxrwxrwx 1 www-data www-data 0 Mar 17 07:09 /proc/2784/exe -> /tmp/ksoftirqdx (deleted)

[ Voor 36% gewijzigd door Koozza op 17-03-2014 20:26 ]

[Keiichi]

# host ltc-eu.give-me-coins.com
ltc-eu.give-me-coins.com has address 66.85.142.22
ltc-eu.give-me-coins.com has address 66.85.187.133

Er worden coins gemined

[Koozza]

Keiichi schreef op maandag 17 maart 2014 @ 20:27:
# host ltc-eu.give-me-coins.com
ltc-eu.give-me-coins.com has address 66.85.142.22
ltc-eu.give-me-coins.com has address 66.85.187.133

Er worden coins gemined

Was opzich wel te verwachten met 100% CPU usage, maar waar heb je die adressen vandaan?

[Keiichi]

ThijsD schreef op maandag 17 maart 2014 @ 20:29:
[...]

Was opzich wel te verwachten met 100% CPU usage, maar waar heb je die adressen vandaan?

ksoftirqd 2784 www-data 3u IPv4 764418 0t0 TCP {MIJNIP}:51123->66.85.187.133:3333 (ESTABLISHED)

Of als je bedoel hoe ik de host bij het IP adres heb, ik heb gewoon even gegoogled

[Koozza]

Keiichi schreef op maandag 17 maart 2014 @ 20:30:
Of als je bedoel hoe ik de host bij het IP adres heb, ik heb gewoon even gegoogled

Dat dus Maar nu is de vraag, hoe krijgen ze het telkens voor elkaar om die file daar te krijgen? Zpanel draait nog wel, maar het lijkt me dan echt dat ze op die manier binnen komen.

[Keiichi]

Dat het proces onder www-data draait betekent dat het proces ook als die gebruiker gestart is. Slechte php-scripts e.d. kunnen een weg naar binnen vormen.

Een veel gemaakte fout is bijvoorbeeld niet geescaped post/get variables die in een 'eval' terecht komen bv waardoor een hacker elk php script dat ie wil draaien kan 'uploaden' en draaien.

[Koozza]

Dit moet dan wel om ZPanel gaan. Verder draaien er echt alleen een paar HTML pagina's

[Keiichi]

Is het een optie op een firewall regel te maken die alleen vanaf jouw IP adres toegang toelaat tot zpanel?

[Koozza]

Keiichi schreef op maandag 17 maart 2014 @ 21:27:
Is het een optie op een firewall regel te maken die alleen vanaf jouw IP adres toegang toelaat tot zpanel?

Hmm had ik nog niet aan gedacht Ik denk dat ik die hele VPS voor de zekerheid maar ff een reinstall geef

[Hero of Time]

Dat laatste lijkt mij sowieso een goed idee, je weet namelijk niet wat er nog meer is gedaan op het systeem. Lees daarna ook wat meer over het handmatig beheren, dan via onveilige panels. En ram je PHP ook gelijk zo dicht mogelijk. Zorg ook dat www-data geen shell heeft, dan kan 't alleen apache draaien, maar geen processen spawnen.

[Koozza]

Hero of Time schreef op dinsdag 18 maart 2014 @ 08:20:
Dat laatste lijkt mij sowieso een goed idee, je weet namelijk niet wat er nog meer is gedaan op het systeem. Lees daarna ook wat meer over het handmatig beheren, dan via onveilige panels. En ram je PHP ook gelijk zo dicht mogelijk. Zorg ook dat www-data geen shell heeft, dan kan 't alleen apache draaien, maar geen processen spawnen.

Ik weet al hoe je VHosts aanmaakt in apache en mail adressen maakt E.D. alleen ik denk dat luiheid me hier de kop gekost heeft De shell weghalen bij WWW-Data is wel een goeie wat niet in mij opgekomen was.

Iedereen bedankt voor de tips en hopelijk gebeurt het niet nog een keer