CentOS 6.4 Verstuurt DDos, bron uitzoeken.

[2bobnl]

We hebben voor ons bedrijf een VPS met CentOs 6.4 als webserver draaien en kreeg gister een mailtje dat onze server gebruikt was voor een DDos aanval met het volgende bericht:

code:

08 Oct 00:47:56    08 Oct 02:16:10    MIJN-IP    31477    NLD NAAR-IP 34    27807    Blocked Protocol - Temp Black-Listed

De rootkit en virus scanner geven in ieder geval niks raars aan. Ik ben de hele nacht bezig geweest met het googelen en doorspitten van de logs maar kon niks raars vinden of ik weet niet waar ik het moeten zoeken

Voordat we de hele server opnieuw moeten installeren wil ik graag achterhalen wat de DDos veroorzaak heeft. Hopende dat het eventueel simpel op te lossen is. Er draaien nog een paar oude wordpress websites ik dacht misschien is alleen daar op een of andere manier een script geüpload.

Ik zat er zelf aan te denken de uitgaande connecties te loggen maar ik kom er echt niet uit hoe ik dit netjes naar een logfile weg kan laten schrijven. Zelf kwam ik onder andere of het volgende uit maar dit geeft niet de user en het programma weer die de connectie maakt.

code:

iptables -A OUTPUT -p tcp -j LOG --log-prefix "OUTGOING: "

Ik hoop dat jullie mij kunnen vertellen hoe ik de bron van de DDos kan opsporen? Wellicht nog wat tips om dit in de toekomst te voorkomen?

[huiser]

Er draaien nog een paar oude wordpress websites

Daar heb je tip #1: zorgen dat je Wordpress-installaties up-to-date zijn.

Je kan je CentOS installatie doorlichten, om te kijken of er systeem files gewijzigd zijn, bijvoorbeeld een door de cracker aangepaste 'ps'.

Verify je packages:

code:

rpm -Va

Of met een yum-plugin:

code:

yum install yum-verify
yum verify-rpm

[2bobnl]

huiser schreef op vrijdag 11 oktober 2013 @ 11:34:
[...]

Niemand durft die wordpress site aan te raken er is zoveel aan gesleuteld, misschien in ieder geval kijken of die beter of te schermen is of toch maar ergens onder brengen waar die minder schade toe kan richten.

Dit is de uitkomst van de rpm -Va

code:

S.5....T.  c /etc/yum.repos.d/epel.repo
S.5....T.  c /etc/freshclam.conf
S.5....T.  c /etc/pure-ftpd/pure-ftpd.conf
SM5....T.  c /etc/pure-ftpd/pureftpd-mysql.conf
S.5....T.  c /etc/aliases
S.5....T.  c /etc/fail2ban/fail2ban.conf
S.5....T.  c /etc/httpd/conf.d/mailman.conf
S.5....T.  c /etc/php.ini
S.5....T.  c /etc/httpd/conf.d/phpMyAdmin.conf
missing     /usr/share/phpMyAdmin/config.sample.inc.php
S.5....T.  c /etc/dovecot/dovecot.conf
.M.......    /usr/bin
.M.......    /usr/sbin
S.5....T.  c /etc/httpd/conf/httpd.conf
missing   c /var/lib/clamav/daily.cvd
missing   c /var/lib/clamav/main.cvd
S.5....T.    /var/lib/rkhunter/db/mirrors.dat
.......T.    /usr/share/pear/.depdb
.......T.    /usr/share/pear/.depdblock
S.5....T.    /usr/share/pear/.filemap
.......T.    /usr/share/pear/.lock
S.5....T.  c /etc/sudoers
S.5....T.  c /etc/named.conf
.......T.  c /etc/webalizer.conf
.......T.  c /etc/postfix/header_checks
S.5....T.  c /etc/postfix/main.cf
S.5....T.  c /etc/postfix/master.cf
....L....  c /etc/pam.d/fingerprint-auth
....L....  c /etc/pam.d/password-auth
....L....  c /etc/pam.d/smartcard-auth
....L....  c /etc/pam.d/system-auth
S.5....T.  c /etc/amavisd/amavisd.conf

[ Voor 8% gewijzigd door 2bobnl op 11-10-2013 11:52 ]

[huiser]

Je moet zelf even in de man-page uitzoeken wat de betekenis van die letters zijn.
Ik heb het zelf nog nooit uitgevoerd

Maar het lijken aanpassingen in config-bestanden te zijn, maar dat is natuurlijk niks vreemds.

Nog wat tips:

• Zorg dat je je packages dagelijks up-to-date houdt.
• Scherm SSH goed af, disable root-logins via SSH, en gebruik keys i.p.v. passwords. Als het praktisch is kan je ook via je firewall (iptables) instellen vanaf welke IP's je een SSH-connectie mag maken.
• Zorg ervoor dat je firewall goed dicht staat. Alleen SSH en HTTP(s) toestaan bijvoorbeeld.
• Verwijder overbodige software
• Zorg dat de Wordpress backend alleen vanaf bepaalde IP's te benaderen is (dit kan je instellen in Apache)

[2bobnl]

huiser schreef op vrijdag 11 oktober 2013 @ 11:52:
[...]

Tnx Super, weet je misschien nog een manier om de uitgaande connecties te loggen. Zodat ik wellicht de huidige boosdoener kan vinden of een melding/email krijg als mijn server teveel uitgaande connecties maakt?

[huiser]

2bobnl schreef op vrijdag 11 oktober 2013 @ 11:57:
[...]

Tnx Super, weet je misschien nog een manier om de uitgaande connecties te loggen. Zodat ik wellicht de huidige boosdoener kan vinden of een melding/email krijg als mijn server teveel uitgaande connecties maakt?

Zoiets?

code:

iptables -A OUTPUT -p tcp -j LOG --log-prefix 'OUTPUT TCP ' --log-level 4

Bron:
http://ubuntuforums.org/showthread.php?t=1158091

[xares]

Laat de volgende code is door je www data direcory's lopen:

code:

grep '((eval.*(base64_decode|gzinflate))|\$[0O]{4,}|FilesMan|JGF1dGhfc|document\.write\("\\u00|sh(3(ll|11)))' /home -roE --include=*.php*

* Waarschijnlijk /home anders moet je het even aanpassen.

[2bobnl]

xares schreef op vrijdag 11 oktober 2013 @ 12:32:
Laat de volgende code is door je www data direcory's lopen:

code:

grep '((eval.*(base64_decode|gzinflate))|\$[0O]{4,}|FilesMan|JGF1dGhfc|document\.write\("\\u00|sh(3(ll|11)))' /home -roE --include=*.php*

* Waarschijnlijk /home anders moet je het even aanpassen.

Tnx, Helaas niks gevonden, /var/www is het in mijn geval.

[Kees]

Voor dit soort dingen is tcpdump natuurlijk erg handig, Aangezien je de dst-host hebt is dat een kwestie van tcpdump met als opties -n (geen dns resolving) -i (interface selectie, any voldoet meestal) host NAAR-IP (filter op connecties die naar dat ip gaan).

Dus:

tcpdump -ni any host NAAR-IP

Die iptables regels hierboven zouden kunnen werken, maar zodra er bv udp of icmp gebruikt word is dat natuurlijk niet meer het geval.

[CAPSLOCK2000]

Als je het systeem echt niet vertrouwt dan kun je ook niet op TCPDUMP vertrouwen maar het is een prima begin (je kan tcpdump in principe ook nog vanaf een ander systeem draaien).

Wordpress is inderdaad een prima eerste verdachte.

Op mijn werk hebben we een dienst die ons verkeer scant op verbindingen met bekende botnets. Die dienst houdt een lijstje mij met IP-adressen waarvan bekend is dat ze in een botnet zitten. Als een van onze machines met zo'n ip begint te communiceren krijgen wij een mailtje. Vaak gaat de communicatie met het botnet via IRC. Als je netwerk klein en overzichtelijk is kun je eens sniffen naar uitgaande IRC-verbindingen.
Vaak staan die controllers ook aan de andere kant van de wereld. Als je opeens veel communicatie met roemenie of china ziet dan weet je wel hoe laat het is. Als je een batterij webservers hebt staan is dit waarschijnlijk geen bruikbare strategie.

[Ploink]

tcpdump -s 0 -w snif.cap

Hiermee dump je al het netwerkverkeer naar de file snif.cap.
Laat het even lopen (10 seconden ofzo) en druk dan op CTRL-C
Met wireshark kun je de file openen en uitvoerig analyseren.

[MindStorm]

Welk protocol is er gebruikt voor de DDOS? Het komt ook wel eens voor dat een configuratie van bijvoorbeeld een DNS server ervoor zorgt dat jouw server kan worden gebruikt voor DNS amplification attacks of iets dergelijks. Dat maakt het zoeken wat gerichter.

[2bobnl]

Bedankt voor de reacite. Vanuit die tcpdump komt zoeen godsvermogen aan data , dat gaat echt mijn kennis te boven wat ik ermee aan moet. Ik ga eens vragen of ze het protocol voor mij hebben.

edit:
Uit de tcpdump naar alleen dat ip adres kwam niks uit.

[ Voor 14% gewijzigd door 2bobnl op 11-10-2013 15:10 ]

[2bobnl]

Ik heb de iptable logs even aangekeken en die lijkt het euvel te loggen er zijn ontzettend veel connecties gemaakt naar een ip adress. Weet iemand hoe ik vanuit hier verder kan zoeken?

Oct 11 04:24:29 servername kernel: IN= OUT=eth0 SRC=MY-IP DST=VEELVOORKOMENTIP LEN=64 TOS=0x00 PREC=0x00 TTL=64 ID=47838 PROTO=UDP SPT=17415 DPT=53 LEN=44 UID=25 GID=25 

[CAPSLOCK2000]

DPT=53

Klinkt als een DNS-amplificatie-aanval. Draai je niet toevallig een DNS-server op die machine? Zorg dan dat die niet zomaar voor de hele wereld bereikbaar is.

[2bobnl]

CAPSLOCK2000 schreef op dinsdag 15 oktober 2013 @ 11:15:
[...]

De dns service stond aan bij isp config, deze gebruiken we niet dus ik heb hem disabled. Ik had voor dat ik hem uitgeschakelde nogwel gekeken op https://isc.sans.edu/dnstest.html maar deze zei dat die geen verbinding kon maken, en dat als een dns server was deze in principe goed beveiligd was. Heb poort 53 ook maar dichtgegooid op de firewall.

[ Voor 15% gewijzigd door 2bobnl op 15-10-2013 11:48 ]

[Kees]

2bobnl schreef op dinsdag 15 oktober 2013 @ 11:48:
[...]

Heb poort 53 ook maar dichtgegooid op de firewall.

Ik ben bang dat we zo een post zien met 'Help, mijn internet is stuk' tenzij je alleen poort 53 voor inkomend verkeer (tcp en udp!) hebt dichtgezet en niet perongeluk alles van poort 53

[CAPSLOCK2000]

Normaal gesproken zijn we hier erg voor het zelf oplossen van je problemen maar misschien is het in dit geval verstandiger om iemand in te huren met verstand van zaken voordat er nog meer schade wordt veroorzaakt.

[Boudewijn]

2bobnl schreef op dinsdag 15 oktober 2013 @ 11:48:
[...]


De dns service stond aan bij isp config, deze gebruiken we niet dus ik heb hem disabled. Ik had voor dat ik hem uitgeschakelde nogwel gekeken op https://isc.sans.edu/dnstest.html maar deze zei dat die geen verbinding kon maken, en dat als een dns server was deze in principe goed beveiligd was. Heb poort 53 ook maar dichtgegooid op de firewall.

Doe je je hosting professioneel?
If so, huur een professional in.
If not, huur een professional in.


Bij dns amplificatie heb je ook veel schade aan derden... dus fix het aub!

[CAPSLOCK2000]

Voor de duidelijkheid, jij bent (waarschijnlijk) niet degene die wordt aangevallen. Jouw server wordt gebruikt om anderen aan te vallen en jij mag betalen voor de bandbreedte. VEELVOORKOMENTIP is waarschijnlijk het echte slachtoffer.