[CentOS] MySQL server maakt veel requests naar andere server

[Megamind]

Ik heb helaas weer een raar probleem met 1 van de server.

Ik heb 3 servers, 2 webservers en 1 mysql server.

Nu liep de eerste server niet zo goed en ik kwam er achter dat er meer dan 1000 verbindingen open stonden.

Als ik namelijk netstat dan zie ik dit:

tcp        0      0 server1.domain.c:50335 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50402 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50403 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50400 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50401 81.173.31.1xx:mysql         TIME_WAIT
tcp        0     61 server1.domain.c:50404 81.173.31.1xx:mysql         ESTABLISHED
tcp        0      0 server1.domain.c:50378 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50379 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50376 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50377 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50382 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50383 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50380 81.173.31.1xx:mysql         TIME_WAIT

81.173.31.1xx is dus de mysql server en server1.domain.c is dus webserver 1.

Als ik kijk op webserver 2, dan komt hier niks van terug en zie ik netjes de normale http en ssh verbindingen e.d.

Ik zie ook dat hij iedere keer op andere poorten iets doet, maar wat?

Als ik de mysql service stop, dan zijn ze na een tijdje weg, start ik de service weer is het direct raak!

Ik kan me niet herinneren ooit iets ingesteld te hebben van dit IP adres. Als ik apache stop op de webserver1 dan stopt het ook!

MySQL log laat niets raars zien
access_log is normaal
error_log staan geen relevante dingen in..

Dit is echt een raadsel voor mij, iemand een idee of tip om te controleren?

[BarthezZ]

grep -Rn 81.173.31.1xx /var/www/html/

(of waarever je document root staat)
Hoogstwaarschijnlijk een of ander php scriptje wat tevaak word aangeroepen en wat niet net word afgesloten oid.

[Rainmaker]

Je kunt ook even kijken wel proces de boosdoener is:

Van:

code:

tcp        0      0 server1.domain.c:50403 81.173.31.1xx:mysql         TIME_WAIT
tcp        0      0 server1.domain.c:50400 81.173.31.1xx:mysql         TIME

maak je

code:

lsof -i:50403
lsof -i:50400

[Megamind]

Hm, als ik dat doe krijg ik geen resultaat. Geen response van de bash.

Terwijl als ik netstat kijk de connectie nog wel bestaat.

Als ik netstat --program doe, dan zijn ze allemaal leeg btw.

[_JGC_]

Gebruik je toevallig persistent connecties?

[Megamind]

Dat was het eerste waar ik ook aan dacht, maar nee.

Dit script draait al 2 jaar op deze servers en heb dit probleem nog nooit gezien, tot gistermiddag toen begon het opeens.

Er is daartussen niets gebeurd dat ik weet met de servers, er zijn geen rare scripts die draaien of iets in die trant.

Maar als ik het goed begrijp is server1.domain.c:50403 de 50403 niet de poort maar de PID?

[Rainmaker]

Nee, dat getal is de poort.

Met lsof -i: vraagt ie om een poort nummer, daar zoekt hij het pitje bij.

Gaat er nog wel verkeer over?

tcpdump -i any dest host 81.173.31.1xx

of

tcpdump -i any src port <lang getal uit netstat>

[ Voor 7% gewijzigd door Rainmaker op 05-09-2008 15:11 ]

[Megamind]

Die specieke tcpdump commando's werken helaas niet maar dit is wat tcpdump er van zegt:

Op moment staan iets van 5000 verbindingen open.

Webserver:

00:16:20.596560 IP 81.173.31.1xx.mysql > server1.domain.com.38635: P 33:44(11) ack 85 win 1448 <nop,nop,timestamp 80925805 80967304>
00:16:20.596866 IP 81.173.31.1xx.mysql > server1.domain.com.38633: . 37:1485(1448) ack 241 win 1716 <nop,nop,timestamp 80925805 80967304>
00:16:20.596901 IP 81.173.31.1xx.mysql > server1.domain.com.38633: . 1485:2933(1448) ack 241 win 1716 <nop,nop,timestamp 80925805 80967304>
00:16:20.597164 IP server1.domain.com.38634 > 81.173.31.1xx.mysql: F 331:331(0) ack 5656 win 4356 <nop,nop,timestamp 80967305 80925805>
00:16:20.597309 IP 81.173.31.1xx.mysql > server1.domain.com.38634: F 5656:5656(0) ack 332 win 1716 <nop,nop,timestamp 80925806 80967305>
00:16:20.597347 IP server1.domain.com.38634 > 81.173.31.1xx.mysql: . ack 5657 win 4356 <nop,nop,timestamp 80967305 80925806>
00:16:20.597640 IP server1.domain.com.38636 > 81.173.31.1xx.mysql: . ack 3033 win 2908 <nop,nop,timestamp 80967306 80925805>
00:16:20.608138 IP 81.173.31.1xx.mysql > server1.domain.com.38638: . ack 2035851519 win 1448 <nop,nop,timestamp 80925816 80967316>
00:16:20.609188 IP 81.173.31.1xx.mysql > server1.domain.com.38639: P 2051291540:2051291551(11) ack 2040784937 win 1448 <nop,nop,timestamp 80925817 80967317>
00:16:20.609261 IP server1.domain.com.38639 > 81.173.31.1xx.mysql: P 1:29(28) ack 11 win 1460 <nop,nop,timestamp 80967317 80925817>
00:16:20.609388 IP 81.173.31.1xx.mysql > server1.arjtman.com.38640: P 69:80(11) ack 70 win 1448 <nop,nop,timestamp 80925826 80967326>

MySQL server:

00:19:17.233859 IP server1.domain.com.47538 > mysql.domain.com.mysql: P 117:145(28) ack 34 win 1460 <nop,nop,timestamp 81143979 81102511>
00:19:17.233875 IP mysql.domain.com.mysql > server1.domain.com.47539: P 80:91(11) ack 118 win 1448 <nop,nop,timestamp 81102512 81143978>
00:19:17.233910 IP server1.domain.com.47540 > mysql.domain.com.mysql: . ack 58 win 1460 <nop,nop,timestamp 81143979 81102511>
00:19:17.233978 IP mysql.domain.com.mysql > server1.domain.com.47537: P 23:59(36) ack 109 win 1448 <nop,nop,timestamp 81102512 81143978>
00:19:17.234009 IP server1.domain.com.47540 > mysql.domain.com.mysql: P 1:62(61) ack 58 win 1460 <nop,nop,timestamp 81143979 81102511>
00:19:17.234059 IP server1.domain.com.47539 > mysql.domain.com.mysql: P 118:146(28) ack 91 win 1460 <nop,nop,timestamp 81143979 81102512>
00:19:17.234060 IP mysql.domain.com.mysql > server1.domain.com.47538: P 34:45(11) ack 145 win 1448 <nop,nop,timestamp 81102512 81143979>
00:19:17.234100 IP mysql.domain.com.mysql > server1.domain.com.47540: . ack 62 win 1448 <nop,nop,timestamp 81102512 81143979>
00:19:17.234138 IP mysql.domain.com.mysql > server1.domain.com.47540: P 58:69(11) ack 62 win 1448 <nop,nop,timestamp 81102512 81143979>
00:19:17.234159 IP server1.domain.com.47537 > mysql.domain.com.mysql: P 109:317(208) ack 59 win 1460 <nop,nop,timestamp 81143979 81102512>
00:19:17.234208 IP mysql.domain.com.mysql > server1.domain.com.47539: P 91:102(11) ack 146 win 1448 <nop,nop,timestamp 81102512 81143979>
00:19:17.234308 IP server1.domain.com.47540 > mysql.domain.com.mysql: P 62:70(8) ack 69 win 1460 <nop,nop,timestamp 81143979 81102512>
00:19:17.234323 IP server1.domain.com.47538 > mysql.domain.com.mysql: P 145:178(33) ack 45 win 1460 <nop,nop,timestamp 81143979 81102512>
00:19:17.234408 IP server1.domain.com.47539 > mysql.domain.com.mysql: P 146:179(33) ack 102 win 1460 <nop,nop,timestamp 81143979 81102512>
00:19:17.234739 IP mysql.domain.com.mysql > server1.domain.com.47537: . 59:1507(1448) ack 317 win 1716 <nop,nop,timestamp 81102512 81143979>
00:19:17.234757 IP mysql.domain.com.mysql > server1.domain.com.47537: . 1507:2955(1448) ack 317 win 1716 <nop,nop,timestamp 81102512 81143979>
00:19:17.234872 IP mysql.domain.com.mysql > server1.domain.com.47540: P 69:80(11) ack 70 win 1448 <nop,nop,timestamp 81102513 81143979>
00:19:17.234975 IP mysql.domain.com.mysql > server1.domain.com.47538: P 45:81(36) ack 178 win 1448 <nop,nop,timestamp 81102513 81143979>
00:19:17.235057 IP mysql.domain.com.mysql > server1.domain.com.47539: P 102:138(36) ack 179 win 1448 <nop,nop,timestamp 81102513 81143979>
00:19:17.236755 IP server1.domain.com.47537 > mysql.domain.com.mysql: . ack 2955 win 2908 <nop,nop,timestamp 81143981 81102512>
 mysql.domain.com.mysql > server1.domain.com.47613: P 4344:5576(1232) ack 1 win 1716 <nop,nop,timestamp 81102889 81144356>

Daar kan ik geen kaas van maken


Edit: Ik keek ook even voor de grap in secure log:

Sep  3 03:22:55 server1 sshd[29588]: Failed password for root from ::ffff:222.221.12.13 port 44216 ssh2
Sep  3 03:22:55 server1 sshd[29589]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:00 server1 sshd[29590]: Failed password for root from ::ffff:222.221.12.13 port 47485 ssh2
Sep  3 03:23:01 server1 sshd[29591]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:05 server1 sshd[29592]: Failed password for root from ::ffff:222.221.12.13 port 50463 ssh2
Sep  3 03:23:06 server1 sshd[29593]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:10 server1 sshd[29601]: Failed password for root from ::ffff:222.221.12.13 port 52844 ssh2
Sep  3 03:23:10 server1 sshd[29602]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:16 server1 sshd[29603]: Failed password for root from ::ffff:222.221.12.13 port 54951 ssh2
Sep  3 03:23:16 server1 sshd[29604]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:20 server1 sshd[29605]: Failed password for root from ::ffff:222.221.12.13 port 57333 ssh2
Sep  3 03:23:21 server1 sshd[29606]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:25 server1 sshd[29607]: Failed password for root from ::ffff:222.221.12.13 port 60201 ssh2
Sep  3 03:23:26 server1 sshd[29608]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:30 server1 sshd[29609]: Failed password for root from ::ffff:222.221.12.13 port 34435 ssh2
Sep  3 03:23:30 server1 sshd[29610]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:35 server1 sshd[29611]: Failed password for root from ::ffff:222.221.12.13 port 36580 ssh2
Sep  3 03:23:35 server1 sshd[29612]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:41 server1 sshd[29613]: Failed password for root from ::ffff:222.221.12.13 port 38871 ssh2
Sep  3 03:23:41 server1 sshd[29614]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:46 server1 sshd[29615]: Failed password for root from ::ffff:222.221.12.13 port 41735 ssh2
Sep  3 03:23:46 server1 sshd[29616]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:50 server1 sshd[29617]: Failed password for root from ::ffff:222.221.12.13 port 43352 ssh2
Sep  3 03:23:52 server1 sshd[29618]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:23:56 server1 sshd[29619]: Failed password for root from ::ffff:222.221.12.13 port 45302 ssh2
Sep  3 03:23:56 server1 sshd[29620]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:24:02 server1 sshd[29621]: Failed password for root from ::ffff:222.221.12.13 port 47249 ssh2
Sep  3 03:24:02 server1 sshd[29622]: Received disconnect from ::ffff:222.221.12.13: 11: Bye Bye
Sep  3 03:24:07 server1 sshd[29630]: Failed password for root from ::ffff:222.221.12.13 port 49448 ssh2
Sep  3 03:24:07 server1 sshd[29631]: Received disconnect from ::ffff:222.221.12.13: 11: Bye

Edit: Na wat uurtjes of debuggen en logs doorspitten ben ik er toch achter dat wat eikeltjes de servers proberen te ddossen.

Ik heb nu met iptables een limit op de SSH gezet en port 80 connecties gelimit naar 100 per minuut. Er kwamen dus 50 aanvragen per seconde binnen naar de index pagina, die natuurlijk een verbinding met mysql maakte

[ Voor 73% gewijzigd door Megamind op 06-09-2008 05:19 ]