LVS problemen - Linux en overige clients

donderdag 24 mei 2007 10:27

Acties:

Topicstarter

Hallo allemaal.

Ik probeer onder vmware een loadbalacing cluster te maken maar ik loop tegen wat probleempjes aan. Ik gebruik LVS met een NAT LB methode. Hieronder een schematisch overzicht van het netwerk.

Afbeeldingslocatie: http://www.pcextreme.nl/img/loadbalancing.png

Afbeeldingslocatie: http://www.pcextreme.nl/img/loadbalancing.png

Ik zal even uitleggen wat ik precies heb gedaan:

Als eerste heb ik mijn Loadbalancer geïnstalleerd met Ubuntu 6.06 amd64. Daarna mijn webservers tevens ook met Ubuntu 6.06 amd64. De /home van de webservers heb ik gemount vanaf mijn NAS. Zou kan elke webserver erbij.

Ik heb de ip_vs modules geladen en toegevoegd aan /etc/modules:

echo ip_vs_dh >> /etc/modules
echo ip_vs_ftp >> /etc/modules
echo ip_vs >> /etc/modules
echo ip_vs_lblc >> /etc/modules
echo ip_vs_lblcr >> /etc/modules
echo ip_vs_lc >> /etc/modules
echo ip_vs_nq >> /etc/modules
echo ip_vs_rr >> /etc/modules
echo ip_vs_sed >> /etc/modules
echo ip_vs_sh >> /etc/modules
echo ip_vs_wlc >> /etc/modules
echo ip_vs_wrr >> /etc/modules

Daarna met modprobe de modules geladen.

Daarna heb ik via apt-get ipvsadm binnen gehaald. Dit allemaal zonder errors.

In de sysctl.conf heb ik net.ipv4.ip_forward = 1 aangezet en met sysctl -p gecontrolleerd en werkt.Ik heb op de Loadbalancer de interfaces gebruikt:

eth0:
address:10.87.4.1
netmask:255.255.0.0
network: 10.87.0.0
broadcast: 10.87.255.255
gateway: 10.87.3.1 // ip van me router

eth0:1 (Virtual IP)
address:10.87.10.1
netmask:255.255.255.255
network: 10.87.0.0
broadcast: 10.87.255.255
gateway: 10.87.3.1 // ip van me router

de webservers hebben 10.87.5.1 en 10.87.5.2 de fileserver is 10.87.6.1.

Met ipvsadm -L -n krijg ik deze output:

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.87.10.1:80 rr
-> 10.87.5.2:80 Masq 1 0 0
-> 10.87.5.1:80 Masq 1 0 0

via tcpdump -n -i eth0:1 port 80

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0:1, link-type EN10MB (Ethernet), capture size 96 bytes
10:22:03.367640 IP 10.87.1.3.1571 > 72.14.217.91.80: S 3548062792:3548062792(0) win 65535 <mss 1460,nop,nop,sackOK>
10:22:03.412934 IP 72.14.217.91.80 > 10.87.1.3.1571: S 1702673852:1702673852(0) ack 3548062793 win 8190 <mss 1460>
10:22:03.412934 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 1 win 65535
10:22:03.415516 IP 10.87.1.3.1571 > 72.14.217.91.80: P 1:679(678) ack 1 win 65535
10:22:03.476247 IP 72.14.217.91.80 > 10.87.1.3.1571: . ack 679 win 7060
10:22:03.480660 IP 72.14.217.91.80 > 10.87.1.3.1571: P 1:1232(1231) ack 679 win 7060
10:22:03.489603 IP 72.14.217.91.80 > 10.87.1.3.1571: . 1232:2662(1430) ack 679 win 7060
10:22:03.489609 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 2662 win 65535
10:22:03.490120 IP 72.14.217.91.80 > 10.87.1.3.1571: . 2662:4092(1430) ack 679 win 7060
10:22:03.532617 IP 72.14.217.91.80 > 10.87.1.3.1571: . 4092:5522(1430) ack 679 win 7060
10:22:03.532624 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 5522 win 65535
10:22:03.532625 IP 72.14.217.91.80 > 10.87.1.3.1571: . 5522:6952(1430) ack 679 win 7060
10:22:03.536446 IP 72.14.217.91.80 > 10.87.1.3.1571: . 6952:8382(1430) ack 679 win 7060
10:22:03.536456 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 8382 win 65535
10:22:03.564517 IP 72.14.217.91.80 > 10.87.1.3.1571: . 8382:9812(1430) ack 679 win 7060
10:22:03.565059 IP 72.14.217.91.80 > 10.87.1.3.1571: . 9812:11242(1430) ack 679 win 7060
10:22:03.565091 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 11242 win 65535
10:22:03.566831 IP 72.14.217.91.80 > 10.87.1.3.1571: P 11242:12672(1430) ack 679 win 7060
10:22:03.567212 IP 72.14.217.91.80 > 10.87.1.3.1571: . 12672:14102(1430) ack 679 win 7060
10:22:03.567214 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 14102 win 65535
10:22:03.570851 IP 72.14.217.91.80 > 10.87.1.3.1571: . 14102:15532(1430) ack 679 win 7060
10:22:03.609527 IP 72.14.217.91.80 > 10.87.1.3.1571: . 15532:16962(1430) ack 679 win 7060
10:22:03.609549 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 16962 win 65535
10:22:03.609925 IP 72.14.217.91.80 > 10.87.1.3.1571: P 16962:18392(1430) ack 679 win 7060
10:22:03.613268 IP 72.14.217.91.80 > 10.87.1.3.1571: . 18392:19822(1430) ack 679 win 7060
10:22:03.613280 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 19822 win 65535
10:22:03.613281 IP 72.14.217.91.80 > 10.87.1.3.1571: . 19822:21252(1430) ack 679 win 7060
10:22:03.655456 IP 72.14.217.91.80 > 10.87.1.3.1571: . 21252:22682(1430) ack 679 win 7060
10:22:03.655461 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 22682 win 65535
10:22:03.655463 IP 72.14.217.91.80 > 10.87.1.3.1571: P 22682:22921(239) ack 679 win 7060
10:22:03.825899 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 22921 win 65296
10:24:33.261274 IP 72.14.217.91.80 > 10.87.1.3.1571: F 22921:22921(0) ack 679 win 8190
10:24:33.261277 IP 10.87.1.3.1571 > 72.14.217.91.80: . ack 22922 win 65296
10:24:46.896831 IP 10.87.1.3.1571 > 72.14.217.91.80: F 679:679(0) ack 22922 win 65296
10:24:46.928929 IP 72.14.217.91.80 > 10.87.1.3.1571: . ack 680 win 8190

35 packets captured
70 packets received by filter
0 packets dropped by kernel

Als ik nu via mijn browser 10.87.10.1 ga wordt de request niet door gestuurd naar de webserver. Of iig er komt geen website te voorschijn.

httpd.conf

<VirtualHost *>
ServerName 10.87.10.1
ServerAlias 10.87.10.1
DocumentRoot /home/kuhlmann/domains/test.nl/www
ErrorLog /home/kuhlmann/domains/test.nl/logs/error_log
CustomLog /home/kuhlmann/domains/test.nl/logs/access_log common

<Directory /home/kuhlmann/domains/test.nl/www>
Options Indexes IncludesNOEXEC FollowSymLinks
allow from all
</Directory>
</VirtualHost>

Wat doe ik fout? Of kan iemand me opweg helpen dmv een howto oid.

[ Voor 4% gewijzigd door c0sje op 24-05-2007 10:41 ]

donderdag 24 mei 2007 12:39

Acties:

stefklep

((Stefklepje))

Kan je de webservers afzonderlijk wel berijken op hun ip adres ?

donderdag 24 mei 2007 12:49

Acties:

c0sje

Topicstarter

Ja als ik de vhost verander in 10.87.5.1(ip van web01) dan kan ik hem wel bereiken.

donderdag 24 mei 2007 13:28

Acties:

CyBeR

💩

staan je web servers wel ingesteld met het ip van je load balancer als gateway?

All my posts are provided as-is. They come with NO WARRANTY at all.

donderdag 24 mei 2007 13:48

Acties:

MTWZZ

One life, live it!

Even een adviesje: start 2 tcpdumps elk in een aparte shell. De ene monitort het verkeer wat van je loadbalancer afkomt richting je server en de andere precies andersom.
Zo kun je in ieder geval zien of het verkeer richting je loadbalancer goed gaat.

Nu met Land Rover Series 3 en Defender 90

donderdag 24 mei 2007 14:51

Acties:

c0sje

Topicstarter

CyBeR schreef op donderdag 24 mei 2007 @ 13:28:
staan je web servers wel ingesteld met het ip van je load balancer als gateway?

Ja dat heb ik gedaan. Maar haalt niets uit. Ik zal kijken wat een tcpdump zegt.

Ik heb even gekeken ook op me webservers. Als ik op web01 een tcpdump doe en ik connect naar me VIP 10.87.10.1 zie ik wel een respons. Mijn client heet 10.87.1.3

root@web01:~# tcpdump -n -i eth0 port 80
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
15:19:49.246433 IP 10.87.1.3.3188 > 10.87.10.1.80: S 1259097873:1259097873(0) win 65535 <mss 1460,nop,nop,sackOK>
15:19:49.246433 IP 10.87.1.3.3188 > 10.87.5.1.80: S 1259097873:1259097873(0) win 65535 <mss 1460,nop,nop,sackOK>
15:19:49.246433 IP 10.87.5.1.80 > 10.87.1.3.3188: S 710530313:710530313(0) ack 1259097874 win 5840 <mss 1460,nop,nop,sackOK>
15:19:52.232078 IP 10.87.1.3.3188 > 10.87.10.1.80: S 1259097873:1259097873(0) win 65535 <mss 1460,nop,nop,sackOK>
15:19:52.232502 IP 10.87.1.3.3188 > 10.87.5.1.80: S 1259097873:1259097873(0) win 65535 <mss 1460,nop,nop,sackOK>
15:19:52.232616 IP 10.87.5.1.80 > 10.87.1.3.3188: S 710530313:710530313(0) ack 1259097874 win 5840 <mss 1460,nop,nop,sackOK>
15:19:53.246710 IP 10.87.5.1.80 > 10.87.1.3.3188: S 710530313:710530313(0) ack 1259097874 win 5840 <mss 1460,nop,nop,sackOK>
15:19:58.302752 IP 10.87.1.3.3188 > 10.87.10.1.80: S 1259097873:1259097873(0) win 65535 <mss 1460,nop,nop,sackOK>
15:19:58.303634 IP 10.87.1.3.3188 > 10.87.5.1.80: S 1259097873:1259097873(0) win 65535 <mss 1460,nop,nop,sackOK>
15:19:58.303674 IP 10.87.5.1.80 > 10.87.1.3.3188: S 710530313:710530313(0) ack 1259097874 win 5840 <mss 1460,nop,nop,sackOK>
15:19:59.247150 IP 10.87.5.1.80 > 10.87.1.3.3188: S 710530313:710530313(0) ack 1259097874 win 5840 <mss 1460,nop,nop,sackOK>
15:20:10.249282 IP 10.87.1.3.3189 > 10.87.10.1.80: S 1826692707:1826692707(0) win 65535 <mss 1460,nop,nop,sackOK>
15:20:10.249282 IP 10.87.1.3.3189 > 10.87.5.2.80: S 1826692707:1826692707(0) win 65535 <mss 1460,nop,nop,sackOK>
15:20:10.249282 IP 10.87.5.2.80 > 10.87.1.3.3189: R 0:0(0) ack 1826692708 win 0
15:20:11.445673 IP 10.87.5.1.80 > 10.87.1.3.3188: S 710530313:710530313(0) ack 1259097874 win 5840 <mss 1460,nop,nop,sackOK>
15:20:18.644929 IP 10.87.1.3.3131 > 64.233.183.104.80: F 94333507:94333507(0) ack 2706236801 win 65017
15:20:18.655585 IP 64.233.183.104.80 > 10.87.1.3.3131: F 1:1(0) ack 1 win 8190
15:20:18.655588 IP 10.87.1.3.3131 > 64.233.183.104.80: . ack 2 win 65017
15:20:23.249637 IP 64.233.183.103.80 > 10.87.1.3.3132: F 2475433792:2475433792(0) ack 196194233 win 8190
15:20:23.249704 IP 10.87.1.3.3132 > 64.233.183.103.80: . ack 1 win 65535

20 packets captured
40 packets received by filter
0 packets dropped by kernel

[ Voor 171% gewijzigd door c0sje op 24-05-2007 15:29 ]

donderdag 24 mei 2007 15:44

Acties:

stefklep

((Stefklepje))

Lijkt er dus op dat de apache dus geen request terug geeft, zou eens goed kijken in de logs of je daar iets vreemds ziet.

[ Voor 45% gewijzigd door stefklep op 24-05-2007 15:45 ]

donderdag 24 mei 2007 15:50

Acties:

Verwijderd

En waar staat je Listen op in httpd.conf? En als je een telnet doet naar 10.87.10.1:80, zie je dan de waardes in de tweede kolom veranderen? En zie je iets in de apache logs?

donderdag 24 mei 2007 17:24

Acties:

c0sje

Topicstarter

Ik kan geen eens telnetten naar 10.87.10.1:80

C:\Documents and Settings\cosje>telnet 10.87.10.1 80
Bezig met verbinding maken met 10.87.10.1...Kan geen verbinding met de host maken
, op poort 80: De verbinding is mislukt

Pingen lukt wel. Ik denk dat daar de fout zit?

donderdag 24 mei 2007 17:30

Acties:

CyBeR

💩

Firewall ervoor zitten?

All my posts are provided as-is. They come with NO WARRANTY at all.

donderdag 24 mei 2007 17:46

Acties:

c0sje

Topicstarter

Nee ik heb er geen firewall voor zitten.

donderdag 24 mei 2007 18:49

Acties:

CyBeR

💩

Hmm. Hoe zit je netwerk precies in elkaar? Want volgens mij klopt 't niet helemaal met wat er standaard is voor NAT-situaties.

[ Voor 63% gewijzigd door CyBeR op 24-05-2007 18:50 ]

All my posts are provided as-is. They come with NO WARRANTY at all.

donderdag 24 mei 2007 19:14

Acties:

rvdven

Kan dit niet het beste met de mod_backhand voor apache?
Deze zit standaard bij Debian Sarge dus vast ook in Ubuntu.

edit:
Of mod_proxy_balancer.

[ Voor 37% gewijzigd door rvdven op 24-05-2007 19:17 ]

donderdag 24 mei 2007 20:45

Acties:

c0sje

Topicstarter

Helaas ben ik echt gebonden aan LVS. OP dit moment is de LVS website down.

Maargoed Ik heb dus een loadbalancer waarop 2 ip's staan. 1 voor de loadbalancer en 1 virueel IP.

Loadbalancer ip: 10.87.4.1
Virtueel IP: 10.87.10.1

Op de clients is de gateway 10.87.4.1 ik had dit al eens veranderd in 10.87.10.1 maar dit werkte helaas ook niet.

Op dit moment heb ik deze gevonden http://www.ssi.bg/~ja/L4-NAT-HOWTO.txt dus dat ga ik straks even testen. Als iets niet duidelijk is mbt het netwerk moet je het even zeggen dan zal ik het proberen uit te leggen.

donderdag 24 mei 2007 20:49

Acties:

CyBeR

💩

En zit dat allemaal in hetzelfde netwerk? Want dan kun je denk ik beter Direct Routing ipv NAT doen.

All my posts are provided as-is. They come with NO WARRANTY at all.

donderdag 24 mei 2007 21:38

Acties:

c0sje

Topicstarter

Ja zit allemaal in het zelfde netwerk. Ik zal kijken naar direct routing. Bedankt voor je de tip!

vrijdag 25 mei 2007 10:47

Acties:

igmar

ISO20022

En je weet zeker dat d'r geen firewall rules ergens staan ? D'r blijven packets in een filter hangen ergens, en da's geen goed teken.

vrijdag 25 mei 2007 11:22

Acties:

CyBeR

💩

Volgens mij zitten z'n clients en servers in hetzelfde netwerk. Dan werkt 't niet omdat de servers dan gewoon direct hun antwoord naar de client sturen. Dat mag niet bij NAT, maar wel bij DR. Sterker nog, da's de bedoeling.

All my posts are provided as-is. They come with NO WARRANTY at all.

vrijdag 25 mei 2007 13:15

Acties:

c0sje

Topicstarter

Ik heb op mijn apache nodes en op mijn LB node een nieuwe installatie staan. En ga nu kijken naar Direct routing. Als iemand hiervan nog een goede howto heeft hoor ik het graag.

-- edit

Ik heb Direct Routing gebruikt en alles werkt (Y)

Bedankt allemaal voor de hulp.

[ Voor 21% gewijzigd door c0sje op 25-05-2007 18:33 ]