Hulp met subnet config in eSXi

[vincentjanv]

Hey allen,

ik heb bij Hertzner een dedicated server met Esxi. Nu heb ik een nieuw subnet toegewezen gekregen voor extra VM's. Ze hebben hier een goede tutorial voor op http://wiki.hetzner.de/index.php/VMware_ESXi/en#IPv4

Nu heb ik inderdaad 1 router VM die een IP adres krijgt via DHCP en welke op internet kan. Daarnaast heeft deze een 2e NIC voor het subnet. Mijn subnet gegevens zijn als volgt:

code:

Subnet: 144.76.205.192 /29
Mask:   255.255.255.248
Broadcast:  144.76.205.199
Usable IP addresses:

144.76.205.193 to 144.76.205.198

Nu heb ik de router VM ingesteld op 144.76.205.193 en mijn eerste client VM van het subnet op 144.76.205.194. Bij de interfaces staat dit bij mijn client VM:

code:

address 144.76.205.194
netmask 255.255.255.248
broadcast 144.76.205.199
gateway 144.86.205.1936

Op de router VM is IPV4 forwarding ingeschakeld en ik kan langs beide zijden pingen naar elkaar. Doch heeft mijn client VM geen internet toegang. Mijn router VM wel zonder probleem. De output van 'route' op mijn client VM geeft dit:

code:

Destination     Gateway         Genmask           Flags    Metric  Ref Use   Iface
default          44.76.205.193  0.0.0.0           UG       0       0     0   eth0
144.76.205.192    *             255.255.255.248   U        0       0     0   eth0

Ik denk dat er toch iets in die routering niet klopt. Kan iemand me op weg helpen?

[ieperlingetje]

Is het gateway IP in je startpost 2x een typefout? Verder zou je op je client VM momenteel slechts 1 route nodig hebben, de 2de is overbodig.

[vincentjanv]

De gateway is idd .193

Opgelost net na een hele dag te klooien, iptables was de boosdoener, je moet dit lbijkbaar zelf nof configgen dat hij alles doorstuurt van eth1 naar eth0 etc... Bedankt toch!

[webfreakz.nl]

ieperlingetje schreef op maandag 28 oktober 2013 @ 18:13:
Is het gateway IP in je startpost 2x een typefout? Verder zou je op je client VM momenteel slechts 1 route nodig hebben, de 2de is overbodig.

Die tweede is zeker niet overbodig.

[vincentjanv]

Nu alleen het probleem dat de publieke IP-adressen van mijn subnet niet toegankelijk zijn via het net... Waar zou je dit instellen?

[webfreakz.nl]

Op de router VM? Of heeft je client VM ook nog een firewall die verkeer blokkeert?

[vincentjanv]

webfreakz.nl schreef op maandag 28 oktober 2013 @ 20:26:
Op de router VM? Of heeft je client VM ook nog een firewall die verkeer blokkeert?

Maar de router VM is zelf ook niet toegankelijk via zijn publiek subnet ip

Edit:
Dit is trouwens mijn config van de iptables op de router -vm

code:

# /sbin/iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
# /sbin/iptables -A FORWARD -i eth0 -o eth1 -m state
   --state RELATED,ESTABLISHED -j ACCEPT
# /sbin/iptables -A FORWARD -i eth1 -o eth0 -j ACCEPT

[ Voor 34% gewijzigd door vincentjanv op 28-10-2013 20:31 ]

[webfreakz.nl]

Wat is dat router VM voor ding? Je hebt ergens een firewall, dus je zal dat ding in moeten stellen.

edit:

Ah, IPtables dus. Dan zou ik je als ik jou was maar eens snel gaan inlezen. Weet je wel waar je aan begonnen bent allemaal?

[ Voor 40% gewijzigd door webfreakz.nl op 28-10-2013 20:33 ]

[vincentjanv]

router-vm is een gateway eig, ESXi kan zelf niet routeren. Mijn router-vm krijgt van hertnzer een IP via DHCP (via ingesteld virtueel mac-adres). De router-vm geef je een 2e NIC zodat die uw subnet kan verbinden met het internet. Elk lid van mijn subnet kan wel het net op, het net kan niet aan mijn subnet, ook al zijn het publieke ip's...

[webfreakz.nl]

Kijk nou eens goed naar die regel:

# /sbin/iptables -A FORWARD -i eth0 -o eth1 -m state
   --state RELATED,ESTABLISHED -j ACCEPT

Daar staat een IPTables regel voor verkeer dat geFORWARD wordt van interface eth0 naar eth1. In dit specifieke geval, wordt er verkeer ACCEPTED dat bekend is (RELATED, ESTABLISHED). Dat is verkeer dat terugkomt op de router-VM als response op verkeer dat vanuit je interne subnet naar het internet ging.

Als je dit niet zelf kan fixen, heb ik serieuze twijfels over het slagen van je project bij Hertzner en kan je denk ik beter opzeggen nu het nog kan.

[ItsValium]

Je moet je router vm instellen met nat (1:1) zodat de publieke ip's als virtueel IP op de wan-interface ingesteld kunnen worden en je deze dan kan doorsluizen naar een intern ip. Ik gebruik al jaren pfSense en die kan dit probleemloos voor je doen, je zou je huidige router VM hiermee kunnen vervangen.

[webfreakz.nl]

ItsValium schreef op maandag 28 oktober 2013 @ 20:45:
Je moet je router vm instellen met nat (1:1) zodat de publieke ip's als virtueel IP op de wan-interface ingesteld kunnen worden en je deze dan kan doorsluizen naar een intern ip. Ik gebruik al jaren pfSense en die kan dit probleemloos voor je doen, je zou je huidige router VM hiermee kunnen vervangen.

Hij moet juist helemaal géén NAT gaan doen, want hij heeft een publiek subnet gekregen:

144.76.205.192/29

Hij moet alleen even leren zijn firewall fatsoenlijk in te stellen

[ItsValium]

Oeps even verward met intern subnet/vlan tov publiek. Je moet inderdaad de routering correct instellen in je firewall/router VM. Zelfs daarvoor kan ik je nog pfSense aanraden

[ Voor 16% gewijzigd door ItsValium op 28-10-2013 20:49 ]

[vincentjanv]

Ik heb vanalles geprobeerd net, van

code:

/sbin/iptables -A FORWARD -i eth0 -o eth1  -j ACCEPT

tot

code:

sbin/iptables -A INPUT -i eth0  -j ACCEPT

Maar deze zijn natuurlijk fout... Ben tegen mezelf aan het redeneren: het is verkeer dat binnenkomt op eth0 dat naar eth1 moet gaan en dat nog niet bekent is.. Al vraag ik me af hoe de main gateway kan weten dat men voor een publiek ip van het subnet langs mijn router-vm moet gaan..

[webfreakz.nl]

Toen je de volgende rule probeerde:

/sbin/iptables -A FORWARD -i eth0 -o eth1  -j ACCEPT

Heb je die toen boven de bestaande rule geplaatst (of verwijderd):

# /sbin/iptables -A FORWARD -i eth0 -o eth1 -m state
   --state RELATED,ESTABLISHED -j ACCEPT

?

[vincentjanv]

Degene met --state was verwijderd toen..

[webfreakz.nl]

Okay... kan je nog eens proberen met:

/sbin/iptables -A FORWARD -i eth0 -o eth1  -j ACCEPT

En dan een traceroute naar een client VM?

[vincentjanv]

Gedaan, maar de traceroute loopt spaak... Hij komt zelfs niet naar het publieke subnet-ip van de router-vm...

code:

Tracing route to static.194.205.76.144.clients.your-server.de [144.76.205.194]
over a maximum of 30 hops:

  1     3 ms     3 ms     3 ms  192.168.0.1
  2    12 ms    10 ms    11 ms  dD5770001.access.telenet.be [213.119.0.1]
  3    13 ms    15 ms    15 ms  dD5E0C741.access.telenet.be [213.224.199.65]
  4    13 ms    11 ms    12 ms  dD5E0F6ED.access.telenet.be [213.224.246.237]
  5     *       17 ms    15 ms  dD5E0FD29.access.telenet.be [213.224.253.41]
  6    17 ms    16 ms    14 ms  kpn.bnix.net [194.53.172.59]
  7    88 ms    37 ms    37 ms  sdns-s1-rou-1101.FR.eurorings.net [134.222.232.2
02]
  8    37 ms    50 ms    34 ms  ffm-s6-rou-1041.DE.eurorings.net [134.222.232.14
5]
  9    39 ms    35 ms    37 ms  ffm-s1-rou-1101.DE.eurorings.net [134.222.229.9]

 10    56 ms    32 ms    70 ms  ffm-s1-rou-1102.DE.eurorings.net [134.222.229.13
0]
 11    37 ms    36 ms    36 ms  nbg-s1-rou-1001.DE.eurorings.net [134.222.227.11
8]
 12    37 ms    38 ms    37 ms  kpn-gw.hetzner.de [134.222.107.21]
 13     *        *        *     Request timed out.
 14     *        *       41 ms  core21.hetzner.de [213.239.245.30]
 15    39 ms    53 ms    40 ms  juniper1.rz20.hetzner.de [213.239.245.166]
 16    43 ms    44 ms    41 ms  hos-tr1.ex3k5.rz20.hetzner.de [213.239.248.134]

 17     *        *        *     Request timed out.
 18     *        *        *     Request timed out.

[Paul]

Wat is de output van `iptables --list` en van `cat /proc/sys/net/ipv4/ip_forward`?

[vincentjanv]

Dit snap ik niet goed

code:

Chain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination
ACCEPT     all  --  anywhere             anywhere
ACCEPT     all  --  anywhere             anywhere

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination

ip_forward is 1

[vincentjanv]

Maar moet het verkeer naar 144.76.205.193 niet eerst sowieso toekomen op de router-vm? al vraag ik hoe dit zou moeten... de eth0 is via dhcp van hertnzer

[Paul]

Alle policy's staan op accept, forward staat aan. Er zijn wel 2 regels in de FORWARD-chain. Wat gebeurt er als je alle regels flusht: http://www.cyberciti.biz/...w-to-flush-all-rules.html (hoeft niet in een scriptje, kunt die dingen bij stap A ook in een terminal-venster uitvoeren). Dat zet je router niet verder open dan nu want op INPUT staat alles al open

Is het laatste IP in die traceroute (213.239.248.134) het IP van de DHCP-interface van je router en het IP van "the additional single IP." waar ze het over hebben bij de aanvraagprocedure op je eerste link?

[vincentjanv]

Neen, mijn ip van de DHCP-interface is 144.76.206.94

Ik zou op de een of andere manier moeten kunnen instellen dat ook mijn subnet-ip's ook naar die nic gerouteerd moeten worden...

Ik heb (helaas) al geprobeert om alles te flushen en open te zetten, no change..

[Paul]

Dat kun je niet, als het goed is heeft Hetzner dat al gedaan. Helemaal zeker weet je dat echter niet, je kunt niet zomaar in hun routing tabellen kijken...

Andersom moet jij in je VM's instellen dat je router-VM (144.76.205.193) hun default gateway is, maar dat lijkt goed te staan.

Kun je op je routing VM iets als tcpdump zetten (desnoods in een snapshot) en kijken of er überhaupt verkeer voor 144.76.205.192/29 aankomt op interface eth0?

[vincentjanv]

Neen, er komt niets binnen bij tcpdump op de routing-vm als ik bij probeer te connecten van mijn pc naar bijv 144.76.205.193...
Ik denk dat ik moet vragen aan Hertzner hoe ik het verkeer van die range dan kan laten toekomen op mijn NIC van mijn vm...

[ Voor 20% gewijzigd door vincentjanv op 28-10-2013 22:28 ]

[webfreakz.nl]

.193 is prima. Wel raar dat je dan niks ontvangt op eth0 voor je /29... Ik denk dat je het inderdaad even moet navragen bij Hertzer

[vincentjanv]

Om het mooi af te sluiten: mijn subnet werd gerouteerd naar mijn main IP van de ESXi host. Je moest blijkbaar spcifiek vermelden bij het bestellen van het subnet dat deze gerouteerd moest worden naar mijn DHCP-ip van mijn router-vm (kon ik dus zelf nergens wijzigen). Zij hebben dit dan veranderd en uiteraard komt nu alles mooi toe. Hooray. Bedantk webfreakz.nl voor alle hulp.

[webfreakz.nl]

vincentjanv schreef op dinsdag 29 oktober 2013 @ 09:50:
Je moest blijkbaar spcifiek vermelden bij het bestellen van het subnet dat deze gerouteerd moest worden naar mijn DHCP-ip van mijn router-vm (kon ik dus zelf nergens wijzigen).

Hmm ok.. Wat was de andere mogelijkheid dan? Moest je proxy-arp gebruiken om dat verkeer naar je toe te krijgen ofzo?

Never mind, niet goed gelezen

Bedankt webfreakz.nl voor alle hulp.

No problem

[ Voor 4% gewijzigd door webfreakz.nl op 29-10-2013 18:52 ]