VMware: Bridged NICs fungeren als hub

[Boudewijn]

Hoihoi


Ik heb een paar dozen met vmware server2, waarbij de NICs gebridged zijn aan eth0 van de host.
Deze host-NIC hangt direct aan het internet.


De NICs zijn gebridged en een aantal VM's hangt dus via die gebridgde NIC direct aan het internet met een eigen IP adres.

Echter:

code:

mail2:~# tcpdump dst IP_2
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
22:09:32.941378 IP IP_1 > IP_2: ICMP echo request, id 4508, seq 1, length 64

4 packets captured
9 packets received by filter
0 packets dropped by kernel
mail2:~# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:0c:29:97:a9:76
          inet addr:IP_3  Bcast:KNIP.255  Mask:255.255.255.128
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:329408 errors:0 dropped:0 overruns:0 frame:0
          TX packets:78380 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:31847983 (30.3 MiB)  TX bytes:23357070 (22.2 MiB)

Goed, wat blijkt:


Machine X krijgt op IP_3 verkeer van IP_2. Dat is echt behoorlijk foute boel; iemand op VM1 kan zo alle SMTP conversaties van VM2 meelezen om maar even een dwarsstraat te noemen.

Waar zit dit hem in? Ik heb google al aan het werk gezet, en ook vmware support maar eens gemaild.

[ik222]

Zou natuurlijk ook kunnen dat niet je VMWare bak maar het punt waar je externe ip's vandaan komen hier de oorzaak van is.

Maar goed als dat een ISP is lijkt me dat onwaarschijnlijk of het moet wel erg slecht in elkaar zitten daar.

[ItsValium]

Dit heeft waarschijnlijk te maken met het onderbrengen van alle vmnics aan eth0 die dus in dezelfde virtuele switch(eigenlijk hub) zitten, wat je misschien kan doen is elke vm in zijn eigen vmnet onderbrengen waarbij elke vmnet gebridged wordt?

Mijn setup maakt gebruikt van meerdere nic's op dezelfde machine dus heb hier geen problemen mee ondervonden, maar met een single nic machine lijkt dit me een oplossing.

[Boudewijn]

Uhh hoe bedoel je dat? Ik ben eigenaar van de host, en die heeft 1 nic waar alle traffic doorheen gaat (de andere NICs zijn even niet relevant).
Daaraan zijn dus de NICs van de klant-vm's gebridged, en dat is idd niet zo mooi.

ItsValium schreef op zondag 27 december 2009 @ 22:23:
Dit heeft waarschijnlijk te maken met het onderbrengen van alle vmnics aan eth0 die dus in dezelfde virtuele switch(eigenlijk hub) zitten, wat je misschien kan doen is elke vm in zijn eigen vmnet onderbrengen waarbij elke vmnet gebridged wordt?

Mijn setup maakt gebruikt van meerdere nic's op dezelfde machine dus heb hier geen problemen mee ondervonden, maar met een single nic machine lijkt dit me een oplossing.

Hmm dat zou idd een oplossing zijn, maar dat raadt vmware af omdat je dan voor het aanmaken van 1 vm de hele vmware server moet rebooten.

[ Voor 59% gewijzigd door Boudewijn op 27-12-2009 22:24 ]

[ItsValium]

Dat rebooten kan je vermijden door op voorhand extra vmnets te configureren, t is niet omdat ze geconfigureerd zijn dat je ze moet gebruiken, dus als je alle vmnetten van 0 tot 9 vooraf configureerd, kan je nadien bij het starten/aanmaken van nieuwe vm's perfect een vmnet toewijzen die al voorgeconfigureerd is.

edit: ik denk er net aan dat je dit eigenlijk ook zou moeten kunnen bereiken met vlan tagging (dat moet ik eens nakijken)

[ Voor 16% gewijzigd door ItsValium op 27-12-2009 22:28 ]

[Boudewijn]

True true, maar dan zit je aan een limiet van 10 vm's per server?

Nou ja dat zou eventueel nog wel een optie zijn ja.... alhoewel onhandig.

[ik222]

Wat ik bedoelde is dat jou externe ip's ook ergens vandaan komen en gerouteerd worden neem ik aan, en daar zou dit probleem ook door kunnen komen theoretisch. Maar nogmaal als dat een ISP is dan is het erg onwaarschijnlijk.

Wat ItsValium zegt is inderstaan een stuk logischer. Wat je wel kan doen is gewoon 1 keer die vmnet's toewijzen en dan hoeft je op zich niet telkens te rebooten.

/edit: Met dat laatste was ik dus al te laat

[ Voor 7% gewijzigd door ik222 op 27-12-2009 22:29 ]

[ItsValium]

Ik heb nadat ik indertijd vmware getest had op een oude machine, sindsdien nooit meer gebruik gemaakt van single nic machines voor vm. Ik kan me niet herinneren of er een max aantal vmnets was, aan jou reactie te zien moet het toch wel zo zijn, ik heb het voorbeeld van 0 tot 9 willekeurig genoemd. Kan me namelijk niet voorstellen dat je met een voldoende krachtige machine beperkt zou blijven tot 10 vm's, hoewel de meeste machines gebouwd voor virtualisatie wel meerdere nic's zullen hebben.

Misschien moet je maar eens kijken of het mogelijk is om de machines uit te breiden met een paar nics?

[Boudewijn]

ik222 schreef op zondag 27 december 2009 @ 22:29:
Wat ik bedoelde is dat jou externe ip's ook ergens vandaan komen en gerouteerd worden neem ik aan, en daar zou dit probleem ook door kunnen komen theoretisch. Maar nogmaal als dat een ISP is dan is het erg onwaarschijnlijk.

Xs4all colocatie... Zou wel okay moeten zijn.

Ik heb nadat ik indertijd vmware getest had op een oude machine, sindsdien nooit meer gebruik gemaakt van single nic machines voor vm. Ik kan me niet herinneren of er een max aantal vmnets was, aan jou reactie te zien moet het toch wel zo zijn, ik heb het voorbeeld van 0 tot 9 willekeurig genoemd. Kan me namelijk niet voorstellen dat je met een voldoende krachtige machine beperkt zou blijven tot 10 vm's, hoewel de meeste machines gebouwd voor virtualisatie wel meerdere nic's zullen hebben.

Misschien moet je maar eens kijken of het mogelijk is om de machines uit te breiden met een paar nics?

Ik heb genoeg nic's, maar op zich is dat niet nodig.... het is gigabit.
Volgens mij zat er een beperking op, ik ga het dus zo even testen.


Bedankt heren .

[ Voor 13% gewijzigd door Boudewijn op 27-12-2009 22:35 ]

[ItsValium]

graag gedaan, laat eens weten of er inderdaad wel een beperking opzit? ben benieuwd of dit een serieus probleem kan worden bij de kleinere virtualisatie projectjes die ik op stapel staan heb.

[Boudewijn]

Yep, ik ga het vanavond nog op mijn testmachine uitrollen. Ik kan wel nic's bijprikken, maar ik heb beduidend meer VMs dan ik NICs kwijt kan in mijn 2U doosjes.

[ik222]

ItsValium schreef op zondag 27 december 2009 @ 22:36:
graag gedaan, laat eens weten of er inderdaad wel een beperking opzit? ben benieuwd of dit een serieus probleem kan worden bij de kleinere virtualisatie projectjes die ik op stapel staan heb.

Vmware server 2 kan volgens mij maximaal 10 virtuele adapters aanmaken inderdaad.

/edit: Heb even gekeken op mijn vmware server 2 bak en daar staan gewoon vast 10 virtuele adapters (van 0 t/m 9) dus ik zou niet weten hoe je er meer aanmaakt.

[ Voor 17% gewijzigd door ik222 op 27-12-2009 22:41 ]

[ItsValium]

Thx ik222 dat zal mij nog een hoop kopzorgen bezorgen dus, eigenlijk niet echt mijn zorg, enkel zal het mijn klanten wat budgetaire problemen opleveren, gezien ze dan toch iets duurdere servers zullen moeten aanschaffen indien ze meer dan een tiental vm's nodig hebben.

Boudwijn, hopelijk lukt het zonder al te veel problemen op je 2U bakkies.

[Boudewijn]

Ik zal het straks eens in de wizzard bekijken. Tsja, anders wordt het ESXi draaien op die bakken, maar goed... als ik dat kan voorkomen zou dat wel mooi zijn.

[ppl]

Ik heb begrepen dat het max 10 nics per vm zijn en max 99 vmnets. Dit geldt voor o.a. Server maar ook voor Workstation en Fusion wat niet zo raar is aangezien die ongeveer 90% van de codebase delen. Naar ik meen kon je niet zomaar eventjes een vmnet aan een bepaald vlan koppelen dus dat moet je meer gaan uitpluizen. Is er ergens in de community docs/knowledge base van VMware hierover niet iets te vinden?

[ik222]

ppl schreef op dinsdag 29 december 2009 @ 01:12:
Ik heb begrepen dat het max 10 nics per vm zijn en max 99 vmnets. Dit geldt voor o.a. Server maar ook voor Workstation en Fusion wat niet zo raar is aangezien die ongeveer 90% van de codebase delen. Naar ik meen kon je niet zomaar eventjes een vmnet aan een bepaald vlan koppelen dus dat moet je meer gaan uitpluizen. Is er ergens in de community docs/knowledge base van VMware hierover niet iets te vinden?

Kon er niet direct wat over vinden in de documentatie maar wat ik zie bij mijn server is dat er gewoon een vast aantal vmnet's staat met daarachter een comboxbox waar je de bijbehorende fysieke nic kunt kiezen. Dus dan zou ik in ieder geval neit weten hoe je er meer dan 10 kan gebruiken.

[Boudewijn]

Je kunt ze aanmaken met vmware-config.pl

Ben er op mijn testbak mee bezig .

[ppl]

ik222 schreef op dinsdag 29 december 2009 @ 08:43:
[...]

Kon er niet direct wat over vinden in de documentatie maar wat ik zie bij mijn server is dat er gewoon een vast aantal vmnet's staat met daarachter een comboxbox waar je de bijbehorende fysieke nic kunt kiezen. Dus dan zou ik in ieder geval neit weten hoe je er meer dan 10 kan gebruiken.

Dat klopt, standaard zijn een aantal vmnets gedefinieerd, de rest moet je op de commandline aanmaken. Extra vmnics toevoegen aan een vm moet je in de vm settings doen.

[ik222]

Oke bedankt voor de informatie, ga hier op een testmachine eens mee aan de gang. Nooit geweten dat je die extra aan kon maken dus weer wat geleerd