Datacenter VM netwerk structuur

[Chris-1992]

Goedenavond Tweakers,


Ik heb hier thuis een ESXI clustertje staan en nu vroeg ik mij af hoe het virtuele netwerk van een cluster uitziet.
Via Youtube, forums, online courses vind ik wel heel veel terug over de structuur van een datacenter maar er gaat nooit dieper in op de serverfarm zelf.

Voorbeeld van info dat veel te vinden is:


Maar als men dan meer gericht naar een specifieke cluster gaat kijken en hoe de klanten daar verdeeld worden is heel moeilijk terug te vinden.
Ik vind van VMware zelf ook veel documentatie terug over het opzetten van Distributed vSwitchen, Portgroups, vLANs,...
Maar dan is dit altijd uitgelicht voor één VM en niet voor 1000VM's van 500 verschillende klanten binnen één cluster.
Ik zoek info over het groen/rood gedeelte.


Als men naar datacenters gaan kijken waar 1000e klanten op één cluster kunnen en men beperkt is tot 16 distributed vSwitches per host en 128 per vCenter?
Dan klopt de structuur die ik in mijn hoofd heb niet.

Mijn vraag is dus hoe het netwerk er binnen een cluster uit ziet voor zo een groot aantal klanten die allemaal hun eigen netwerkje hebben binnen de zelfde cluster.
heeft iemand hier documentatie over? of een idee waar ik deze kan terug vinden?

Alvast bedankt!

Groetjes,


-edit-

INFO:

VmWare Network Virtualization Fundamentals
YouTube: VmWare Network Virtualization Fundamentals-- VDO 1

VMware NSX Technical Introduction
YouTube: VMware NSX Technical Introduction

Step by Step installing and configuring of VMware NSX
YouTube: Step by Step installing and configuring of VMware NSX Part-1

[ Voor 15% gewijzigd door Chris-1992 op 06-07-2019 17:17 ]

[Endpoint]

Normaal heb je op een vswitch een port group voor per vlan. Distributed switches heb je afhankelijk van je licentie.

Op firewall niveau bepaal je wie met wie mag kletsen, tenzij je NSX heb.

Maar helemaal op networking niveau heb je duizenden mogelijkheden

[Chris-1992]

@Endpoint
Maar als je werkt met een cluster waar HA & DRS staat geconfigureerd gaat een gewone vSwitch niet meer beschikbaar zijn als één host in standby gaat?
Daarom dat ik distributed switches gebruik op de tekening.
Of ben ik daar mis in?

Ik denk dat NSX is wat ik aan het zoeken ben als ik snel google!
Morgen eens wat meer info over zoeken.

Alvast bedankt!

[Endpoint]

Een vm hangt in een of meerdere vlans. Deze vlans moeten bekend zijn op beide switches. Switches staan los van elkaar

Een standard en distributed switches zijn bijna gelijk. Een distributed kan je een template van maken en snel uitrollen op meerdere hosts, waar je bij een standard deze moet aanmaken en configureren op elke host. Plus dat distributed ook zaken als lacp aankwam e.d.

[Question Mark]

Chris-1992 schreef op maandag 24 juni 2019 @ 22:40:
Als men naar datacenters gaan kijken waar 1000e klanten op één cluster kunnen en men beperkt is tot 16 distributed vSwitches per host en 128 per vCenter?

Waarom zou je duizenden klanten op één cluster willen draaien?

Op een gegeven moment is segmenteren naar meerdere clusters een logischere keuze.

Daarnaast zul je met zulke aantallen serieus moeten kijken naar Software Defined Networking.

[Chris-1992]

@Question Mark
Bij clouds zoals Azure, AWS,.. hebben ze clusters waar 2 server racks samen zitten. (Als ik het internet moet geloven )
Waar dus op een cluster zo een een groot aantal klanten kan verwerken zonder problemen, alleen vroeg ik mij dan af hoe het netwerk gedeelte beheerd werd.

Maar ik ga inderdaad eens kijken naar die software Defined Networking.

Merci!

[Chris-1992]

Endpoint schreef op maandag 24 juni 2019 @ 23:06:
Normaal heb je op een vswitch een port group voor per vlan. Distributed switches heb je afhankelijk van je licentie.

Op firewall niveau bepaal je wie met wie mag kletsen, tenzij je NSX heb.

Maar helemaal op networking niveau heb je duizenden mogelijkheden

NSX VMWARE is wat ik aan het zoeken was!

https://secure.vmware.com...W7qUm&cid=70134000001SjWc

[ Voor 10% gewijzigd door Chris-1992 op 25-06-2019 21:50 ]

[MAX3400]

Chris-1992 schreef op dinsdag 25 juni 2019 @ 21:30:
@Question Mark
Bij clouds zoals Azure, AWS,.. hebben ze clusters waar 2 server racks samen zitten. (Als ik het internet moet geloven )

Aangezien een gemiddeld fysiek rack 42U hoog is, lijkt het me vrij sterk dat je een cloud als AWS kan samenvatten in 84U Niet alles op "het internet" moet je geloven

Andersom, en ook daar zitten limieten aan; elke hypervisor heeft een maximaal aantal nodes per cluster / site / datacenter / whatever de definitie ook moge zijn. Of die host dan sterk genoeg is om 1VM te starten of 1000VM's, is een ander verhaal. Hierdoor, zoals over segmentering wordt gesproken, kan je inderdaad virtuele netwerken aanleggen maar ook nog eens andere "boundaries" zoals resource groups, aparte storage-paden over bijvoorbeeld FCoE, core-mapping etc. En hierdoor kom je (tada) precies in het pricing-model van elke hoster die "instances" aanbiedt op basis van nacalc, prepaid, whatever.

Misschien, maar ik dacht dat we die discussie al eens gehad hadden; probeer "fysiek" en "virtueel" niet gescheiden te zien. In veel gevallen kan je blijven spreken over de OSI-layers (ook voor virtuele omgevingen) en als je dar inzichtelijk hebt en als parate kennis meedraagt, is een term veel makkelijker voor jezelf te projecteren in een omgeving of in een bepaald type inrichting.

[Question Mark]

Vanwege het intressante onderwerp heb ik nog even een alias aangemaakt naar Professional Networking & Servers

[Yariva]

Het "echte" fysieke netwerk vind ik persoonlijk veel interessanter. Er zijn nu 2 globale "richtingen" hierin. Je traditionele core, distribution, access laag model en het spine / leaf model. Waarbij je bij het laatste model veel flexibeler bent, je gebruikt hier namelijk laag 3 netwerken als underlay waar je meerdere laag 2 netwerken als overlay overheen laat babbelen.
Hierdoor kan een VM op welke hypervisor dan ook actief zijn, een compleet ander rack, als je het helemaal gek inricht zelfs in een compleet ander datacenter. En nog steeds laag 2 connectiviteit behouden.

En met VLAN's kijk je dan minimaal naar ongeveer:
- 1 VLAN per klant (afhankelijk van je situatie)
- 1 MGMT VLAN
- 1 Storage VLAN
Kan allemaal over een trunk met wat QOS of over verschillende kabels (2x Trunk met customer VLAN's, 2x access poort voor mgmt LACP bundled, 2x storage access poort LACP bundled)

Vanaf het ESXI cluster koppel je dit op een standard / distributed switch en link je de port groups aan de VM's. Een kind kan de was doen

[ Voor 28% gewijzigd door Yariva op 27-06-2019 09:19 ]

[Chris-1992]

@Yariva
Hier ga ik morgens eens een tekening van maken om te kijken als ik de uitleg goed interpreteer!

[ Voor 8% gewijzigd door Chris-1992 op 27-06-2019 23:50 ]

[Brabix]

@Yariva bedoel je hiermee technieken als VXLAN?

[Equator]

Brabix schreef op vrijdag 28 juni 2019 @ 02:02:
@Yariva bedoel je hiermee technieken als VXLAN?

Als overlay netwerk, ja. Dat verwacht ik wel. VMware NSX maakt voor Netwerk Virtualisatie gebruik van VxLAN.

Of je de underlay in een enkel DC op laag 2 of laag 3 maakt is wel belangrijk. Maar met Hybride mode binnen NSX zou het niet veel meer uit moeten maken. Laag 3 wordt met Unicast gedaan, Laag 2 met Multicast. Unicast geeft een iets grotere overhead op de ESX host.

[Yariva]

Brabix schreef op vrijdag 28 juni 2019 @ 02:02:
@Yariva bedoel je hiermee technieken als VXLAN?

Ik bedoelde idd VXLAN. Echter is hier bij het opzetten van wel wat kennis vereist van EVPN, multicasting etc. Dat kan het lastig maken voor mensen die nieuw zijn met de techniek.

[Equator]

Overigens heb je voor VxLAN per transport-group ook nog een VxLAN-transport VLAN nodig.

[Chris-1992]

Nog wat info filmpjes ivm deze vraag:

VmWare Network Virtualization Fundamentals
YouTube: VmWare Network Virtualization Fundamentals-- VDO 1

VMware NSX Technical Introduction
YouTube: VMware NSX Technical Introduction

Step by Step installing and configuring of VMware NSX
YouTube: Step by Step installing and configuring of VMware NSX Part-1


Iemand een idee hoe je NSX download?



Enige wat ik kan terug vinden van NSX zijn lessen:

[ Voor 26% gewijzigd door Chris-1992 op 06-07-2019 22:48 ]

[Joenino]

Chris-1992 schreef op zaterdag 6 juli 2019 @ 17:17:
Nog wat info filmpjes ivm deze vraag:

VmWare Network Virtualization Fundamentals
YouTube: VmWare Network Virtualization Fundamentals-- VDO 1

VMware NSX Technical Introduction
YouTube: VMware NSX Technical Introduction

Step by Step installing and configuring of VMware NSX
YouTube: Step by Step installing and configuring of VMware NSX Part-1


Iemand een idee hoe je NSX download?

[Afbeelding]

Enige wat ik kan terug vinden van NSX zijn lessen:
[Afbeelding]

NSX kan je volgens mij alleen downloaden als je een VMware account heb met bijhorende licenties. Geen idee of je een trial kan downloaden van het spul.

Edit* Na inloggen met mijn zakelijke account kan ik NSX datacenter voor Vsphere downloaden, echter met onderstaande melding:

Customers who have purchased VMware NSX Data Center for vSphere can download their relevant installation package from the product download tab below.

Wij hebben Enterprise Plus en geen idee of NSX daarin zit? Volgens mij hadden ze daarvoor weer een nieuwe licentie uitgebracht die weer boven Enterprise Plus zit.

Dus ja je kan het downloaden mits je een account heb. Maar niet testen zonder geldige licentie denk.

[ Voor 21% gewijzigd door Joenino op 09-07-2019 13:53 ]

[Paul]

Chris-1992 schreef op maandag 24 juni 2019 @ 23:12:
@Endpoint
Maar als je werkt met een cluster waar HA & DRS staat geconfigureerd gaat een gewone vSwitch niet meer beschikbaar zijn als één host in standby gaat?
Daarom dat ik distributed switches gebruik op de tekening.
Of ben ik daar mis in?

Voor HA of DRS maakt het niet uit, zolang de portgroup die een VM nodig heeft maar bestaat op (een van) de andere hosts.

Het verschil tussen een vSwitch en dvSwitch is vooral het beheer erop. Een vSwitch moet je zelf aanmaken op iedere host, een dvSwitch definieer je één keer en dan koppel je deze aan hosts. Een VLAN toevoegen aan een dvSwitch is één actie (binnen VMware dan, heb het niet over de fysieke switches waar de hosts aan hangen), eentje toevoegen aan vSwitches moet je per host doen.

Wil je de klanten van elkaar scheiden dan moet je ze ieder een eigen VLAN geven en er een firewall tussen zetten die dat verkeer afhandelt, of NSX gebruiken waardoor die firewall (kort door de bocht) tussen de VM en de (d)vSwitch zit.

[The Eagle]

Heb je hier iets aan? https://my.vmware.com/en/...44d8c&cid=70134000001YXMZ

[Chris-1992]

@Joenino
bedankt om de moeite erin te steken!
Was er al beetje bang voor dat ik geen trail kon starten.

@Paul
Top!
Ik ben het zo nu een beetje aan het proberen, lijkt voorlopig prima te werken!
Moet enkel nog even testen met DRS & HA.
Maar het is blijkbaar heel makkelijk om via CLI scriptjes te schrijven en vswitchen en portgroups aan te maken dus dat bespaart een hoop werk!

@The Eagle
Hier ben ik inderdaad ook op geweest maar als ik mij inlog krijg ik steeds opnieuw de vraag om mij te registreren.
Als ik me dan wil registreren zegt hij dat mijn mail adres al in gebruik is (wat logisch is )
Het lijkt erop dat je hiervoor dus ook een zakelijk account of dergelijk nodig hebt.
Of er zijn tijdelijke technische problemen.