Heb mijn VMware studieserver/Homelab vervangen

[Silencer1981]

Slechte performance vanwege NAS

Enige tijd geleden ben ik begonnen met het zoeken naar een vervanging voor mijn huidige zelfstudie VMware Homelab. Het ging hierbij om een budget "server" met een AMD FX-8350 en 32GB geheugen. Deze draaide overigens de nieuwe ESXi 6.5, maar ik wilde meer geheugen en de onderliggende storage (een QNAP 419 PII) hield bij een VM of acht op te functioneren.

Omdat het uiteindelijk toch om studie gaat voor onder andere mijn werkgever, heb ik hiervoor budget geregeld. Het is thuis lastig uit te leggen dat je zoveel geld uitgeeft aan iets waar je werkgever ook veel belang bij heeft. Het is zelfstudie (certificeringen), troubleshooten klantproblemen/migraties en natuurlijk ook mijn eigen carrière in de ICT business. Zit op detacheringsbasis bij klanten voor voornamelijk Systeembeheer, maar doe er vaak veel naast.

Ik wilde dit dus naar een hoger platform tillen en hierbij heb ik ook gekeken naar een zwaardere NAS en managed switches. Ik kwam er al snel achter dat ik dan behoorlijk wat geld kwijt was aan uiteindelijk minimale performance. De beperkende factor is dan voornamelijk de 1Gbit verbindingen, waarbij 10Gbit of de NAS te duur worden. En dus besloot ik om dit budget te gebruiken voor betere hardware in de kast en het virtueel op te lossen. Natuurlijk wil ik jullie meenemen in wat ik neergezet heb en wie weet doen jullie ideeën op, hebben jullie nog suggesties of verklaren mij compleet voor gek.


Het ontwerp

Het ontwerp voor de Mark4 (niet geheel toevallig mijn naam, een naamgevingssysteem en alweer mijn vierde VMware HomeLab ) gaat uit van nested ESXi's. Deze nested/virtuele ESXi's zullen op hun beurt dan de overige VM's draaien. De fysieke host draait naast de nested ESXi's ook nog een Domain Controller voor authenticatie, DNS en eventueel DHCP indien nodig. Er is nog een Windows Server 2016 actief die NFS shares geeft aan de vSphere omgeving en de VCSA appliance zelf staat hier ook op. Je hoeft met deze opzet alleen de VM's op de fysieke host te starten en je gehele basis is actief.



Omdat ik performance belangrijk vindt heb ik niet gekozen voor een Xeon met L toevoeging (energiezuinig) of Intel NUC. De Xeon-D is erg interessant, maar beperkt tot 128GB geheugen en dit wilde ik niet als beperking. Uiteindelijk ben ik gegaan voor een volwaardige Xeon E5-2620v4 (Broadwell-EP) 2,1Ghz 8-core met hyperthreading en 95W TDP. Hierbij heb ik uiteindelijk ook gekozen voor 192GB geheugen (Registered ECC DDR4), zodat geheugen echt geen bottleneck gaat zijn bij testopstellingen. Eventueel is dit nog uit te breiden naar 256GB, maar dat lijkt mij onwaarschijnlijk.

Dit alles gaat op een Supermicro X10SRA-F serverboard met IPMI 2.0 (ILO / DRAC out-of-band management).

De opslag is geregeld door ESXi te installeren op een Samsung 960 EVO 250GB. Deze nieuwe "budget" NVMe SSD's kwamen net beschikbaar toen ik ging bestellen en heb toen besloten om volledig op deze standaard over te stappen vanwege de specificaties. De overige schrijfruimte bevat de basis VM's en een disk waar VMware templates en ISO's op staan die als NFS share aangeboden wordt (zie mijn ontwerp). Ook bevat de host nog twee Samsung 960 EVO 1TB die via Passhtrough aan de NFS server gehangen worden. Dit zal dienen als NFS datastores voor de vSphere omgeving.

De 3200MB/sec lezen (380.000 IOPS) en 1900MB/sec schrijven (360.000IOPS) moeten ervoor zorgen dat de storage geen bottleneck is in dit verhaal. Mijn verwachting is dat dit eerder zal liggen bij de virtuele 10Gbit verbindingen in combinatie met de CPU belasting die dit veroorzaakt. Nu is het een moderne 8-core, dus ik hoop een heel eind te komen.
De 960 EVO 1TB heeft een SLC cache van maar liefst 42GB, dus de kans is relatief klein dat je daar doorheen gaat. Doe je dat wel dan ga je terug naar 1200MB/sec schrijven. Daar kan ik mee leven!

De oude QNAP 419 PII NAS is ook vervangen door een Synology DiskStation DS216+II, maar is verder niet actief meer in gebruik voor VMware. Mocht ik toch plotseling veel opslagruimte nodig hebben, dan is hij echter wel als nog te koppelen als trage datastore.

Er is optioneel nog een extra 960 EVO bij te plaatsen of een refurbished videokaart die Horizon View (VDI) ondersteuning heeft.


De onderdelen

De lijst met onderdelen! Zoals je kunt zien gaat het meeste geld zitten in de kasten, processor, geheugen en SSD's.

#	Product	Prijs	Subtotaal
1	Intel Xeon E5-2620 v4 Boxed	€ 464,95	€ 464,95
1	Supermicro X10SRA-F (Retail Pack)	€ 338,25	€ 338,25
2	HGST Deskstar NAS, 3TB	€ 113,74	€ 227,48
2	Phanteks Enthoo Evolv ATX Tempered Glass Edition Zwart	€ 170,01	€ 340,02
1	be quiet! Straight Power 10 CM 800W	€ 138,-	€ 138,-
1	be quiet! Shadow Rock Slim	€ 40,95	€ 40,95
1	Razer BlackWidow X Chroma (US)	€ 156,95	€ 156,95
1	Razer Mamba Tournament Edition 5G	€ 85,-	€ 85,-
6	Kingston ValueRAM KVR21R15D4/32	€ 288,19	€ 1.729,14
3	Asus Hyper M.2 X4 PCI-E Mini Card	€ 31,99	€ 95,97
2	Samsung 960 EVO 1TB	€ 463,50	€ 927,-
1	Samsung 960 EVO 250GB	€ 128,95	€ 128,95
1	Synology DiskStation DS216+II	€ 312,65	€ 312,65
		Totaal	€ 4985,31

Benchmarks en mijn ervaring

Dit weekend ga ik de twee Samsung 960 EVO's aan de NFS server hangen en kan ik gaan benchen met ATTO hoe de omgeving als geheel functioneert en of ik de performance kan halen die erin zit. Hoe snel er VMware Templates of ISO's uit te rollen zijn en hoe snel is een server leeg te vMotion'en etc. Deze zaken zijn echter erg afhankelijk van de virtuele 10Gbit performance. Hier zal deels ook nog tuning nodig zijn, maar zal waarschijnlijk niet het volledige potentieel van de 960 EVO's kunnen behalen.

Bij inrichtingsproblemen kan het echter nog wel een weekje duren voordat ik alle antwoorden heb.

[ Voor 230% gewijzigd door Silencer1981 op 23-02-2017 11:20 . Reden: Corrigeren van schoonheidsfoutjes ]

[CMD-Snake]

Wat een moeilijke oplossing voor een thuislab.

Ik draai zelf ook dagelijks VM voor onderzoek/studie/ontwikkel doeleinden en gebruik hiervoor VMWare Workstation. Dat draai ik op mijn laptop of op mijn desktop.

De VM's heb ik staan op een externe SSD met USB 3 aansluiting. Zo kunnen ze makkelijk wisselen tussen mijn laptop en mijn desktop. De SSD is snel genoeg dat de VM's vlot kunnen werken en draaien. Over de USB bus hoeft enkel nog de aansturing gedaan te worden.

Deze opstelling werkt goed en ik kan genoeg VM's tegelijkertijd draaien. 5-6 machines is geen probleem, vooral geheugen is eigenlijk de beperkende factor. 32GB is ook zo op eigenlijk. Opslag kan ook een beperkende factor zijn, maar een 2TB sata SSD kan een heel eind meekomen met full clones. Eventueel zou ik met een linked clone nog wat ruimte kunnen besparen.

De snelheid van de opstelling is meer dan voldoende, bovendien gaat het vooral om iets uit te proberen en is performance niet zo belangrijk.

[Silencer1981]

Dat ligt er natuurlijk maar net aan wat je wilt gaan doen. Ik ben aan de basis al deze 32GB aan geheugen kwijt met een stuk of 6-8 VM's en dan moet ik nog gaan bouwen wat ik wil testen. Ik gok dat jij in de softwareontwikkeling zit, terwijl ik juist aan de systeembeheer kant zit en mij dus ook certificeer in Microsoft en VMware producten. In dat geval heb je weinig aan de Workstation variant, als je gecertificeerd wilt zijn in vSphere en Horizon View (VDI).

Meestal doe je iets dergelijks bij je eigen werkgever, maar daar ben ik nooit. Ik zit namelijk permanent gedetacheerd bij klanten. Ook ben je dan afhankelijk van wat je werkgever doet met de testomgeving en dit is vrijwel altijd een ondergeschoven kindje. Klanten hebben vaak geen eens een fatsoenlijke testomgeving. Deze is persoonlijk en dus is hij altijd beschikbaar en in eigen beheer.

[ Voor 30% gewijzigd door Silencer1981 op 18-02-2017 00:49 ]

[CMD-Snake]

Silencer1981 schreef op vrijdag 17 februari 2017 @ 23:50:
Ik gok dat jij in de softwareontwikkeling zit, terwijl ik juist aan de systeembeheer kant zit

Ik zit aan de systeembeheer/DBA kant en ook certificeer ik voor Microsoft producten. En ik heb voldoende aan 32GB. Huidige high-end laptops en betere moederborden voor Skylake/Kaby Lake kunnen al tot 64GB gaan.

Mijn gemiddelde VM heeft 2 cores en 4GB geheugen. Sommigen zoals domain controllers en fileservers kunnen toe met minder, 1 core en 2GB geheugen. Zo kan ik een heel eind komen en soms zal je wat beperkingen moeten accepteren. Test VM's hoeven niet zo dik uitgerust te zijn naar mijn mening. Het fijne is van Workstation dat deze alleen geheugen bezet wat ook echt gebruikt wordt door de VM.

Ik blijf sterk het idee houden dat je veel minder geld had hoeven uitgeven en met een eenvoudigere oplossing toe had gekund die toch ook snel is.

[Vorkie]

Aan capaciteit genoeg, als je productie wilt draaien. Ik vindt het voor een lab iets teveel van het goeie. Een lab houdt in dat je wilt spelen met de oplossing, het hoeft niet full time te draaien.

Als ik dit zou draaien, zou ik het ook inzetten als thuisoplossing voor firewall, storage, etc, maar zeker niet alleen voor lab.

Ik heb hier trouwens een esx oplossing draaien met 48gb en een i7 met voldoende storage, meer als genoeg voor een vcsa, horizon en Windows certificeringen en daarbij een virtuele nas en firewall etc.

De basis zaken van vmware, zoals cluster zaken, hoef ik niet perse in mijn lab, het kan nu wel, maar voor lering is dat niet noodzakelijk.

Maar dat is ieder zijn keuze , want je hebt verder een beest neergezet waar je iig qua capaciteit niet hoeft in te boeten. (Wat verbruikt dat ding idle?)

[Silencer1981]

CMD-Snake schreef op zaterdag 18 februari 2017 @ 11:25:
[...]


Ik zit aan de systeembeheer/DBA kant en ook certificeer ik voor Microsoft producten. En ik heb voldoende aan 32GB. Huidige high-end laptops en betere moederborden voor Skylake/Kaby Lake kunnen al tot 64GB gaan.

Mijn gemiddelde VM heeft 2 cores en 4GB geheugen. Sommigen zoals domain controllers en fileservers kunnen toe met minder, 1 core en 2GB geheugen. Zo kan ik een heel eind komen en soms zal je wat beperkingen moeten accepteren. Test VM's hoeven niet zo dik uitgerust te zijn naar mijn mening. Het fijne is van Workstation dat deze alleen geheugen bezet wat ook echt gebruikt wordt door de VM.

Ik blijf sterk het idee houden dat je veel minder geld had hoeven uitgeven en met een eenvoudigere oplossing toe had gekund die toch ook snel is.

Natuurlijk had ik met minder geld afgekund door niet voor een duur Intel platform te kiezen met zoveel geheugen. Als je werkgever budget beschikbaar stelt kun je het wat ruimer neerzetten. Het ging mij er ook om dat ik die beperkingen nu juist eens niet zou hebben. Hierdoor heb je dus een 4 node vSphere cluster draaien, waar je ook zonder problemen een node in maintenance kunt zetten etc. Dit heb ik ook meegenomen in de hoeveelheid geheugen in de server.

[Bigs]

Nested virualisatie heeft wel een behoorlijke performance impact. Ik zou daar eerst eens mee testen op je huidige hardware om te kijken of dat wel acceptabel is voor je doel. Je krijgt op deze manier weinig bang voor je buck naar mijn mening.

[Silencer1981]

Bigs schreef op zaterdag 18 februari 2017 @ 21:09:
Nested virualisatie heeft wel een behoorlijke performance impact. Ik zou daar eerst eens mee testen op je huidige hardware om te kijken of dat wel acceptabel is voor je doel. Je krijgt op deze manier weinig bang voor je buck naar mijn mening.

Ik heb al enige tijd ervaring met nested virtualisatie (ook mijn vorige systeem) en moet zeggen dat ik nergens bij deze Xeon het idee heb dat het traag is. Het voordeel is natuurlijk de flexibiliteit en het niet hebben van bijvoorbeeld meerdere losse NUC's. Voor beiden is wat te zeggen natuurlijk.

[Silencer1981]

Vorkie schreef op zaterdag 18 februari 2017 @ 12:05:
De basis zaken van vmware, zoals cluster zaken, hoef ik niet perse in mijn lab, het kan nu wel, maar voor lering is dat niet noodzakelijk.

Maar dat is ieder zijn keuze , want je hebt verder een beest neergezet waar je iig qua capaciteit niet hoeft in te boeten. (Wat verbruikt dat ding idle?)

Ik wil de nieuwe versies leren kennen voor certificering en dus wil ik dit inclusief de cluster functionaliteit. Klanten lopen vaak ver achter (1-2 jaar), dus ik moet de ervaring ergens anders op doen.

Ik heb helaas geen middelen om het exacte verbruik te meten.

[Bigs]

Silencer1981 schreef op zaterdag 18 februari 2017 @ 21:46:
[...]


Ik heb al enige tijd ervaring met nested virtualisatie (ook mijn vorige systeem) en moet zeggen dat ik nergens bij deze Xeon het idee heb dat het traag is. Het voordeel is natuurlijk de flexibiliteit en het niet hebben van bijvoorbeeld meerdere losse NUC's. Voor beiden is wat te zeggen natuurlijk.

Het zal niet voor elke workload boeien maar ik dacht ik meld het toch. Wij liepen er bij onze CI straat (veel CPU en IO intensief werk dat je graag snel gedaan wil hebben) er wel tegenaan (op 2-socket Xeon E5v3 systemen) dus daar zijn we gaan 'fysiekaliseren'

[Silencer1981]

Bigs schreef op zaterdag 18 februari 2017 @ 22:26:
[...]
Het zal niet voor elke workload boeien maar ik dacht ik meld het toch. Wij liepen er bij onze CI straat (veel CPU en IO intensief werk dat je graag snel gedaan wil hebben) er wel tegenaan (op 2-socket Xeon E5v3 systemen) dus daar zijn we gaan 'fysiekaliseren'

Denk dat de load zich bij mij meer aan de SSD kant bevindt bij het deployen van VM's (server of VDI) en niet zo zeer aan de CPU kant. Ik heb er wel enigszins rekening mee gehouden door voor een octocore te gaan en niet voor een goedkopere quad/hexa core alternatief. Octocore is sinds Broadwell-EP (v4) enigszins betaalbaar geworden.

In sommige omgevingen blijft fysiek gewoon de beste keuze.

[ Voor 4% gewijzigd door Silencer1981 op 19-02-2017 00:53 ]

[Lampiz]

Interessant, following dis!