Advies serverconfiguratie

[hellie-]

Onze huidige Supermicro server is aan vervanging toe (jaar 2006) en bevat nagenoeg alle rollen (DC,DNS,DHCP,File- en printserver ..). We wensen een nieuwe server aan te kopen waarop we wensen te virtualiseren om onder andere bepaalde rollen te kunnen opdelen (bv. Back-up, licensing, fileserver, printserver, db server).

Van Dell heb ik een voorstel gekregen die past binnen ons budget. Namelijk een Dell Vrtx systeem (cluster in a box) met twee nodes die samen gebruik kunnen maken van de shared storage.

Het besturingssysteem die we hierop wensen te installeren is Windows 2012 R2 en Hyper-V als virtualisatieplatform.

Het plan zou zijn om de huidige fysieke server (Windows 2003 32 bit en domeincontroller) die momenteel dienst doet voor alle rollen (AD, DNS, DHCP .....) eerst met behulp van Disk2VHD om te zetten naar een virtuele machine, die op de nieuwe server te plaatsen/configureren en op de achtergrond om te zetten naar Windows 2012 R2 (met Windows 2008 nog als tussenstap moet gebruiken om alle rollen over te zetten).

Ik ben er nog niet helemaal uit wat de ideale configuratie moet worden op de nieuwe server.
in de offerte beschik ik over:

- twee nodes (elk 2x Intel Xeon E5-2620v2 2.1GHz, 15M Cache)
- per node 2x 146 GB schijven
- per node 64 GB RAM
- shared Storage van 12x 300 GB disks (2,5")

Wat betreft de configuratie had ik het volgende in gedachten:

1. Van beide nodes de 2x 146 GB schijven configureren als RAID 1
2. Op deze Raid 1 configuratie van beide nodes de hypervisor installeren
3. Daarna de VM's aanmaken en opslaan op deze RAID 1 configuratie
4. De 12x 300 GB disk configureren als Raid 10
5. De VHD’s van de verschillende VM's aanmaken en plaatsen op de shared storage

Is dit een aangewezen configuratie of wat zou er beter aan kunnen?

Andere vragen:

Zou ik tussen de twee nodes de domaincontroller laten repliceren of kies ik beter voor live migration?
Kies ik voor de shared Storage beter voor een cluster shared Storage? Ik had begrepen een domaincontroller niet op een cluster shared Storage te plaatsen omdat de cluster AD nodig heeft om te kunnen starten.
Wat doe ik best op vlak van de netwerkkaarten? Nic teaming met twee netwerkadapters aangesloten op twee verschillende netwerkswitchen?

Alvast bedankt voor de tips.

[DiedX]

[b][message=42666928,noline]
Ik ben er nog niet helemaal uit wat de ideale configuratie moet worden op de nieuwe server.
in de offerte beschik ik over:

- twee nodes (elk 2x Intel Xeon E5-2620v2 2.1GHz, 15M Cache)
- per node 2x 146 GB schijven
- per node 64 GB RAM
- shared Storage van 12x 300 GB disks (2,5")

Ik wist dat Dell bezig was met een soort van cloud-in-a-box. Waar komt de shared storage vandaan? Equallogic?

[b][message=42666928,noline]
1. Van beide nodes de 2x 146 GB schijven configureren als RAID 1
2. Op deze Raid 1 configuratie van beide nodes de hypervisor installeren
3. Daarna de VM's aanmaken en opslaan op deze RAID 1 configuratie
4. De 12x 300 GB disk configureren als Raid 10
5. De VHD’s van de verschillende VM's aanmaken en plaatsen op de shared storage

Is dit een aangewezen configuratie of wat zou er beter aan kunnen?

Volgens mij ben je aardig onderweg, zie echter beneden...
[quote][b][message=42666928,noline]

[b][message=42666928,noline]
Zou ik tussen de twee nodes de domaincontroller laten repliceren of kies ik beter voor live migration?

Twee domain-controllers. Je wil uiteindelijk ook nog een keer kunnen rebooten. Die tweede AD kost je nagenoeg niets voor load...

[b][message=42666928,noline]
Kies ik voor de shared Storage beter voor een cluster shared Storage? Ik had begrepen een domaincontroller niet op een cluster shared Storage te plaatsen omdat de cluster AD nodig heeft om te kunnen starten.

In mijn vorige leven had ik een 2012 AD draaiend op twee nodes met een EqualLogic storage. De toenmalige leverancier heeft ons twee extra fysieke machines laten kopen vanwege AD. In een later gesprek bleek dat de soep niet /zo/ heet gegeten werd.

Ik durf je hier niet goed op te adviseren. Zoek het even goed uit...

[b][message=42666928,noline]
Wat doe ik best op vlak van de netwerkkaarten? Nic teaming met twee netwerkadapters aangesloten op twee verschillende netwerkswitchen?

Yup. Hou rekening dat iSCSI niet via een LACP-trunk mag lopen (iig bij EqualLogic).

Succes!

[Arie]

hellie- schreef op dinsdag 05 augustus 2014 @ 17:56:
Het besturingssysteem die we hierop wensen te installeren is Windows 2012 R2 en Hyper-V als virtualisatieplatform.

Installeer in dit geval Server Core om de footprint te verkleinen. Installeer geen andere rollen op de hosts behalve Hyper-V.

hellie- schreef op dinsdag 05 augustus 2014 @ 17:56:
Het plan zou zijn om de huidige fysieke server (Windows 2003 32 bit en domeincontroller) die momenteel dienst doet voor alle rollen (AD, DNS, DHCP .....) eerst met behulp van Disk2VHD om te zetten naar een virtuele machine, die op de nieuwe server te plaatsen/configureren en op de achtergrond om te zetten naar Windows 2012 R2 (met Windows 2008 nog als tussenstap moet gebruiken om alle rollen over te zetten).

Ik zou de huidige fysieke server virtualiseren, een tweede VM inrichten als DC, alle rollen overzetten van de oude DC naar de nieuwe DC en daarna de oude DC uitfaseren.

hellie- schreef op dinsdag 05 augustus 2014 @ 17:56:
Zou ik tussen de twee nodes de domaincontroller laten repliceren of kies ik beter voor live migration?

Installeer twee DC's in plaats van bovenstaande. Dit is een veiligere keuze en geeft meer flexibiliteit.

hellie- schreef op dinsdag 05 augustus 2014 @ 17:56:
Kies ik voor de shared Storage beter voor een cluster shared Storage? Ik had begrepen een domaincontroller niet op een cluster shared Storage te plaatsen omdat de cluster AD nodig heeft om te kunnen starten.

Tot Windows Server 2012 klopte dit, maar sindsdien is er het een en ander veranderd. Je kunt de DC's in principe gewoon op een CSV plaatsen. Ik raad normaal echter nog steeds aan om één DC fysiek te houden, al is het maar op entry level hardware.

hellie- schreef op dinsdag 05 augustus 2014 @ 17:56:
Wat doe ik best op vlak van de netwerkkaarten? Nic teaming met twee netwerkadapters aangesloten op twee verschillende netwerkswitchen?

Dit is een beetje afhankelijk van de hoeveelheid NIC's die je tot je beschikking hebt. Reserveer tenminste één NIC voor de host zelf. De overige NIC's kun je gebruiken voor de VM's. Plaats enkele NIC's in een team en sluit deze inderdaad aan op verschillende fysieke switches. Je kunt voor VM's die meer load genereren ook nog een dedicated NIC team opzetten, om zo de traffic te scheiden van de andere VM's.

Maar goed, dat is allemaal afhankelijk van de totale hoeveelheid NIC's. Bij twee NIC's kun je er één voor de host zelf reserveren en één voor de VM's. Bij drie NIC's kun je er dan twee in een team plaatsen en reserveren voor de VM's. Bij vier NIC's kun je er bijvoorbeeld ook twee in een team plaatsen voor de host zelf, maar je kunt er ook voor kiezen om er dan drie te gebruiken voor de VM's, al dan niet in een team. Et cetera.

[CMD-Snake]

hellie- schreef op dinsdag 05 augustus 2014 @ 17:56:
- twee nodes (elk 2x Intel Xeon E5-2620v2 2.1GHz, 15M Cache)
- per node 2x 146 GB schijven
- per node 64 GB RAM
- shared Storage van 12x 300 GB disks (2,5")

Waarom zoveel storage in je virtualisatie nodes? Kan je niet minder krijgen? In principe draai je enkel Windows Server met Hyper-V erop. Dus zeg dat die installatie ongeveer 20Gb is plus nog toekomstige patches. Dan is 146Gb aan storage misschien een beetje veel. De bulk van je opslag komt toch op je SAN terecht.

Verder wat de anderen zeggen. Ik zou de Hyper-V installaties als server core doen. Eventueel je nieuwe 2012R2 domain controller ook als server core installeren. Je kan die rollen prima aansturen vanuit Server Manager op een Windows 8.1 machine of een andere 2012R2 machine. En het scheelt je weer wat aan overhead.

[Question Mark]

hellie- schreef op dinsdag 05 augustus 2014 @ 17:56:
Van Dell heb ik een voorstel gekregen die past binnen ons budget. Namelijk een Dell Vrtx systeem (cluster in a box) met twee nodes die samen gebruik kunnen maken van de shared storage.

Hoe verhoudt de aanschafprijs van dit platform vs twee reguliere servers en wat storage? Het is een mooi platform, maar je migreert er later weer wat lastiger vanaf. Dat zie ik als een klein nadeel.

[Dennism]

CMD-Snake schreef op woensdag 06 augustus 2014 @ 12:13:
[...]


Waarom zoveel storage in je virtualisatie nodes? Kan je niet minder krijgen? In principe draai je enkel Windows Server met Hyper-V erop. Dus zeg dat die installatie ongeveer 20Gb is plus nog toekomstige patches. Dan is 146Gb aan storage misschien een beetje veel. De bulk van je opslag komt toch op je SAN terecht.

Ik denk dat 2x 146GB het meest prijsbewust is op het moment. Bij iedere nieuwe server die ik tegenkom de laatste tijd is dit qua SAS de minimale raid 1 configuratie.

[Question Mark]

Ach, als je toch gebruik maakt van shared storage kun je net zo goed je hosts laten booten van een lun van het SAN. Dan ben je helemaal geen local storage nodig.

[hans_lenze]

Question Mark schreef op woensdag 06 augustus 2014 @ 14:27:
Ach, als je toch gebruik maakt van shared storage kun je net zo goed je hosts laten booten van een lun van het SAN. Dan ben je helemaal geen local storage nodig.

Helaas heeft VRTX ook een aantal nadelen. Het is in feite een blade chassis waar een PERC 710 of 810 in zit die gedeeld wordt door alle blades (ja, een enkele RAID controller voor de complete shared storage oplossing). Er is een register aanpassing nodig om de shared storage ook als zodanig te gebruiken in een Failover Cluster. Door de afwijkende inrichting is een lokale RAID1 set in je blade erg fijn om op terug te vallen.

Qua prijs concurreert hij erg goed met een stel losse R410's en een MD3 SAS shared storage oplossing. Achterin het VRTX chassis kun je een GB switch plaatsen in plaats van een passthrough module. Deze zou ik wel mee bestellen omdat het al je cluster verkeer binnen het chassis houdt en de switch niet heel veel meer kost dan de passthrough module.

[johnkeates]

Klinkt alsof je steeds verder de vendor lock-in in gaat. Heb je al gekeken naar een oplossing uit losse onderdelen? Alles in een compact voorgeselecteerd doosje is leuk, maar als het niet heel veel geld scheelt en qua performance ook niet zo veel doet ben je misschien beter af met een wat meer vrije setup.

Hyper-V is ook niet de enige hypervisor die je kan krijgen, en qua licentiekosten, onderhoud en toekomstvastheid misschien ook niet de goedkoopste oplossing. Heb je al naar vmWare, XenServer etc. gekeken?

[ Voor 25% gewijzigd door johnkeates op 06-08-2014 16:27 ]

[CMD-Snake]

johnkeates schreef op woensdag 06 augustus 2014 @ 16:26:
Hyper-V is ook niet de enige hypervisor die je kan krijgen, en qua licentiekosten, onderhoud en toekomstvastheid misschien ook niet de goedkoopste oplossing. Heb je al naar vmWare, XenServer etc. gekeken?

Waarom zou Hyper-V niet toekomst vast zijn? Microsoft zet flink in op Hyper-V in de server producten. Daarnaast kan het licentiemodel gunstig uitpakken. Je krijgt namelijk bij elk exemplaar van Windows Server vanaf 2008 virtualisatierechten waardoor je met een licentie meerdere keren een installatie kan activeren. Met de Datacenter Edition zijn die virtualisatierechten zelfs onbeperkt. Met VMWare kan dat niet.

Hyper-V heeft ook standaard alle features al, ook in de gratis versie. VMWare kan gratis, maar je mist dan elke feature zowat. Je bent bij VMWare al zowat verplicht om een Enterprise licentie af te sluiten.

[Dennism]

johnkeates schreef op woensdag 06 augustus 2014 @ 16:26:
Klinkt alsof je steeds verder de vendor lock-in in gaat. Heb je al gekeken naar een oplossing uit losse onderdelen? Alles in een compact voorgeselecteerd doosje is leuk, maar als het niet heel veel geld scheelt en qua performance ook niet zo veel doet ben je misschien beter af met een wat meer vrije setup.

Hyper-V is ook niet de enige hypervisor die je kan krijgen, en qua licentiekosten, onderhoud en toekomstvastheid misschien ook niet de goedkoopste oplossing. Heb je al naar vmWare, XenServer etc. gekeken?

Ik zou zeker rond shoppen bij de verschillende aanbieders/fabrikanten, zeker ook omdat je daarmee scherpere aanbiedingen van anderen kan forceren, maar in het geval van TS zie ik het "steeds verder de vendor lock-in in gaan" niet zo.

Voor zover ik uit de startpost kan afleiden heeft TS nu een Supermicro server die na 8 jaar vervangen moet worden en heeft hij een aanbieding liggen voor een Dell cluster in a box. Stel hij kiest voor deze aanbieding na grondig onderzoek dan zie ik niet in hoe dit een vendor lock-in betreft, daar het bedrijf van TS ervoor lijkt te kiezen om hardware langer dan de afschrijvingstermijn in te zetten en daarna te compleet te vervangen. Bij een complete vervanging over x jaar kan TS dus in dit geval weet een zelfde traject in gaan en wederom gewoon alles vervangen zonder dat hij vast zit aan Dell.

[CAPSLOCK2000]

Hoeveel VMs wil je uiteindelijk draaien en hoeveel RAM wil je aan iedere VM toekennen?

[Question Mark]

CMD-Snake schreef op woensdag 06 augustus 2014 @ 16:54:
[...]
Je krijgt namelijk bij elk exemplaar van Windows Server vanaf 2008 virtualisatierechten waardoor je met een licentie meerdere keren een installatie kan activeren. Met de Datacenter Edition zijn die virtualisatierechten zelfs onbeperkt. Met VMWare kan dat niet.

Dat misverstand hoor ik wel vaker hier, maar dat virtualisatierecht is onafhankelijk van de gebruikte hypervisor.

If a server is running ESX/ESXi as the virtualization technology, then Windows Server is not deployed as a host operating system in the physical OSE. However, a license is required for every physical processor on the server and every instance running in a virtual OSE should be appropriately licensed (Standard edition will allow up to two virtual instances with each license and Datacenter edition will allow an unlimited number of virtual instances with each license).

Bron: Licensing Windows Server 2012 for use with virtualization technologies

hans_lenze schreef op woensdag 06 augustus 2014 @ 16:19:
[...]
Helaas heeft VRTX ook een aantal nadelen.

Thx, nuttige info!

johnkeates schreef op woensdag 06 augustus 2014 @ 16:26:
Klinkt alsof je steeds verder de vendor lock-in in gaat. Heb je al gekeken naar een oplossing uit losse onderdelen? Alles in een compact voorgeselecteerd doosje is leuk, maar als het niet heel veel geld scheelt en qua performance ook niet zo veel doet ben je misschien beter af met een wat meer vrije setup.

Dit is ook mijn punt een beetje. Als het qua kosten niet zo veel scheelt zou ik eerst nog eens goed overwegen of "losse componenten" geen betere keuze is. Dat maakt hardware uitbreiding (bv. extra host) of het vervangen van een systeem wat eenvoudiger in de toekomst.

[hellie-]

Alvast iedereen bedankt voor het advies en tips. Ik kan hier zeker al wat mee.
Om op de vragen te antwoorden:

@DiedX - de shared storage zit in de box zelf. Alles in een.

@Arie - 8 Nic's ter beschikking.

@CMD-Snake - die storage van 2x 146 GB was het minimum

@Question Mark - ik heb Dell ook gevraagd naar een klassieke opstelling (2 poweredge servers + SAN). Het kwam erop neer volgens Dell dat dit duurder ging uitkomen en ik kon ook verstaan dat ze toch liever het Dell VRTX systeem wouden verkopen ipv de klassieke opstelling. Op het VRTX systeem konden ze ook een betere prijs geven.

@hans_lenze - ik had Dell gevraagd naar een systeem dat zoveel als mogelijk redundant is uitgevoerd. Uiteindelijk is de RAID controller en backplane niet redundant. Op de vraag om een tweede RAID-controller in te bouwen zei Dell dat dit kon maar dat je dan geen gebruik kon maken van de cache op de RAID-controller. Het gaat om een PERC H710P Internal RAID Controller 1GB NVRAM for PowerEdge VRTX die in het systeem ingebouwd zit. Ipv een passthrough module zit er een PowerEdge VRTX 1Gb Switch Module Internal 16 ports to External 8 ports ingebouwd.

@johnkeates - wat betreft de verdor lock-in maak ik me niet zoveel zorgen. Bedoeling is om de server weer "op te gebruiken" en na X aantal jaar te vervangen door weer geheel iets anders of eventueel terug bij Dell. Betreft de hypervisor kiezen we echt wel voor Hyper-V omdat het om een educatieve omgeving gaat en we al een overeenkomst hebben met Microsoft naar licenties toe.

@Dennism - we hebben ook prijs gevraagd aan HP en onze huidige leverancier van SuperMicro materiaal. Beiden konden geen systeem samenstellen dat in de buurt kwam van het systeem van Dell. Onze huidige leverancier kwam in de buurt met een QUANTA S810-X52LR Cluster-in-box server maar de shared storage was op basis van Storage Spaces. Dat was ook een competitieve prijs maar ik ben nog meer voorstander van een HW Raid-controller en met deze controller kwam het dan duurder uit.

@CAPSLOCK2000 - ongeveer een 8 tal VM's met 4GB RAM per VM rekening houdend met toekomstige noden.

Rekening houdend met de tips zou ik het volgende doen:

1. Van beide nodes de 2x 146 GB schijven configureren als RAID 1
2. Op deze Raid 1 configuratie van beide nodes de hypervisor (enkel de server core) installeren
3. Daarna de VM's aanmaken en opslaan op deze RAID 1 configuratie
4. Huidige fysieke server virtualiseren, tweede VM als DC en alle rollen overzetten van de oude DC naar de nieuwe DC en daarna de oude DC uitfaseren.
5. De 12x 300 GB disk configureren als Raid 10
6. De VHD’s van de verschillende VM's aanmaken en plaatsen op de shares storage
7. Twee domain-controllers inrichten (eventueel nog een DC op een aparte fysieke server).
8. 1 NIC voor de host zelf, de rest in team plaatsen voor de overige VM's aangesloten op verschillende switchen.

[hans_lenze]

hellie- schreef op donderdag 07 augustus 2014 @ 09:42:
Rekening houdend met de tips zou ik het volgende doen:

1. Van beide nodes de 2x 146 GB schijven configureren als RAID 1
2. Op deze Raid 1 configuratie van beide nodes de hypervisor (enkel de server core) installeren
3. Daarna de VM's aanmaken en opslaan op deze RAID 1 configuratie
4. Huidige fysieke server virtualiseren, tweede VM als DC en alle rollen overzetten van de oude DC naar de nieuwe DC en daarna de oude DC uitfaseren.
5. De 12x 300 GB disk configureren als Raid 10
6. De VHD’s van de verschillende VM's aanmaken en plaatsen op de shares storage
7. Twee domain-controllers inrichten (eventueel nog een DC op een aparte fysieke server).
8. 1 NIC voor de host zelf, de rest in team plaatsen voor de overige VM's aangesloten op verschillende switchen.

1. RAID1 inrichten op de lokale 146GB schijven
2. Hypervisor op de RAID1 set zetten
3. Netwerk configuratie netjes maken icm NIC teaming en de juiste Team Interfaces (met VLAN tags) naar de VRTX switch toe en van de VRTX switch naar buiten
4. Updates binnenhalen en installeren
5. Nieuwe domain controller bouwen op de RAID1 set op node1
6. Tweede domain controller bouwen en op de node2 RAID1 plaatsen
7. RAID inrichten op de shared storage en deze volumes presenteren aan de nodes
8. Beide nodes lid maken van het domein en Failover Clustering inrichten
9. Nogmaals alle updates binnenhalen en installeren
10. VMs aanmaken met de Failover Cluster manager (NIET met de Hyper-V manager) en de volledige VM op shared storage zetten, configuratie en VHD. Fysieke server virtualiseren, migreren, whatever.

1 NIC reserveren voor de host kan, maar is misschien niet helemaal nuttig. Er zit een quad GBit port mezzanine kaart in de blade en het verkeer loopt allemaal over je ene VRTX switch. Je zou twee van de NICs kunnen teamen voor management en cluster verkeer en twee NICs kunnen teamen voor VM verkeer. Voordeel hiervan is dat een live migration wat sneller gaat en je management interface ook nog te bereiken is als die ene poort van de VRTX switch bokt. LACP is niet persee nodig voor de verbinding tussen node en VRTX switch. Server 2012 doet zelf aan multipathing en kan een Team prima gebruiken in switch independent modus. Vanaf de VRTX switch naar de rest van je netwerk infrastructuur is een LACP wel weer nuttig als uplink met grotere bandbreedte dan een enkele gigabit verbinding.

[Question Mark]

Topicstarter, hoe ga je je backup (lees disaster recovery) eigenlijk inregelen in je nieuwe situatie?

Zeker door gebruik te maken van virtualisatie en ook door shared storage (afhankelijk van de opties van die laatste) kunnen je backup strategie en methodes aardig veranderen.

[mbaltus]

Je kunt als alternatief (met meer redundantie in de controller) nog kijken naar een HP MSA2040 SAS model met dual controller. Je kunt dan de servers via een SAS HBA rechtstreeks aansluiten (tot 4 servers met een verbinding naar beide controllers). De servers kunnen dan ook weer van Dell zijn. De MSA2040 kan overweg met zowel Hyper-V als VMware.
Het voordeel is dat je een SAS oplossing gebruikt en dus geen switches (iSCSI of FC) nodig hebt, maar wel en dual controller en dual verbinding per server hebt. En je kunt nog verder uitbreiden (tot 4 nodes in plaats van 2).

[CAPSLOCK2000]

Ik vind een dual-raid-controller in de hosts overkill. Daar heb je al een tweede machine voor. Als die raid-controller stuk gaat zullen je VM's wel crashen en herstart moeten worden op de andere machine, maar voor de meeste situaties lijkt me dat een acceptabel risico.

[hans_lenze]

CAPSLOCK2000 schreef op donderdag 07 augustus 2014 @ 16:55:
Ik vind een dual-raid-controller in de hosts overkill. Daar heb je al een tweede machine voor. Als die raid-controller stuk gaat zullen je VM's wel crashen en herstart moeten worden op de andere machine, maar voor de meeste situaties lijkt me dat een acceptabel risico.

Het gaat niet om een dual RAID controller in de hosts. Het gaat om één controller in de blade en één controller voor de shared storage.

In het bovenstaande voorbeeld dus drie in totaal (één simpele controller in elke host en één 'Shared PERC 710' of 'Shared PERC 8' op een shared SAS bus voor de shared storage)

Als die ene Shared PERC stuk gaat, gaat alles uit...

[Question Mark]

Het is ook even de vraag of uit de requirements blijkt dat TS uberhaubt dedicated shared storage nodig heeft. Da's hardstikke leuk voor HA, maar wie zegt dat TS dat ook nodig heeft.

Waarom niet veel local storage in de nodes en daar een VSA op plaatsen? Die VSA's laat je mirroren met elkaar en je hebt storage voor je VM's die ook nog eens redudant is.