Virtualisatie server voor (Win 10 dev) werkstations

[GeertvanHorrik]

Wat wil je doen met je nieuwe systeem?

Ik wil een 5-tal (virtuele) desktop omgevingen (windows 10) voor development inrichten. Momenteel heb ik een zelf samengestelde "tower server" uit 2013 die ik daarvoor gebruik (is nog steeds erg snel, maar ik wil nu meer mensen uit mijn team op die server laten werken). Als hypervisor wil ik Windows Server Hyper-V gaan gebruiken (doe ik nu ook, bevalt goed).

Wat mag het systeem gaan kosten?

Het budget is ongeveer 7k (maar daar kan nog van afgeweken worden mochten er goede argumenten zijn).

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?

Nee. Ik wil de oude server alleen als build server / build agent gaan inrichten zodat die ook sneller worden.

Wat denk je allemaal nodig te hebben?

Voor het compileren hebben we supersnelle disk access nodig. Ik heb naar een aantal kaarten gekeken, maar veiligheid is voor mij minder belangrijk dan snelheid (ik maar backups & zorg dat de machines via chocolatey weer snel in de lucht zijn mochten ze stuk zijn). Er is ongeveer 150 gb / werkstation nodig, dus de schijf moet minimaal 1 TB zijn.

Videokaart lijkt me niet heel erg van belang, maar wellicht dat er toch redenen zijn om dit te doen.

Heb je nog bepaalde (merk)voorkeuren?

Neen. Ik neig nu naar een rack server (met actieve koeling) zodat ik deze op kan bergen op de zolder. Ik heb gekeken naar Dell en HP, maar er zijn zo extreem veel customization options dat ik hoop dat anderen hier ervaring mee hebben.

Heb je nog bepaalde eisen/wensen?

Geen harde eisen voor nu, behalve dat de machine bloedsnel moet zijn.

Ga je overklokken?

Geen idee of dat verstandig is. De server zal dag en nacht aan staan.

Wat verwacht je van ons?[i]

Ik hoop dat andere mensen ook ervaring hebben met de aanschaf van een dergelijke server en kunnen helpen met de grootste vraagstukken:

1. Dell, HP of iets anders?
2. Wat is de beste schijf voor VM's die veel snelle korte IO acties hebben (compileren)?
3. Wat zijn de voordelen van een videokaart op zulke systemen? We loggen in via RDP, maar wellicht dat een videokaart toch van toegevoegde waarde kan zijn?
4. Ik sta zelfs open voor het aanschaffen van 2 (goedkopere) servers mocht dat beter zijn voor de prestaties
5. Zijn er kasten te koop met actieve koeling? Ik heb gezocht, maar kon alleen met ventilatie vinden, maar mij lijkt airco beter voor klimaat beheersing? Het mag een laag server rack zijn (er zullen max 2 - 3 servers in komen).

Bedankt!

[ Voor 4% gewijzigd door GeertvanHorrik op 12-07-2018 08:26 . Reden: Punt 5 toegevoegd ]

[Sandor_Clegane]

GeertvanHorrik schreef op donderdag 12 juli 2018 @ 08:24:
snip

Wat wil je precies bereiken? Waarom niet gewoon ieder zijn eigen fysieke machine met version control? Iedereen zal toch een client moeten hebben niet?

Wat ga je draaien? Visual Studio? Dan zou ik gewoon een Terminal Server installeren en niet 5 losse Windows machines. Wat jij wilt is een VDI oplossing, daar heb je speciale videokaarten (Nvidia Grid) e.d. voor nodig. Of je moet een Terminal Server met RemoteFX installeren.

Wat is precies je doel?

[GeertvanHorrik]

Momenteel heb ik deze server volledig voor mezelf. Daar draai ik mijn eigen dev omgeving op zodat ik deze altijd kan bereiken via RDP en deze super snel is (ongeacht de client waarmee ik werk).

We willen juist af van iedereen zijn laptop / desktop / etc omdat dan iedereen zijn vs updates zelf moet draaien (doen ze niet allemaal even netjes ;-) ). Ik wil dat bijv. 's nachts gaan automatiseren voor iedereen.

We willen VS, maar ook ieder zijn eigen checkouts van source (het gaat om ongeveer 80 repositories).

Doel is: dev werkplekken realiseren (per gebruiker) die snel zijn zonder dat we bijv. afhankelijk zijn van trage laptops die sommige devs hebben of andere onzinnige issues omdat ze VS niet up-to-date houden, etc.

[GeertvanHorrik]

Even e.e.a. opgezocht over VDI. Is dat niet enorm duur / management overkill voor 4 a 5 werkstations? Of mis ik dan de clue en valt het mee?

[MAX3400]

1. Dell, HP of iets anders?
Wat mag het kosten als iets defect is? Een all-in-one machine gekocht bij Dell of HP voorzie je van support-contracten en de volgende paar uur (of volgende dag) komt er een monteur met onderdelen. Let wel, dit soort contracten kosten tussen de 300 en 1500 Euro per jaar afhankelijk van jouw wens aan support.

2. Wat is de beste schijf voor VM's die veel snelle korte IO acties hebben (compileren)?
Wat is je backup-strategie en RTO / RPO? Je kan een set 2280 NVME-drives in RAID0 plaatsen en dan lach je je helemaal ziek. Maar je kan ook 1x pricewatch: Intel DC P3600 PCIe 3.0 x4 2TB of 2x pricewatch: Intel Optane SSD 905P PCI-e 960GB inzetten als VM-storage en dan lach je je ook ziek.

Ik lees voorlopig 0 workload / metingen van je huidige omgeving; juist niet omdat je aangeeft dat alles nog steeds vloeiend / vlekkeloos reageert? Qua performance voor 5 VM's raad ik nu dus echt overkill storage aan; kom maar met je metingen en eisen

3. Wat zijn de voordelen van een videokaart op zulke systemen? We loggen in via RDP, maar wellicht dat een videokaart toch van toegevoegde waarde kan zijn?
+

Sandor_Clegane schreef op donderdag 12 juli 2018 @ 13:40:
[...]
Wat jij wilt is een VDI oplossing, daar heb je speciale videokaarten (Nvidia Grid) e.d. voor nodig.

Geen idee waarom er VDI + GPU wordt aangeraden? Ik draai voor klanten een paar duizend VDI's (stateful & stateless) zonder enige dedicated GPU. Inclusief "zwaardere" applicaties zoals AutoCAD Viewer, GIS, Visual Studio, etc. 0 klachten qua performance op beeld/refresh.

Alles valt (of staat) met de kennis van inrichten, sizing, optimalisaties (zowel host als guest), bandbreedte / latency, protocol, etc.

[ Voor 6% gewijzigd door MAX3400 op 12-07-2018 16:47 ]

[CH4OS]

Wat voor development hebben we het over? Web development doe ik bijvoorbeeld liever op een Linux machine. Voordeel dat dat makkelijk te automatiseren is. Van uitrollen (bijvoorbeeld met Vagrant) tot installeren van de nodige tools en programma's om aan de slag te kunnen (Ansible).

Zal Windows vast ook wel een variant voor hebben, daar heb ik geen ervaring mee of kennis van.

[Sandor_Clegane]

Met een Terminal Server zou dat wel moeten werken.

Ik was in de veronderstelling dat als je HW acceleratie in Hyper-V wilt hebben in je clients je een ondersteunde grafische kaart moet hebben, een Quadro of iets dergelijks. Als dat niet zo is, dan scheelt dat alleen maar natuurlijk.

[MAX3400]

Sandor_Clegane schreef op donderdag 12 juli 2018 @ 17:09:
Met een Terminal Server zou dat wel moeten werken.

Ik was in de veronderstelling dat als je HW acceleratie in Hyper-V wilt hebben in je clients je een ondersteunde grafische kaart moet hebben, een Quadro of iets dergelijks. Als dat niet zo is, dan scheelt dat alleen maar natuurlijk.

Ik lees nergens dat hardware-acceleratie nodig is? Verder zie ik technisch geen verschil tussen een terminal server of een andere machine als het gaat over het toekennen van (dedicated) resources. Zelfs een relatief dom kaartje als een GTX960 kan je via RemoteFX mappen naar een VM op Hyper-V onder Windows 10.

Oftewel, misschien dat ik iets mis in jouw posts maar ik zie dagelijks weinig/geen nut voor een (specialistische) GPU in een hypervisor host.

[Glamourt]

Volgens mij snap ik het niet helemaal, waarom wil je 5 virtuele desktops op een server laten draaien? Dan kan je toch veel beter 5 losse desktops kopen en koppelen aan een (...)Server als ze niet volledige rechten mogen hebben of dergelijke.. Dat lijkt mij goedkoper,

Een systeem voor development kost pak hem beet 800 Euro. Dan heb je nog 3000 euro over om een klein servertje te kopen. Stop een 16 Core met 64GB Werkgeheugen in het systeem en je kan er weer even mee vooruit.

[ Voor 3% gewijzigd door Glamourt op 12-07-2018 17:57 ]

[MAX3400]

Glamourt schreef op donderdag 12 juli 2018 @ 17:54:
Volgens mij snap ik het niet helemaal, waarom wil je 5 virtuele desktops op een server laten draaien? Dan kan je toch veel beter 5 losse desktops kopen en koppelen aan een (...)Server als ze niet volledige rechten mogen hebben of dergelijke.. Dat lijkt mij goedkoper,

Ik begrijp je niet (en zeker je laastste zin niet); de topicstart beschrijft duidelijk dat de gebruikers laks zijn met updaten en dat @GeertvanHorrik dat dus centraal wil doen. Hierdoor kan een virtuele omgeving een oplossing zijn alhoewel daar nog wel iets meer bij komt kijken dan wat er zo even geschetst wordt in de posts van topicstarter.

Een systeem voor development kost pak hem beet 800 Euro. Dan heb je nog 3000 euro over om een klein servertje te kopen. Stop een 16 Core met 64GB Werkgeheugen in het systeem en je kan er weer even mee vooruit.

Dus je geeft iedereen een systeem van 800 Euro en waarom heb je dan 16 cores en 64GB RAM in een centrale machine nodig? Klinkt heel erg als kapitaalvernietiging.


Ik verwacht dat topicstarter een "template VM" wil maken, deze 1x wil updaten per cyclus en dan in "aparte VM's" weer ter beschikking wil stellen aan de medewerkers. Hierdoor heeft iedereen altijd dezelfde versies software en is er geen discussie meer waarom DLL A bij de ene persoon wel werkt en de andere niet.

Omgekeerd; de optie voor "gewone werkstations" op basis van MDT (of duurder SCCM) is natuurlijk ook valide om het update-beleid (wat nergens uitgesproken is) te handhaven.

[Glamourt]

Omdat meneer een deticated server wilt wat ik eruit begrijp en een server met 16 cores / 64GB werkgeheugen lijkt mij krachtig genoeg om vijf man op in laten loggen. Zo dat je de nodige rechten kan toekennen of updates aan elke cliënt kan uitrollen.

Kan je er gelijk een leuke file server aan koppelen, email client via exchange server ect.

[Sandor_Clegane]

MAX3400 schreef op donderdag 12 juli 2018 @ 17:16:
[...]

Ik lees nergens dat hardware-acceleratie nodig is? Verder zie ik technisch geen verschil tussen een terminal server of een andere machine als het gaat over het toekennen van (dedicated) resources. Zelfs een relatief dom kaartje als een GTX960 kan je via RemoteFX mappen naar een VM op Hyper-V onder Windows 10.

Oftewel, misschien dat ik iets mis in jouw posts maar ik zie dagelijks weinig/geen nut voor een (specialistische) GPU in een hypervisor host.

Ah, ik dacht dat je daar een Quadro voor nodig zou hebben, aangezien Nvidia zo moeilijk doet over het doorgeven van consumenten GPU's op Linux. Assumptions enzo.

Oh en voor de TS, een Terminal Server zal denk ik al wel werken voor je. Gewoon met zijn vijven tegelijk inloggen op de server moet prima werken.

Ik gebruik zelf Visual Studio via RDP op een Linux machine en dat is prima te doen.

[ Voor 13% gewijzigd door Sandor_Clegane op 12-07-2018 22:58 ]

[sig69]

Ik lees als grootste speerpunt voor een centrale server Visual Studio updates. Als je geld wil verbranden is dat jouw keuze natuurlijk, maar ik ben in 15 jaar development misschien 1 of 2 keer tegen problemen opgelopen op dit vlak, en dat is heel lang geleden. De update flow van VS is heel prima. En als je die update écht nodig hebt, nou fuck it, dan installeer je die toch?
Plus dat er nog bij komt dat als je via rdp werkt de echte "snappines" weg is. Als mijn werkgever mij zou verplichten via rdp te werken ben ik weg.
Voor mensen die op een trage laptop/werkplek werken zal het vast een verbetering zijn, maar voor development verslaat niets gewoon een goede workstation.
Mijn mening en ervaring, doe er mee wat je wil.

[GeertvanHorrik]

Bedankt allemaal voor de info!

1. Het lijkt er voor nu op dat VDI af valt?

2. We willen Visual Studio & Windows (we bouwen WPF apps en mogelijk web dev, maar ook dat gebeurd gewoon onder windows met worst case Linux sub system)

3. Updates hoeft niet te gebeuren via een soort service center. We zullen voornamelijk werken met chocolatey scripts, en als een desktop geupdated moet worden zullen we waarschijnlijk gewoon nieuwe aanmaken en initialiseren via chocolatey. Het gaat uiteraard niet alleen over Visual Studio, ook Git (regelmatig security leaks), 7-zip, etc worden allemaal echt niet bijgehouden door de devs. Dat is eenmalig installeren en het werkt...

4. Momenteel heb ik 4 intel SSD op raid 0 (let wel: 5 jaar oud), daar draai ik build server + build agent + dev machine op. Dat gaat allemaal heel goed. Ik begrijp de argumenten van "snappiness", maar er zijn maar weinig laptops die een goede virtuele omgeving matchen. Met de virtuele machines is de investering aan onze zijde (devs all over de world, die gaan we geen goede hardware toesturen, die bieden we liever centraal iets aan).

[DaMoUsYs]

Ik zou zeggen pak gewoon 1 RDS Server, of moeten het fysiek gescheiden machines zijn ?
Met een aantal SSD's of Dell BOSS disks in RAID 0 zou dat rete snel moeten zijn

[sig69]

en als een desktop geupdated moet worden zullen we waarschijnlijk gewoon nieuwe aanmaken en initialiseren via chocolatey

Denk er wel even over na waar je settings van je developers laat dan. Iedere developer heeft zijn eigen voorkeuren. Als je mijn settings zou verwijderen zou ik HEEL zacht gezegd niet blij zijn...
En wat doe je met plugins? De ene dev zal plugin x fijn vinden, de ander plugin y.

[ Voor 11% gewijzigd door sig69 op 12-07-2018 23:35 ]

[GeertvanHorrik]

DaMoUsYs schreef op donderdag 12 juli 2018 @ 23:28:
Ik zou zeggen pak gewoon 1 RDS Server, of moeten het fysiek gescheiden machines zijn ?

Nee hoor, bij voorkeur 1 grote machine die supersnel is waar we eenvoudig bv. een 6e aan toe kunnen voegen.

sig69 schreef op donderdag 12 juli 2018 @ 23:31:
[...]

Denk er wel even over na waar je settings van je developers laat dan. Iedere developer heeft zijn eigen voorkeuren. Als je mijn settings zou verwijderen zou ik HEEL zacht gezegd niet blij zijn...
En wat doe je met plugins? De ene dev zal plugin x fijn vinden, de ander plugin y.

Visual Studio 2017 synchroniseert de settings van de gebruikers, inclusief plugins dus dat lijkt me geen probleem. Ik snap dat developers graag hun eigen ding doen (ik ben zelf ook developer),
maar uiteindelijk moeten we ook coding standards, etc volgen. Het is vooral het idee van verlies van vrijheid dat veel developers pijn doet, maar daarin voorziet VS dus prima tegenwoordig.

[GeertvanHorrik]

MAX3400 schreef op donderdag 12 juli 2018 @ 18:09:
Ik verwacht dat topicstarter een "template VM" wil maken, deze 1x wil updaten per cyclus en dan in "aparte VM's" weer ter beschikking wil stellen aan de medewerkers. Hierdoor heeft iedereen altijd dezelfde versies software en is er geen discussie meer waarom DLL A bij de ene persoon wel werkt en de andere niet.

Omgekeerd; de optie voor "gewone werkstations" op basis van MDT (of duurder SCCM) is natuurlijk ook valide om het update-beleid (wat nergens uitgesproken is) te handhaven.

Exact, ik wil een template VM (of sterker nog, een template chocolatey / boxstarter script) maken en deze bijv. na patch Tuesday (iedere maand) opnieuw uitrollen. De reden waarom we geen "gewone" werkstations hebben is omdat iedereen remote werkt en we flexibel willen zijn in mensen die werken. Kortom, je werkt voor ons, dan krijg je een remote machine en hoef je zelf geen dure laptop / whatever aan te schaffen (en zitten wij niet met "trage mensen" omdat ze hun laptop niet willen updaten).

[MAX3400]

GeertvanHorrik schreef op maandag 16 juli 2018 @ 14:24:
[...]


Exact, ik wil een template VM (of sterker nog, een template chocolatey / boxstarter script) maken en deze bijv. na patch Tuesday (iedere maand) opnieuw uitrollen. De reden waarom we geen "gewone" werkstations hebben is omdat iedereen remote werkt en we flexibel willen zijn in mensen die werken. Kortom, je werkt voor ons, dan krijg je een remote machine en hoef je zelf geen dure laptop / whatever aan te schaffen (en zitten wij niet met "trage mensen" omdat ze hun laptop niet willen updaten).

In dit geval, maar even snel & mobiel gepost: pak de requirements qua CPU&RAM voor 1 virtuele machine, vermenigvuldig dat met (N+3) en dan heb je de basale server config. Ik las al dat je "backup" had dus lekker een paar pro-sumer SSD's in RAID0 in het chassis, VM's daarop "uitrollen" en klaar.

Overleg/kijk wel even HEEL goed naar je licensing; er is sinds eind 2016 het e.e.a. veranderd in keys, hypervisors, CAL's etc.