Server voor game virtualisatie

[Ugraded]

Dag medetweakers,

Momenteel ben ik plannen aan het maken voor een server die dienst moet doen als virtualisatie/game server (zelfhosted Geforce Now).

Het idee is 4 hyper-v VM's in Windows server te draaien, elk met een "dedicated" GPU (vGPU), minimaal quad core, 16GB RAM en een eigen SSD. Deze 4 VM's zullen d.m.v. Moonlight en Sunshine te benaderen zijn, en gebruikt worden voor basic (1080p) gaming. Het idee is dat deze niet alleen lokaal, maar ook vanuit andere locaties (VPN?) te benaderen zijn.

Thuis beschik ik over KPN Superfiber 1, 1Gb/s en lage latency.
Het draaien van 4 game clients tegelijkertijd en deze remote benaderen zou in theorie een redelijk speelbare ervaring moeten zijn.


Wat mag het systeem gaan kosten?
Het systeem zal hobbymatig gebruikt worden. Geen duidelijk minimum en maximum. Prijs van mijn lijstje is wel de richtprijs.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Wees specifiek en noem merk en model
Dit heb ik!

Ik heb via Aliexpress een Xeon 2697 V4 weten te bemachtigen (30 Euro).
Ik heb voor deze CPU gekozen met oog op de "redelijke" single core performance en het aantal cores (18).
Met deze CPU kan ik 4 cores en 4 threads toewijzen aan elke VM, en heb ik 2C/2T overhead voor Windows Server zelf.

Deze CPU heb ik in een Gigabyte GA-X99P-SLI gedrukt.

Ik heb ook nog een Nvidia NVS 290 liggen. Een erg outdated/trade GPU, deze zal dan ook alleen dienst doen als video output voor Windows Server. Om de twee PCI-e x16 lanes niet in de weg te zitten heb ik de NVS 290 aan een PCI-e x1 slot gekoppeld d.m.v. een PCI-e x16 > PCI-e x1 Riser card (met Sata Aansluiting voor extra power).

Deze 3 onderdelen wil ik inbouwen in een uitvoering: Fractal Design Pop Silent White TG Clear die ik toevallig ook nog heb liggen (weinig geluid, goede airflow).


Wat denk je allemaal nodig te hebben?
Een "gaming" videokaart die vGPU ondersteund is wel gewenst. De GTX 1000/RTX 2000 serie zijn volgens reddit (https://www.reddit.com/r/...u_to_use_in_multiple_vms/) de enige gaming GPU's die vGPU d.m.v. een hack supporten. Om de prijs een beetje binnen de perken te houden neig ik nu naar 2 GTX 1080ti's, die dus over 4 VM's verdeeld gaan worden (een halve 1080 ti met 5,5GB VRAM per VM). Ik schat dat twee tweedehands 1080ti's ongeveer 300 euro zullen kosten.

Qua RAM dacht ik aan quad channel 64GB 2400Mhz ram. 15GB toewijzen per VM en 4GB overhouden voor Windows Server? Het is mij wel een beetje onduidelijk welk RAM geheugen ge-support worden door het mobo en de Xeon.

Opslag tja, 4x een goedkope 256GB Sata SSD (1 per VM) en een goedkope 64GB Sata SSD voor Windows Server. Verwacht dat dit niet al teveel zal kosten.

De voeding koop ik liever nieuw. Dit met oog op betrouwbaarheid en veiligheid. Aangezien de server 24/7 zal draaien. Geen idee wat aangeraden wordt voor een server zoals ik die in gedachten heb.


Wat verwacht je van ons?[i]
Ik ben redelijk nieuw op dit gebied. Controle of ik iets over het hoofd gezien heb en suggesties voor eventuele aanpassingen/onderdelen zouden erg welkom zijn !

Alvast bedankt voor de hulp

[maie]

Ik denk dat je op de goede weg bent.

Ik heb dit zelf een keer gedaan op basis van VMware vSphere met een Nvidia Tesla M10 kaart en 2x een Intel Xeon 2680v4 CPU. Hiervoor maakte ik gebruik van een Dell PowerEdge R730xd server

Hierbij heb ik de kaart onderverdeeld over 5 virtuele machines voor het draaien van een simpele (voornamelijk CPU intensive) game.

Met een Tesla kaart was dan geen hack voor vGPU nodig, maar het is wel een kaart met een stuk lagere performance. Het lijkt me dus inderdaad slim om voor een gaming kaart te gaan.

Ik raad wel aan om eerst klein te beginnen, kijk of het qua latency en speelbaarheid wel voldoet voor je een grote investering gaat doen. In mijn situatie was de responsiveness niet echt geweldig.

[Ugraded]

maie schreef op maandag 24 maart 2025 @ 11:57:
Ik denk dat je op de goede weg bent.

Ik heb dit zelf een keer gedaan op basis van VMware vSphere met een Nvidia Tesla M10 kaart en 2x een Intel Xeon 2680v4 CPU. Hiervoor maakte ik gebruik van een Dell PowerEdge R730xd server

Hierbij heb ik de kaart onderverdeeld over 5 virtuele machines voor het draaien van een simpele (voornamelijk CPU intensive) game.

Met een Tesla kaart was dan geen hack voor vGPU nodig, maar het is wel een kaart met een stuk lagere performance. Het lijkt me dus inderdaad slim om voor een gaming kaart te gaan.

Ik raad wel aan om eerst klein te beginnen, kijk of het qua latency en speelbaarheid wel voldoet voor je een grote investering gaat doen. In mijn situatie was de responsiveness niet echt geweldig.

Bedankt voor je reactie!

Ik heb eerst ook naar Tesla/Quadro kaarten gekeken. De game performance van oudere kaarten is vrij bagger. De iets nieuwere modellen met meer VRAM zijn door de AI hype zwaar overpriced.

De 1080ti is voor 150 Euro in normale builds al een beest qua prijs/performance. Ik denk niet dat ik een alternatief onder de 300 Euro kan vinden die betere game performance bied dan 2 1080ti's (verdeeld over 4 VM's).

Ik heb recent een nieuwe PC gebouwd en benader deze wel eens via Moonlight. De ervaring omtrent latency en quality is toch best redelijk. Hier komt ook het idee van de virtualisatie server vandaan .

[Jazzy]

Ook ik zou je aanraden om eerst eens een proof of concept te maken met hardware die je al hebt en zo'n 1050ti. Dus inclusief Hyper-V en toewijzen van een vGPU en benaderen van die VM met Moonlight. Dan weet je in ieder geval of dat goed werkt.

Qua voorgestelde configuratie begin je nu met een stokoude CPU. Die 18 cores lijken mooi maar een moderne Ryzen 5 is al sneller en verbruikt de helft van het vermogen.

Als je je proof of concept hebt, kijk dan ook eens naar de IOPs zodat je kunt bepalen of je echt wel een losse SSD voor elke VM nodig hebt. Kans is groot namelijk dat je die performance ook nog wel met een gedeelde SSD kunt halen.

Doe sowieso je hardware even in een Pricewatch tabel, maakt het voor ons een stuk overzichtelijker.

[ Voor 11% gewijzigd door Jazzy op 24-03-2025 12:21 ]

[youridv1]

@Jazzy Maar een Ryzen 5 heeft maar 6 cores en 12 threads. Gespreid over 4 clients betekent dat ~3 threads per VM en dan reken je de host nog niet.
Dus dan ga je 16 virtuele cores in de VM draaien op ~10 werkelijke logische cores. Dat gaat niet goed icm gamen.
Daarbij was die Xeon 30 euro.
En op die Xeon met zijn 36 threads kun je iedere VM 8 threads geven waar een dedicated logische core achter zit en heb je er nog 4 over voor de host.

Als je je proof of concept hebt, kijk dan ook eens naar de IOPs zodat je kunt bepalen of je echt wel een losse SSD voor elke VM nodig hebt. Kans is groot namelijk dat je die performance ook nog wel met een gedeelde SSD kunt halen.

Ik durf mijn hand ervoor in het vuur te steken dat dit op een redelijk moderne NVMe drive makkelijk gaat. Mijn 990 Pro heb ik nog nooit boven de 10% load gezien tijdens het gamen/games downloaden/algemeen Windows gebruik.

Volgensmij heeft een vriend van mij vGPU op een 3090 aan de praat gekregen terwijl die ook nog zelf op de host op die kaart gamet. Moet ik even navragen. Dus dan draai je 2 games op 1 kaart.

[ Voor 67% gewijzigd door youridv1 op 24-03-2025 12:36 ]

[Ugraded]

Jazzy schreef op maandag 24 maart 2025 @ 12:13:
Ook ik zou je aanraden om eerst eens een proof of concept te maken met hardware die je al hebt en zo'n 1050ti. Dus inclusief Hyper-V en toewijzen van een vGPU en benaderen van die VM met Moonlight. Dan weet je in ieder geval of dat goed werkt.

Qua voorgestelde configuratie begin je nu met een stokoude CPU. Die 18 cores lijken mooi maar een moderne Ryzen 5 is al sneller en verbruikt de helft van het vermogen.

Als je je proof of concept hebt, kijk dan ook eens naar de IOPs zodat je kunt bepalen of je echt wel een losse SSD voor elke VM nodig hebt. Kans is groot namelijk dat je die performance ook nog wel met een gedeelde SSD kunt halen.

Doe sowieso je hardware even in een Pricewatch tabel, maakt het voor ons een stuk overzichtelijker.

Bedankt voor je reactie!

Ik heb ook naar andere opties gekeken. Mocht ik voor team rood gaan zou ik al snel uitkomen bij een AMD Ryzen 9 3950X of AMD Threadripper 2950X. Beide opties zijn significant duurder dan een Xeon, bieden geen extra cores voor host OS en supporten ook nog eens minder PCI-e lanes (24 vs 40).

Het verschil in gaming performance is nihil, soms zelfs in het voordeel van de Xeon (al helemaal icm een halve 1080ti). Er worden duizenden uitgefaseerde 2697 v4's aangeboden. Een 3950x is relatief zeldzaam.
side note: GeForce Now heeft zelf ook altijd gebruik gemaakt van 2697 V4's.

Om deze reden gekozen voor een Xeon. De keuze voor de losse SSD's is ook gekomen door het grote aantal goedkope (kleinere) ssd's aangeboden op V&A en marktplaats.
4 Losse 256GB SSD's zijn goedkoper dan een 1TB SSD en bieden in de huidige configuratie ook nog meer performance. Houd er rekening mee dat het mobo geen m.2 SSD's support en de snelheden langzamer zullen zijn.

youridv1 schreef op maandag 24 maart 2025 @ 12:30:
@Jazzy Maar een Ryzen 5 heeft maar 6 cores en 12 threads. Gespreid over 4 clients betekent dat ~3 threads per VM en dan reken je de host nog niet.
Dus dan ga je 16 virtuele cores in de VM draaien op ~10 werkelijke logische cores. Dat gaat niet goed icm gamen.
Daarbij was die Xeon 30 euro.
En op die Xeon met zijn 36 threads kun je iedere VM 8 threads geven waar een dedicated logische core achter zit en heb je er nog 4 over voor de host.


[...]

Ik durf mijn hand ervoor in het vuur te steken dat dit op een redelijk moderne NVMe drive makkelijk gaat. Mijn 990 Pro heb ik nog nooit boven de 10% load gezien tijdens het gamen/games downloaden/algemeen Windows gebruik.

Volgensmij heeft een vriend van mij vGPU op een 3090 aan de praat gekregen terwijl die ook nog zelf op de host op die kaart gamet. Moet ik even navragen. Dus dan draai je 2 games op 1 kaart.

Volgens internet is vGPU niet werkend te krijgen op 3xxx, 4xxx en 5xxx series Nvidia kaarten. Qua prijs/performance blijft de 1080ti ook een van de beste kaarten op dit moment. Vandaar dat ik bij deze keuze blijf.

[youridv1]

Ik heb t even nagevraagd. Hij heeft deze tutorial YouTube: Use ANY GPU in a Virtual Machine / GPU Sharing with Virtual Machine gevolgd en daarmee in HyperV GPU Passthrough op zijn 3090 aan de praat gekregen zodat hij simultaan kan gamen vanuit de host en een VM (dus hij zelf en zijn vriendin)
Het gebruikt geen vGPU, dus in die zin klopt het internet
Als je toch 1080Ti's voor een goede prijs kunt krijgen, dan is dit niet zo relevant, maar er is dus een uitweg voor nieuwere kaarten.

Houd er rekening mee dat het mobo geen m.2 SSD's support en de snelheden langzamer zullen zijn.

Jawel, er kan één pcie3.0 m.2 op uitvoering: Gigabyte GA-X99P-SLI

Dus daar kun je eventueel uitvoering: Lexar NM790 (met heatsink) 1TB in drukken. Die ene SSD trekt makkelijk 4 VM's. Of je moet 256 schijfjes voor minder dan 20 euro/stuk kunnen krijgen

Het is mij wel een beetje onduidelijk welk RAM geheugen ge-support worden door het mobo en de Xeon.

Daar heeft gigabyte een pagina voor https://www.gigabyte.com/...ev-10/support#support-doc

[ Voor 65% gewijzigd door youridv1 op 24-03-2025 14:09 ]

[Ugraded]

youridv1 schreef op maandag 24 maart 2025 @ 13:59:
Ik heb t even nagevraagd. Hij heeft deze tutorial YouTube: Use ANY GPU in a Virtual Machine / GPU Sharing with Virtual Machine gevolgd en daarmee in HyperV GPU Passthrough op zijn 3090 aan de praat gekregen zodat hij simultaan kan gamen vanuit de host en een VM (dus hij zelf en zijn vriendin)
Het gebruikt geen vGPU, dus in die zin klopt het internet
Als je toch 1080Ti's voor een goede prijs kunt krijgen, dan is dit niet zo relevant, maar er is dus een uitweg voor nieuwere kaarten.


[...]

Jawel, er kan één pcie3.0 m.2 op uitvoering: Gigabyte GA-X99P-SLI

Die m.2 slot heb ik helemaal gemist , bedankt ! In theorie zou dus een enkele (snelle) m.2 ssd moeten voldoen? Is een stuk netter dan 5 losse Sata SSD's.

Ik zie inderdaad de video, maar blijf toch bij de 1080ti's. Ik verwacht dat de 1080ti's met vGPU redelijk stabiel (en zonder al te veel getweak) zullen moeten draaien.

[youridv1]

Die m.2 slot heb ik helemaal gemist , bedankt ! In theorie zou dus een enkele (snelle) m.2 ssd moeten voldoen? Is een stuk netter dan 5 losse Sata SSD's.

Dat denk ik wel. Je bent gelimiteerd door je internetverbinding tot een maximale downloadsnelheid van 1 Gbit verspreid over de 4 VM's. Dat trekt zo'n SSD makkelijk. Het gamen zelf is niet zo intensief.

De voeding koop ik liever nieuw. Dit met oog op betrouwbaarheid en veiligheid. Aangezien de server 24/7 zal draaien. Geen idee wat aangeraden wordt voor een server zoals ik die in gedachten heb.

Je hebt sowieso 4x 8 pins nodig en een watt of 850-1000.
uitvoering: MSI MAG A850GL PCIE5 Zwart
uitvoering: be quiet! Pure Power 12 M 1000W
Een volledig 1080Ti game systeem met 8 threads trekt een watt of 320 uit de muur. Dus als je dat verdubbelt en er nog 100-150 watt voor marge bovenop zet, dan kom je ongeveer daar uit. Een 1000 watt voeding is denk ik de overweging waard.
Ik denk dat Gold efficiëntie zat is. Met die Xeon en 2 1080Ti's gaat het idle verbruik van dit systeem sowieso torenhoog zijn, dus je hoeft je niet echt zorgen te maken over inefficiëntie van de voeding bij lage load.
Dit systeem gaat zeer waarschijnlijk rond de 200 watt idle draaien. (Neem dit trouwens mee in je project berekening. Dit systeem gaat 500 euro per jaar kosten bij 24/365 idle en bekijk dan of je niet beter toch voor een wat moderner platform wil gaan.)

Maar ik vraag me af of 1080Ti's realistisch is. Een halve 1080Ti is vandaag de dag, zacht uitgedrukt, een beetje mager. Dus het worden dan of oudere games, of sterk gereduceerde settings denk ik?

[ Voor 74% gewijzigd door youridv1 op 24-03-2025 14:31 ]

[dizzytal]

Craft Computing heeft ook wel wat leuke filmpjes m.b.t. gamen in een VM, de nieuwste is

Volgens mij heb ik deze zelf niet bekeken, maar misschien komt er iets voorbij waar je wat mee kan.
Nog wel benieuwd naar de use case voor dit, daadwerkelijk praktisch?

[Ugraded]

youridv1 schreef op maandag 24 maart 2025 @ 14:10:
[...]

Dat denk ik wel. Je bent gelimiteerd door je internetverbinding tot een maximale downloadsnelheid van 1 Gbit verspreid over de 4 VM's. Dat trekt zo'n SSD makkelijk. Het gamen zelf is niet zo intensief.


[...]

Je hebt sowieso 4x 8 pins nodig en een watt of 850-1000.
uitvoering: MSI MAG A850GL PCIE5 Zwart
uitvoering: be quiet! Pure Power 12 M 1000W
Een volledig 1080Ti game systeem met 8 threads trekt een watt of 320 uit de muur. Dus als je dat verdubbelt en er nog 100-150 watt voor marge bovenop zet, dan kom je ongeveer daar uit. Een 1000 watt voeding is denk ik de overweging waard.
Ik denk dat Gold efficiëntie zat is. Met die Xeon en 2 1080Ti's gaat het idle verbruik van dit systeem sowieso torenhoog zijn, dus je hoeft je niet echt zorgen te maken over inefficiëntie van de voeding bij lage load.
Dit systeem gaat zeer waarschijnlijk rond de 200 watt idle draaien. (Neem dit trouwens mee in je project berekening. Dit systeem gaat 500 euro per jaar kosten bij 24/365 idle en bekijk dan of je niet beter toch voor een wat moderner platform wil gaan.)

Maar ik vraag me af of 1080Ti's realistisch is. Een halve 1080Ti is vandaag de dag, zacht uitgedrukt, een beetje mager. Dus het worden dan of oudere games, of sterk gereduceerde settings denk ik?

Inderdaad vooral oude/niet te intensieve coop games.

200W idle is inderdaad flink
Wellicht dat ik een remote (wifi) power switch moet overwegen of WoL efficient op kan zetten.

[youridv1]

Je moet ook goed in de gaten houden wat die 1080Ti's doen. Nvidia GPU's van die tijd hebben een "bug" waarbij ze nooit echt naar de laagste power state gaan als de resolutie en refreshrate van de aangesloten monitor te hoog is en icm dual monitor. Ik heb dit zelf gehad met mijn GTX 1080. Ze blijven dan rond de 1200 MHz hangen en trekken dan ~45-55 watt. Als je dit kan voorkomen, of dit zich niet voor doet met VM's die eigenlijk geen echte monitor hebben, dan valt er zo'n 60 watt van mijn 200 watt schatting weg.

Ik gebruikte destijds dit https://www.techpowerup.com/download/nvidia-inspector/ om mijn 1080 naar de laagste powerstate te forceren tenzij er genoeg 3D load was

[ Voor 14% gewijzigd door youridv1 op 24-03-2025 16:12 ]