Van lokale machine meerdere VMs draaien met vGPU toegang?

[Bombtrack]

Hey guys,

Virtualisatie is redelijk nieuw voor mij, maar we zijn op het werk aan het stoeien met wat wilde ideeen omtrent virtualisatie. Ik ben bezig met een initieel onderzoek om te kijken of het uberhaupt haalbaar is.

Wat we willen bereiken is dat één dikke computer (threadripper 2 cpu, high end consumer GPU GTX1080, 128gb ram bijvoorbeeld) meerdere VMs 24/7 draaiend houdt. Nu denk ik dat ik met het aanmaken van de VMs een heel eind kom, maar ik struikel steeds over in hoeverre de VMs toegang kunnen hebben tot een "GPU". Ik kom vrijwel steeds uit op VMware Workstation Pro.

Nu lees ik dat vGPU's an sich mogelijk zijn, zodat iedere VM een stukje van de GPU kan benaderen, maar dat dit alleen mogelijk is met business kaarten zoals Nvidia quattro's en tesla's. Aan de andere kant lees ik weer verhalen van mensen die een 1080 ook gewoon als vGPU inzetten met de mededeling 'it was pretty easy'.

Al met al erg veel informatie over VMs in het algemeen, en veel tegenstrijdige info over vGPU vanaf één enkele computer naar meerdere VMs.

Heeft iemand hier toevallig ervaring mee? Of kan iemand me in de juiste richting wijzen? Ik zie even door de bomen het bos niet meer.

[Endpoint]

Het hangt er vanaf wat je precies wilt bereiken. Wil je een 8GB kaart in 4x 2GB splitsen of passtrough van een volledige kaart naar een VM?

Wil je hem opsplitsen heb je nvidia grid nodig+ de nodige licenties. Dit is goed mogelijk.

Mag het er af een toe uitliggen, en is het geen productie werk zou je bij unraid kunnen kijken.

[Question Mark]

Bombtrack schreef op woensdag 21 november 2018 @ 16:09:
Wat we willen bereiken is dat één dikke computer (threadripper 2 cpu, high end consumer GPU GTX1080, 128gb ram bijvoorbeeld) meerdere VMs 24/7 draaiend houdt.

Één systeem, en 24x7 beschikbaarheid? That does not compute... Daarnaast, consumer hardware?

Hoe ga je die beschikbaarheid halen?

[Voor 3% gewijzigd door Question Mark op 21-11-2018 19:21]

[Expendable]

Ik zou inderdaad als je een 24/7 machine overweegt al gaan kijken naar de workstations van de bekende server fabrikanten, zoals bijv de HP Z820 / Z840 reeks of de Dell tegenhanger. Deze jongens zijn er voor gemaakt langdurig zwaar werk uit te voeren.

Maar voor zover ik het weet is het indelen van de GPU voor meerder VM's alleen mogelijk met Nvidia.

[Voor 3% gewijzigd door Expendable op 21-11-2018 23:07]

[eric.1]

Is er trouwens een reden dat je naar virtualisatie kijkt?

Virtualiseren, hoe mooi het ook is, is niet in elke situatie de oplossing. Het heeft voor- en nadelen. Als je met één enkel systeem gaat werken....dan wordt de impact wel heel groot mocht er iets mis gaan met die machine.

Hebben die VMs uberhaupt specifieke grafische eisen?

Daarnaast kom je uit op VMWare Workstation pro, maar als performance een puntje is dan kom je niet uit op een Type 2 hypervisor zoals Workstation PRO (voornamelijk voor test en developdoeleinden) maar een Type 1 (zoals esxi).

[Bombtrack]

Hey guys,

Bedankt voor alle reacties. Ik zal proberen het een en het ander toe te lichten.

Waarom virtualisatie:
- We renderen on-demand video's. Dat kunnen zo honderden video's tegelijk zijn. Momenteel doen we dit allemaal in de cloud. Zo hebben we geregeld 500 Vms draaien die allemaal rendertjes aan het pompen zijn. Het verspreiden van hardware over VMs geeft een prestatiewinst - omdat 2 slappe bakjes meer videos per uur weten uit te renderen dan 1 dikke bak. (vooral omdat de software steeds opnieuw dingen moet inladen etc. iets wat niet perse NOG sneller kan en met 2x zoveel VMs eigenlijk 2x zo snel gaat.)

Echter, we hebben altijd verschillende cloud workers aanstaan om de on-demand last op te vangen. En hier zit het 'probleem'. We zouden die on-demand bakken, die de helft van de tijd uit hun neus staan te vreten, qua hardware gemakkelijk kunnen vervangen door een "high end consumer grade pc". Als deze verschillende VMs kan draaien, komen we niet alleen tot een enorme kostenbesparing, maar ook tot veeel meer on-demand capaciteit zonder extra kosten.

24/7 uptime?
- Up-time kun je in dit geval zien als 'die computer staat altijd aan', maar als hij er ff uitklapt en moet rebooten, dan is dat geen probleem. Het idee is dat we altijd de cloud als backup houden, of voor momenten van drukte. De 24/7 kun je hier dan ook met een korreltje zout nemen, aangezien dit geen server-grade 24/7 hoeft te zijn.

GPU's?
- Onze cloud VMs renderen nu puur op CPU power. Dit omdat GPU's wel degelijk snelheidswinst opleveren bij onze taken, maar de kosten baten enorm scheef lopen. GPU's op onze cloud zijn simpelweg extreem duur en leveren slechts een kleine performance boost op. Echter, in het geval van een computer die hier lokaal staat is het in theorie opeens een stuk eenvoudiger om een GPU voor een paar honderd euro toe te voegen. Het is dan ook vooral een nice to have, maar wel met nadruk op NICE!
Tijdens het renderen wordt een GPU vrijwel nooit helemaal belast - erg minimaal zelfs. Daarom hoeft een VM nooit beschikking te hebben over de volledige GPU. Het zou mij dan ook ideaal lijken dat de VMs allemaal een klein stukje van de GPU mogen aanspreken.

Nvidia Grid
- Dat ben ik inderdaad tegen gekomen, Echter, hier zie ik dus dat enkel Tesla's en GRID kaarten in aanmerking komen. Idealiter gebruik ik gewoon een consumer grade kaart, omdat die veel goedkoper zijn en de echte power niet per se gebruikt gaat worden. Ik vroeg me dan ook af of dit ook voor elkaar te krijgen was met een simpele GTX kaart bijvoorbeeld. Nu las ik iets over het flashen van de BIOS van de kaart, al weet ik niet of mijn baas dat een goed idee gaat vinden

Impact werken op één PC
- Je hebt gelijk, als er iets mis gaat met de pc liggen er oppeens 16 potentiele VMs uit. Echter, we willen het zo bouwen dat de cloud altijd paraat als backup blijft. De cloud is nu onze core - en de lokale PC met VMs zou puur een upgrade/kostenbesparing zijn. In het geval dat de lokale bak eruit knalt zouden we dus terug gaan naar de huidige 'baseline'. Dat is geen ramp. Vandaar dat ik me daar niet enorm druk om maak.


Om een indicatie te geven: onze huidige VMs in de cloud hebben vaak 2 of 4 cpu threads op 2.4ghz zonder GPU. Met een threadripper 2 kom je al gauw aan 64 threads, waar je dus al 16 of 32 lokale workers uit kan halen, maar dan zelfs met hogere clockspeeds. Waarschijnlijk zouden we willen beginnen met 4 of 8 VMs, die dus direct een hele klap sneller zijn. GPU acceleration is puur extra winst, maar geensinds een vereiste. Echter, de tweaker in mij krijgt juist dat GPU gedeelte heel graag OOK aan de praat

Nogmaals bedankt voor de reacties. Hopelijk is het verhaal hierboven een beetje helder

Edit: Ben nog altijd verder aan het onderzoeken en ben ondertussen dieper gedoken in GRID. Het lijkt een enorm duur grapje te worden, met niet alleen een server-grade GPU, maar ook nog eens licenties PER vGPU. Zodra het niet mogelijk is op een simpele GTX kaart, en mogelijk enkele honderden euros aan software dan wordt het al snel niet meer rendabel om hier uberhaupt aan te denken. In dat geval zou een CPU-only VM machine nog altijd zeer interresant zijn, maar dan moet ik misschien mijn onderzoek in vGPUs staken. - en dat is natuurlijk ook een prima uitkomst van het onderzoek

[Voor 7% gewijzigd door Bombtrack op 22-11-2018 10:30]

[Endpoint]

Je zou eens naar unraid kunnen kijken. Het is en blijft consumer grade, dus amper support en je zal alles zelf uit moeten zoeken.

In dit filmpje hebben ze meerdere omgevingen op 1 systeem draaien.
YouTube: 7 Gamers, 1 CPU - Ultimate Virtualized Gaming Build Log