ESXI werkstation virtualiseren

[Mvdbeld]

Ik ben geïnspireerd door dit artikel: http://www.pugetsystems.c...-VMWare-Gaming-Setup-564/

Wat ik wil proberen is om op mijn Dell XPS 8700 vmware esxi te installeren en dan vervolgens een virtuele machine aan te maken die als werkstation dient. Belangrijk hierbij is dat ik mijn grafische kaart en usb controller (toetsenbord en muis) via passtrough door wil geven aan deze VM om deze als gewoon werkstation te kunnen gebruiken.

Waarom zou ik dit willen?
- Omdat ik dan ruimte over hebt voor meerdere andere VM's op mijn werkstation. Mijn hardware staat veelal duimen te draaien, specs: i7-4790, 32Gb, 256GB SSD, 3TB HDD, AMD Radeon R9 270.
- Plus ik vind het een gaaf concept zeker met meerdere grafische kaarten/virtuele desktops zoals in het artikel. Dus wil hier zelf ook eens mee gaan rommelen.
- Tevens staat mijn werkstation vaak bijna hele dagen aan en zou wellicht als het stroomverbruik acceptabel is ook als server kunnen gaan dienen.

Zijn er mensen die ervaring hebben met een soortgelijke setup dus eigenlijk een werkstation onder esxi naast evt server VM? Is het mogelijk om vanaf het virtuele werkstation te werken met vsphere cliënt? Is het lastig om passtrough van je videokaart aan de praat te krijgen? Is er een makkelijke manier om verschillende USB hubs te onderscheiden om door te geven via passtrough, of is dit trial & error zoals in het artikel?

Heb gisteren overigens ESXI 5.5 update 2 geïnstalleerd op een usb-stick met een custom driver voor mijn netwerkkaart en dit werkt. Moet vanavond dus verder om mijn werkstation/VM in te richten.

Nogmaals ik vind het vooral leuk om hiermee te spelen en kijken hoe dit alles wel of niet gaat werken. Ik snap dat ik uiteraard ook gewoon Windows 8.1 of linux kan draaien en daaronder kan virtualiseren maar deze manier lijkt me een leuke uitdaging. Discussies over hyper-v of andere virtualisatie oplossingen hoeven dan ook niet in dit topic.

EDIT: had in eerste instantie verkeerde artikel gelinkt, staat nu goed.

[ Voor 9% gewijzigd door Mvdbeld op 25-02-2015 15:00 ]

[CAPSLOCK2000]

Mvdbeld schreef op woensdag 25 februari 2015 @ 10:58:
Zijn er mensen die ervaring hebben met een soortgelijke setup dus eigenlijk een werkstation onder esxi naast evt server VM?

Met goed zoeken zijn er hier een paar posts te vinden van mensen die het geprobeerd hebben met wisselend succes. IIRC is het iemand gelukt met Xen en iemand met KVM. VMWare kan ik me niet herinneren.
Ik kan je wel vertellen dat je kans van slagen nogal afhankelijk is van je hardware en dat het een pittig project is.

Is het mogelijk om vanaf het virtuele werkstation te werken met vsphere cliënt?

Ja, geen probleem, maar wellicht is het handig om ook een ander systeem (laptop?) te hebben om de boel mee in te richten of voor als het stuk gaat. Vanaf de ESXi console kun je niet zo heel veel.

Is het lastig om passtrough van je videokaart aan de praat te krijgen?

Ja en enorm afhankelijk van je hardware.

[CH4OS]

Je dumpt wat specs en geeft aan dat je je GPU middels passthrough aan je VM wilt doorspelen, maar welke GPU heb je dan? In het artikel die je linkt, staat namelijk dat nVidia GeForce GPU's namelijk direct al afvallen, als je dus een nVidia GPU hebt in je PC, kun je het dus al vergeten.

When it comes to virtualization, you can't simply put any normal video card into a server and expect it to work. First, it has to support virtualization (most often VT-D) which right away eliminates GeForce video cards.

[ Voor 31% gewijzigd door CH4OS op 25-02-2015 12:09 ]

[DukeBox]

Van je GPU kaart kun je vaak ook alleen echt alleen als PU gebruiken.. het is meestal niet mogelijk er ook (werkbaar) beeld uit te krijgen.

[3DDude]

Een zo'n speciale Nvidia Grid kaart, kost ongeveer 6000 euro.

Dus succes, heb er ook wel is over nagedacht met mijn pc (zie sig - 64GB ram) maar heb besloten dat toch niet te doen omdat er meerdere beperkingen zijn.

Ik draai het om en draai VM's in VMware Workstation.
En ESXI kan je tegenwoordig ook gewoon in VMWare Workstation draaien, dus dat is niet zo'n probleem.

[ Voor 34% gewijzigd door 3DDude op 25-02-2015 12:10 ]

[DukeBox]

btw een usb videokaart 'werkt' wel.

[ Voor 29% gewijzigd door DukeBox op 25-02-2015 12:11 ]

[Mvdbeld]

CAPSLOCK2000 schreef op woensdag 25 februari 2015 @ 12:00:
Met goed zoeken zijn er hier een paar posts te vinden van mensen die het geprobeerd hebben met wisselend succes. IIRC is het iemand gelukt met Xen en iemand met KVM. VMWare kan ik me niet herinneren.
Ik kan je wel vertellen dat je kans van slagen nogal afhankelijk is van je hardware en dat het een pittig project is.

Zoals ik al dacht een leuke uitdaging!

Ja, geen probleem, maar wellicht is het handig om ook een ander systeem (laptop?) te hebben om de boel mee in te richten of voor als het stuk gaat. Vanaf de ESXi console kun je niet zo heel veel.

Heb een laptop tot mijn beschikking anders was ik niet heel ver gekomen nee.

Ja en enorm afhankelijk van je hardware.

Videokaart toegevoegd!

CptChaos schreef op woensdag 25 februari 2015 @ 12:05:
Je dumpt wat specs en geeft aan dat je je GPU middels passthrough aan je VM wilt doorspelen, maar welke GPU heb je dan? In het artikel die je linkt, staat namelijk dat nVidia GeForce GPU's namelijk direct al afvallen, als je dus een nVidia GPU hebt in je PC, kun je het dus al vergeten.


[...]

Zie dat ik inderdaad videokaart was vergeten te vermelden, staat er nu bij betreft een AMD R9 270. Met Nvidia was ik inderdaad niet gestart aan de hand van dat artikel

Had in eerste instantie verkeerde artikel gelinkt, nu aangepast. In dat artikel is een werkende setup met AMD kaarten.

[ Voor 47% gewijzigd door Mvdbeld op 25-02-2015 12:54 ]

[CH4OS]

Ben even gaan [google=R9 270 passthrough] en kwam dit topic op VMWare.com tegen, wellicht kan je er wat mee?

[Mvdbeld]

CptChaos schreef op woensdag 25 februari 2015 @ 12:21:
Ben even gaan [google=R9 270 passthrough] en kwam dit topic op VMWare.com tegen, wellicht kan je er wat mee?

Ziet er goed uit wisselende reacties, ga vanavond gewoon via laptop beginnen met w8.1 install en vervolgens passtrough apparaten toevoegen. Keep you guys posted!

[CH4OS]

Het wisselende succes verbaasd me niets, daar waarschuwde Capslock ook al voor in de eerste reactie van dit topic (CAPSLOCK2000 in "ESXI werkstation virtualiseren").

EDIT:
Ik begrijp je bericht hieronder niet helemaal, ik hoop wel voor je dat het lukt hoor! Maar wees er wel op bedacht dat het een lange weg zou kunnen worden, waarbij de uitkomst kan zijn dat het niet werkbaar te krijgen is op jouw PC / server.

[ Voor 39% gewijzigd door CH4OS op 25-02-2015 12:51 ]

[Mvdbeld]

CAPSLOCK2000 schreef op woensdag 25 februari 2015 @ 12:00:

Ja, geen probleem, maar wellicht is het handig om ook een ander systeem (laptop?) te hebben om de boel mee in te richten of voor als het stuk gaat. Vanaf de ESXi console kun je niet zo heel veel.

Ziet er goed uit wisselende reacties, ga vanavond gewoon via laptop beginnen met w8.1 install en vervolgens met passtrough rommelen. Keep you guys posted!

EDIT: ik ga vanaf een laptop aan de slag met de vsphere client om een VM te installeren en vervolgens het passtrough gedeelte configureren. Snap dat het lastig wordt maar hou wel van een uitdaging. Mocht ik er echt niet uitkomen of mocht bv de performance tegen vallen, kan ik zo weer Windows 8.1 regulier installeren.

Eerste tegenslag heb ik gisteren al overwonnen door de onboard nic werkend te krijgen. In 5.5 is de realtek 8168 namelijk niet meer standaard ondersteund en de driver uit 5.1 werkte wel voor installatie maar leverde geen werkende adapter op. Vervolgens een nieuwere driver gevonden en deze toegevoegd met customizer met een werkende nic als gevolg, dus kan vanavond verder via vsphere client.

Mensen op het dell forum hadden de hoop al opgegeven en werken veelal met een losse pci netwerk adapter.

[ Voor 61% gewijzigd door Mvdbeld op 25-02-2015 13:15 ]

[Brahiewahiewa]

Ik begrijp je gedachtegang niet. Waarom niet gewoon VMWare player (of een andere oplossing) geïnstalleerd? Dan kun je net zo goed meerdere VM's draaien en hoef je niet met passthrough te gaan rommelen

[CH4OS]

Een GPU middels passthrough aan een VM doorgeven houdt in theorie in dat je zou kunnen gamen op een VM, aangezien je dan betere GPU acceleration hebt dan met de virtual VGA adapter van VMWare zelf.

[gekkie]

Met een Radeon 6570 heb ik het draaien onder Xen, maar wel met linux guests (windows eigenlijk nooit meer geprobeerd). Systeen zitten 3 graka's in .. 1 voor de host/xen/dom0 .. en 2 voor de guests.
Werkt met zowel de opensource radeon driver als de fglrx (de eerste gebruik ik met VDPAU voor XBMC, de laatste voor openCL expirimentjes (aangezien ik openCL nog niet werkend heb gekregen met de opensource driver + mesa (helaas).
Enige wat nog niet werkt onder Xen is de legacy VGA (dus je mist een stukje bootup van je guest), onder KVM heb ik dit wel werkend gehad.

[Mvdbeld]

Gisteravond verder gegaan, begonnen met het installeren van een VM en doorgeven van de apparaten. Na wat proberen de juiste USB hub doorgegeven en toetsenbord/muis en geluidskaart werkend. Vervolgens ook de videokaart doorgegeven en geïnstalleerd, dit ging allemaal goed echter na een herstart kreeg ik gelijk een BSOD: thread stuck in device driver of iets dergelijks (in de console van vsphere op de laptop, monitor bij mijn PC gaf geen beeld).

Vervolgens mijn monitor losgekoppeld en opnieuw opgestart VM start dan wel door en videokaart driver is goed geinstalleerd. Echter als ik mijn monitor er dan weer inprik krijg ik dezelfde bsod als eerder. Op vmware forums lees ik dat deze bsod vaak omhoog komt zonder duidelijk oplossing behalve andere hardware (moederbord en of gpu).

Zijn er hier toevallig mensen die dit bekend klinkt en of een mogelijke oplossing hebben? Anders lijkt mijn projectje hier te stranden aangezien andere hardware voor mij niet opgaat.

[gekkie]

bedoel je met herstart:
- herstart van alleen de VM
- of een herstart van host + VM

En werkt het wel altijd de eerste keer dat de VM start na herstart van de gehele bak ?

[Wharfedale]

Ik draai esxi 5.5 met enkele vm's waaronder een windows 8 game vm. Ik heb een amd r280x en paar usbpoorten doorgegeven en dit werkt prima. Qua performance kan ik niet veel zeggen, enkel dat fifa 14 prima werkt. De setup was niet al te moeilijk, gewoon gpu selecteren en doorgeven.
Voor passthrough moet je moederbord en cpu wel vt-d ondersteunen.
Verdere specificaties van pc: i7-4770, 32 gb ram, asrock b85pro4, saphire r280x 3gb

Mvdbeld schreef op donderdag 26 februari 2015 @ 09:48:
Vervolgens ook de videokaart doorgegeven en geïnstalleerd, dit ging allemaal goed echter na een herstart kreeg ik gelijk een BSOD: thread stuck in device driver of iets dergelijks (in de console van vsphere op de laptop, monitor bij mijn PC gaf geen beeld).

Zijn er hier toevallig mensen die dit bekend klinkt en of een mogelijke oplossing hebben? Anders lijkt mijn projectje hier te stranden aangezien andere hardware voor mij niet opgaat.

Ik kreeg deze error ook maar ik weet spijtig genoeg niet meer wat ik heb gedaan. Ik denk gewoon opnieuw geinstalleerd, na een paar keer lukte het wel. En sindsdien geen last meer gehad.
Hebt je vmx van de vm aangepast zoals op de website besproken? (www.pugetsystems.......)

[ Voor 49% gewijzigd door Wharfedale op 26-02-2015 11:51 . Reden: Quote toegevoegd ]

[Mvdbeld]

gekkie schreef op donderdag 26 februari 2015 @ 11:39:
bedoel je met herstart:
- herstart van alleen de VM
- of een herstart van host + VM

En werkt het wel altijd de eerste keer dat de VM start na herstart van de gehele bak ?

Beide herstart, het werkt uberhaupt niet (als er een monitor aan mijn GPU hangt) ook niet na een herstart. Als ik geen monitor heb aangesloten start de VM wel netjes door.

Wharfedale schreef op donderdag 26 februari 2015 @ 11:48:
Ik draai esxi 5.5 met enkele vm's waaronder een windows 8 game vm. Ik heb een amd r280x en paar usbpoorten doorgegeven en dit werkt prima. Qua performance kan ik niet veel zeggen, enkel dat fifa 14 prima werkt. De setup was niet al te moeilijk, gewoon gpu selecteren en doorgeven.
Voor passthrough moet je moederbord en cpu wel vt-d ondersteunen.
Verdere specificaties van pc: i7-4770, 32 gb ram, asrock b85pro4, saphire r280x 3gb


[...]

Ik kreeg deze error ook maar ik weet spijtig genoeg niet meer wat ik heb gedaan. Ik denk gewoon opnieuw geinstalleerd, na een paar keer lukte het wel. En sindsdien geen last meer gehad.
Hebt je vmx van de vm aangepast zoals op de website besproken? (www.pugetsystems.......)

Moederbord en processor ondersteunen VT-d (al heb ik deze optie niet in mijn BIOS). Het doorgeven van de USB controller/geluidskaart werkt immers wel.

Mijn config is grofweg vergelijkbaar aan die van jou. Jammer dat je niet meer exact weet wat je gedaan hebt. Kreeg je ook BSOD's met dezelfde melding?

Heb inderdaad vmx file aangepast door die 2 regels toe te voegen.

[Tha_Butcha]

Zelf heb ik geen ervaring met wat je probeert te doen, echter kwam ik wel een interssante blog tegen van een gozer die zo zijn hele huis heeft ingericht (physicalization noemt hij het). Heel het proces staat uitgelegd incl hardware en BOM. Overigens gebruikt hij wel ESXi 5.0 afaik.

link

[Mvdbeld]

Tha_Butcha schreef op zaterdag 28 februari 2015 @ 13:24:
Zelf heb ik geen ervaring met wat je probeert te doen, echter kwam ik wel een interssante blog tegen van een gozer die zo zijn hele huis heeft ingericht (physicalization noemt hij het). Heel het proces staat uitgelegd incl hardware en BOM. Overigens gebruikt hij wel ESXi 5.0 afaik.

link

Dat is hetzelfde principe maar dan nog even wat verder door getrokken, wel gaaf.

Helaas ben ik dit weekend ook weinig opgeschoten verschillende pogingen gedaan, maar helaas krijg ik mijn videokaart niet aan de praat onder esxi 5.5 door middel van passtrough. Redelijk wat suggesties vanuit vmware forums geprobeerd zonder resultaat.

[janwillemCA]

probeer het eens met een andere hypervisor. Denk aan linux + kvm of xen. Voor i.c.m xen veel succesverhalen gehoord / gelezen.

[Mvdbeld]

janwillemCA schreef op maandag 02 maart 2015 @ 11:11:
probeer het eens met een andere hypervisor. Denk aan linux + kvm of xen. Voor i.c.m xen veel succesverhalen gehoord / gelezen.

Xen is niet een opzich zelf staand product, deze draai je bovenop een distributie, klopt dit? Mijn linux kennis is denk ik niet toereikend om dit alles te configureren. Daarnaast vind ik ESXI een mooi product omdat dit binnen no-time op te zetten is en makkelijk te managen vanuit vsphere cliënt. Dat het in mijn geval dan niet werkt is een tweede.

Heb het voor nu even opgegeven onder ESXI blijf ik er tegen aan lopen dat als er een monitor aangesloten wordt/is dat mijn VM vastloopt of een BSOD geeft.

Verschillende suggesties geprobeerd vanuit zowel vmware forums als andere forums.

[janwillemCA]

Als je het niet ziet zitten om xen zelf op te bouwen, kijk dan eens hier naar:

http://www.xenproject.org/

Volgensmij is dit dan De oplossing voor je.
Dit installeert net zo makkelijk als je van ESXI gewend bent, en is makkelijk te beheren via een bijbehorende client.

[johnkeates]

Met VMWare is het lastig, slechte support voor dit soort setups om dat ze niet echt binnen de productlijn vallen. Je hebt de server virtualisatie pakketten en die voor desktops, maar een desktop virtualisatie pakket voor op.. desktops, dat hebben ze niet, waardoor alle manieren om het wel de proberen (hacks zijn het eigenlijk ;-) ) vaker niet dan wel werken.

Ik heb het met Xen altijd goed werkend gehad, zelfs op oude Xeon X3430 systemen met Xen 4 toen dat nog nieuw was.

Let wel op! Je kan niet zomaar XenServer gebruiken! Dit is om dat het net als ESXi gebouwd is: micro-OS voor hypervisor management boven op de hypervisor die op bare-metal draait. Wat je nodig hebt is een volledige Linux installatie als control domain.

Het makkelijkste is dan ook:

- Installeer een OS, desnoods met een GUI (Ubuntu ofzo, met vort-manager als je ook nog een virtuele machine manager GUI wil)

- Activeer Xen 4.4

- Start opnieuw op zodat Xen 4.4 draait voor dat het OS geladen wordt

Nu kan je aan de slag.

Er zijn een paar 'bewezen' GPU's http://wiki.xen.org/wiki/Xen_VGA_Passthrough_Tested_Adapters maar naar mijn ervaring werken de meeste GPU's wel goed als er geen blokkerende code in de driver zit. Soms heb je wel dat je niet zomaar je guest kan rebooten en video krijgt, dat komt door dat sommige GPU's niet te resetten zijn terwijl het systeem draait. De enige oplossing is een reboot of als je wil, een reset knopje op de videokaart maken. Hangt dus van je kaart, CPU, EFI en moederbord af of je daar last van gaat krijgen.

Ik heb op deze manier meerdere OSsen met K+V+M draaien. Je start je systeem op, en hop, Windows, BSD, OS X verschijnen op hun eigen schermen, met elk hun eigen USB controller altijd leuk om te zien. In de praktijk niet echt veel gebruikt om dat ik ook gewoon meerdere machines had staan, maar de 'om dat het kan'-factor was wel erg leuk. Wat ook leuk is om te zien is dat Windows en BSD veel sneller opstarten in een virtuele omgeving dan op bare-metal. OS X en Linux zijn altijd even snel, ongeacht waar je het op draait. Van Linux kan ik het nog begrijpen, maar OS X is praktisch een BSD-achtige Unix...

Ik heb het zelf met KVM nooit zo werkend gehad, maar ik ben dan ook niet echt veel met KVM bezig geweest toen en het is intussen flink veel volwassener geworden.

[janwillemCA]

Bestaat de losse XCP (xen cloud project) niet meer? Ik heb voorheen nog wel eens een XCP iso gedownload, die je dan zo kon installeren vanaf een usb stickje of een cd.

[gekkie]

janwillemCA schreef op dinsdag 03 maart 2015 @ 12:19:
Bestaat de losse XCP (xen cloud project) niet meer? Ik heb voorheen nog wel eens een XCP iso gedownload, die je dan zo kon installeren vanaf een usb stickje of een cd.

Nee sinds xenserver opensource is gemaakt niet meer.

Maar ik ben het met hier boven eens, Xen hypervisor met een gewone linux distributie is vele malen flexibeler.
(maar goed dan moet je er wel een beetje weg wijs in zijn of willen worden)

Soms heb je wel dat je niet zomaar je guest kan rebooten en video krijgt, dat komt door dat sommige GPU's niet te resetten zijn terwijl het systeem draait. De enige oplossing is een reboot of als je wil, een reset knopje op de videokaart maken. Hangt dus van je kaart, CPU, EFI en moederbord af of je daar last van gaat krijgen.

Wat ook meestal werkt is een slot/bus reset, bij KVM/virtio/vfio zit dit al in de kernel code, voor Xen is er een temp patch, die wel werkt, maar op dit moment nog geNACKed is voor upstream en der halve nog niet in de kernel te vinden is.
Hiermee kun je je VM's gewoon rebooten zonder problemen.

[ Voor 38% gewijzigd door gekkie op 03-03-2015 16:12 ]

[Mvdbeld]

gekkie schreef op dinsdag 03 maart 2015 @ 16:09:
[...]

Nee sinds xenserver opensource is gemaakt niet meer.

Maar ik ben het met hier boven eens, Xen hypervisor met een gewone linux distributie is vele malen flexibeler.
(maar goed dan moet je er wel een beetje weg wijs in zijn of willen worden)


[...]

Wat ook meestal werkt is een slot/bus reset, bij KVM/virtio/vfio zit dit al in de kernel code, voor Xen is er een temp patch, die wel werkt, maar op dit moment nog geNACKed is voor upstream en der halve nog niet in de kernel te vinden is.
Hiermee kun je je VM's gewoon rebooten zonder problemen.

Wat ik dus begrijp, je installeert Xen bovenop een bepaalde distro en vervolgens zorg je dat deze start voor het OS (via grub?).

Heeft Xen vervolgens ook een manier om het geheel makkelijk te managen zoals vsphere de client heeft? Of zal je alles via de CLI op de host moeten configureren?

[janwillemCA]

Mvdbeld schreef op woensdag 04 maart 2015 @ 10:25:
[...]


Wat ik dus begrijp, je installeert Xen bovenop een bepaalde distro en vervolgens zorg je dat deze start voor het OS (via grub?).

Heeft Xen vervolgens ook een manier om het geheel makkelijk te managen zoals vsphere de client heeft? Of zal je alles via de CLI op de host moeten configureren?

Kan op heel veel verschillende manieren beheerd worden. Veelal web gebaseerde systemen als Ganeti, Openstack etc.

https://code.google.com/p/ganeti/

https://www.openstack.org/

[gekkie]

Mvdbeld schreef op woensdag 04 maart 2015 @ 10:25:
[...]
Wat ik dus begrijp, je installeert Xen bovenop een bepaalde distro en vervolgens zorg je dat deze start voor het OS (via grub?).

Correct, grub laad Xen, xen vervolgens de gespecificeerde kernel wat dat dom0 is (eigenlijk de eerste PV guest op je systeem).

Heeft Xen vervolgens ook een manier om het geheel makkelijk te managen zoals vsphere de client heeft? Of zal je alles via de CLI op de host moeten configureren?

Zijn er wel, maar daar kan ik je niet echt mee helpen, doe zelf eigenlijk alles op de commandline (via ssh vanaf een andere bak)

[CAPSLOCK2000]

virt-manager vind ik zelf een erg prettige VM-manager die enigzins vergelijkbaar is met de vsphere-client. Ik heb hem wel nooit met Xen gebruikt maar dat zou ook moeten kunnen. Zelf gebruik virt-manager samen met KVM. Dat vind ik de meest natuurlijke manier om VMs te draaien op Linux.