[UBUNTU SERVER] + KVM + Meerdere OSen + light gaming

[Verwijderd]

Mijn vraag

Hallo, ik heb onlangs een pc gekocht en daar draait nu Windows 10 op maar ik wil graag experimenteren met ubuntu KVM's. Virtuele machines met snapshots onder andere. Heb redelijk wat linux kennis. De bedoeling is (bijvoorbeeld) een Ubuntu Server opzetten, daarboven op nog een ubuntu server en daar bovenop een Windows OS + wat speel machientjes zoals een kleine hosting machine e.d.
De vraag is alleen of mijn systeem dit allemaal gaat 'trekken' ?
Het enige waar ik Windows eigenlijk nu voor gebruik is om Starcraft en Command & Conquer te spelen (buiten the usual internet surfing etc)
Echter, gaat dat ook draaien in een gevirtualiseerde opzet en kan ik dan ook gebruik maken van mijn video kaart?

Relevante software en hardware die ik gebruik
i5 4460 @ 3.2 Ghz
MSI H97 PC Mate (MS-7850)
8GB DDR3 RAM
NVIDIA GeForce GT 740 2048MB
En heel wat HDD's.

Wat ik al gevonden of geprobeerd heb
Meerdere tutorials gelezen en video's bekeken maar geen enkele geeft aan of mijn systeem dat gaat trekken allemaal of dat het dan zo traag als dikke &#*$^ loopt.

[ Voor 1% gewijzigd door Verwijderd op 05-04-2016 10:21 . Reden: Kleine aanpassing ]

[Hero of Time]

Je hebt 'maar' 8 GB aan geheugen. Op zich meer dan genoeg om een paar VMs mee te draaien, maar dat kan wel een beperkende factor zijn. Je hebt ook geen SSD, dus met I/O heb je ook een aardige bottleneck. Het zal allemaal wel werken, maar als je meerdere VMs tegelijk gaat daaien kan het wat krap worden, zeker als ze toch wat meer schijfintensief zijn.

Heb je überhaupt gekeken hoe Windows in KVM werkt? Want als je dat wilt gaan doen, dan kan je andere VMs wel op je buik schrijven, Windows heeft gewoon zoveel nodig (geheugen en I/O). Je videokaart in KVM, tja, kan je toch ook wel zelf vinden? Ik vind je vooronderzoek wat mager.

[Verwijderd]

Hallo Hero Of Time,

Bedankt voor je reactie. Dus meer RAM geheugen adviseer je ? Ik zie echter ook dat ik ben vergeten te melden dat ik als boot schijf een 256 SSD heb. Sorry, mijn fout.

Ik heb al vaker Ubuntu draaiend gehad, maar dan de desktop versie en dan middels virtualbox een Windows OS gedraaid. Dat is echter niet helemaal hetzelfde als KVM, dat snap ik. Maar voordat ik alles ga omgooien was ik gewoon benieuwd of het de moeite waard is of dat ik alleen maar tijd voor niks ga investeren.

Betreffende de videokaart:
Ik had dit zelf al gevonden:
https://www.pugetsystems....ing-Ubuntu-14-04-KVM-585/

NVIDIA cards cannot be used by a virtual machine if the base Ubuntu OS is already using them, so in order to keep Ubuntu from wanting to use the NVIDIA cards we have to blacklist them by adding their IDs to the initramfs.

Maar dat lijkt me niet omdat de guest OS een ubuntu SERVER is en geen desktop maar echt zekerheid geeft me dat niet.

[Hero of Time]

Verwijderd schreef op dinsdag 05 april 2016 @ 11:08:
Hallo Hero Of Time,

Bedankt voor je reactie. Dus meer RAM geheugen adviseer je ? Ik zie echter ook dat ik ben vergeten te melden dat ik als boot schijf een 256 SSD heb. Sorry, mijn fout.

Als boot schijf heb je er alsnog niets aan. Je VMs moeten op een SSD staan. Leuk dat je OS in 3 seconden is gestart, maar als je VM images op een 5400 rpm schijf staan, is 't alsnog baggertraag.

Geheugen is puur wat je uiteindelijk gaat doen. Maak je een dual boot, dan is een upgrade niet echt nodig.

Ik heb al vaker Ubuntu draaiend gehad, maar dan de desktop versie en dan middels virtualbox een Windows OS gedraaid. Dat is echter niet helemaal hetzelfde als KVM, dat snap ik. Maar voordat ik alles ga omgooien was ik gewoon benieuwd of het de moeite waard is of dat ik alleen maar tijd voor niks ga investeren.

Omgooien hoe? Wat heb je nou exact in gedachte om te doen en denk je dat het haalbaar is wat je wilt? Zie je zelf obstakels (want ik zie er genoeg)?

Betreffende de videokaart:
Ik had dit zelf al gevonden:
https://www.pugetsystems....ing-Ubuntu-14-04-KVM-585/

[...]

Maar dat lijkt me niet omdat de guest OS een ubuntu SERVER is en geen desktop maar echt zekerheid geeft me dat niet.

En je denkt dat een CLI geen videokaart gebruikt? Hoe denk je anders beeld te hebben, zien wat er gebeurt, etc? Of maak je 'm headless en doe je alles met een ander systeem over SSH, VNC e.d.? Hoe ga je je Windows VM besturen?

[Verwijderd]

Bedankt voor je feedback.

VM's op SSD zetten; check, noteer ik.
Geen dual boot
Over de videokaart; je hebt gelijk, niet over na gedacht.

Ik ga het gewoon proberen en dan kijk ik vanzelf hoe ver ik kom. Tis puur hobymatig en speelplezier

[Verwijderd]

De bedoeling is (bijvoorbeeld) een Ubuntu Server opzetten, daarboven op nog een ubuntu server en daar bovenop een Windows OS +...

Leg die eens uit? Nested VM's lijkt me niet echt handig om aan te beginnen. Het schijnt te kunnen, maar is nog ver van productie rijp http://www.linux-kvm.org/...-NestedVirtualization.pdf

[ Voor 5% gewijzigd door Verwijderd op 05-04-2016 13:10 ]

[Verwijderd]

Sure,

In het kader van better safe than sorry dacht ik om een ubuntu server VM op een ubuntu server te installeren en vanaf daar verder omhoog te gaan bouwen. Mocht ik het verneuken dan middels een snapshot weer terugzetten en opnieuw beginnen. Hier bovenop dan weer een Windows machientje voor de dagelijkse activiteiten en wat basale spelletjes ( mits die dat trekt uiteraard ).

[Hero of Time]

VM in een VM, nested virtualisatie dus, is echt onwenselijk. Tenzij je wilt weten wat men zo'n 30 jaar geleden met hun PC deed.

Of als je 3 dagen wilt wachten totdat Windows 10 klaar is met installeren.

[ Voor 23% gewijzigd door Hero of Time op 05-04-2016 13:49 ]

[Verwijderd]

Ok maar heb je dan wellicht andere suggesties voor me?

[johnkeates]

Installeer KVM of Xen in je Ubuntu installatie. Ubuntu en Ubuntu Server zijn nagenoeg hetzelfde, maakt weinig uit wat je kiest.

Qua GPU: prik een tweede GPU bij, dan kan je er een voor een VM gebruiken en een voor je main OS.

Qua RAM: prik er per VM 4GB bij.

Qua SSD: neem een tweede SSD. Kan gewoon een goedkope zijn (zoals een Q300)

Ik zou geen KVM gebruiken maar Xen, daar zit betere GPU en hardware management in.

Installeer eerst Ubuntu zoals je het zelf zou gebruiken als gebruiker. Zorg dat je LVM gebruikt. Daarna installeer je bijv. xen-linux-system-amd64 en herstart je om Xen te laden voor dat Linux start (Xen is een type 1 hypervisor). Daarna kan je Xen gebruiken.

Per VM:

- Gebruik een LV als opslag, niet een file
- Gebruik minimaal 2 cores per VM
- Gebruik minimaal 4GB RAM per VM
- Verdeel heavy I/O VM's over SSD's

Als je graag wil gamen is het misschien de moeite waard om eerst te kijken of PlayOnLinux of Wine je games ondersteunen. Daarna kan je het met Windows proberen als VM, die geef je dan een GPU en een USB controller, op de GPU sluit je een extra scherm aan, op de USB controller een toetsenbord en muis, en dan kan je near-native gamen. Xen heeft nauwelijks overhead.

[ Voor 17% gewijzigd door johnkeates op 05-04-2016 14:03 ]

[Verwijderd]

Kijk daar kan ik wat mee!

Ik ken Xen niet maar zoals ik het hierboven lees, interpreteer ik het als een laag waarOP Linux draait?

Dus ik installeer ubuntu (server), installeer Xen. Herstart de boel en dan staat Xen eerder op dan Ubuntu? Hier moet ik me duidelijk even in gaan verdiepen. Jij adviseert dit dus boven Xen vanwege betere hardware management.

[Verwijderd]

Neem een 'vanilla' (standaard) Ubuntu server en installeer daar alleen qemu KVM op. Vervolgens maak je bijvoorbeeld via virt manager (of via terminal met virsh) VM's aan. Een van die VM's _kan_ ook Ubuntu zijn, maar ga vooral daar ook niet nog KVM op installeren. Dat is nergens voor nodig.

[gekkie]

Je zal idd met kvm of xen sowieso wel aan vga(/pci)-passthrough zitten, of KVMGT of XenGT, geen idee of dat ook al werkt met andere kaarten dan alleen intel.
Met vga-passthrough onder Xen heb ik enige ervaring met secondary passthrough van Radeon kaarten naar een linux VM.
Dat werkt op zich prima en near native performance van de graka. Zijn wel een paar puntjes:
1) je ziet pas wat op het scherm zodra de guest kernel de radeon kaart init (het doet dus nog geen legacy vga)
2) wil het bruikbaar zijn heb je nog een onofficiele patch nodig voor xen-pciback, zodat de kaart gereset wordt bij het afsluiten van de VM zodat je deze ook kunt restarten. Zonder de patch moet je dus je hele machine rebooten.

En zoals de anderen al hebben aangegeven is de disk I/O in een VM vaak een stuk slechter dan bare metal, dus daar moet je je best doen om dat zo vlot mogelijk te maken.
(en meer geheugen wordt je ook altijd vrolijk van)

[johnkeates]

Disk I/O in Xen is vrij goed, in KVM valt het tegen. Qua performance heeft KVM het nadeel dat het over z'n nek gaat als er weinig ruimte over is qua CPU cycles, RAM of iops om dat het z'n eigen administratie niet meer bij kan houden.

Xen kan GPU passthrough doen sinds versie 4, voor dat XenGT of VT-GT of wat Intel het dan ook noemt noemt, maar met XenGT en ander GT adopties heb je het voordeel dat het allemaal wat gestroomlijnder is, ook met de genoemde resets en re-inits.

[gekkie]

Het is allemaal wat ruw idd, maar het kan werken .. kortom net iets voor tweakers

[Verwijderd]

gekkie schreef op dinsdag 05 april 2016 @ 14:44:
Het is allemaal wat ruw idd, maar het kan werken .. kortom net iets voor tweakers

En daar doe ik het voor

[Tha_Butcha]

Ik heb zelf soort gelijk iets gebouwd, mijn hardware:

- Supermicro X10SLM-F
- Intel Xeon V3 1230
- 8 GB RAM (Unbuffered ECC)
- Samsung 850 256GB
- Crucuial 250GB
- Radeon R9 270X

Als distro gebruik ik proxmox, vanwege de webui.

Belangrijke info:

- je hebt twee videokaarten nodig (mijn mobo heeft er 1): 1 voor je server en 1 voor je windows bak
- gebruik geen nvidia kaart. De nieuwste generatie werkt sowieso niet, andere is een hoop gekloot. Dat heeft te maken met dat nvidia wil dat je een nvidia grid kaart koopt
- op het archlinux forum is hier (KVM i.c.m. vfio/vga passthrough) vrij veel over te vinden. Ook dingen die distro onafhankelijk zijn.

[Verwijderd]

Mijn pc heeft een onboard video kaart en een nvidia. Dat zijn er toch twee ?
Proxmox, nooit van gehoord. Goede prestaties?

[Thralas]

Tha_Butcha schreef op dinsdag 05 april 2016 @ 18:29:
- gebruik geen nvidia kaart. De nieuwste generatie werkt sowieso niet, andere is een hoop gekloot. Dat heeft te maken met dat nvidia wil dat je een nvidia grid kaart koopt

Gebruik geen AMD. Tenminste, dat is het advies van de VFIO maintainer.

Beide fabrikanten hebben problemen. Bij Nvida was dat softwarematig, bij AMD zijn er een serie kaarten die helemaal niet werken (R9 380 bijvoorbeeld) of ernstig problematisch zijn (reset issues).

Misschien is de takeaway wel: als je een kaart voor VFIO koopt, lees dan tenminste de laatste paar maanden van de VFIO mailing lists door.

Verwijderd schreef op dinsdag 05 april 2016 @ 20:10:
Mijn pc heeft een onboard video kaart en een nvidia. Dat zijn er toch twee ?

Zeker. Voor VFIO geldt dat je wel moet checken of je niet tegen problematische IOMMU groups aanloopt.

De blog van Alex Williamson en de vfio-users zijn eveneens verplichte leeskost, net als de Arch wiki/forums die hierboven al werden genoemd.

Proxmox, nooit van gehoord. Goede prestaties?

Proxmox is een webinterface bovenop KVM. Ik geef zelf de voorkeur aan libvirt/virt-manager, dat is qua gebruik erg vergelijkbaar met Virtualbox/VMWare's desktopvirtualisatie. Heeft echter geen client voor Windows.

Ik zie op de vfio-users weing over Proxmox, en veel over libvirt, maar getuige de post hierboven kun je VFIO er wel degelijk mee werkend krijgen. Al ben je bij problemen iets meer op eigen inzicht aangewezen.

[Verwijderd]

libvirt/virt-manager, daarvoor moet je toch ubuntu desktop hebben draaien? Is dat geen belasting op de preformance?

[Thc_Nbl]

Verwijderd schreef op dinsdag 05 april 2016 @ 11:08:
Betreffende de videokaart:
Ik had dit zelf al gevonden:
https://www.pugetsystems....ing-Ubuntu-14-04-KVM-585/

die is leuk ja, zag er nog zo een gebouwd, die kon 7 ! virtuals laten game in 1 computer.
per vm was dat gelijkwaardig aan een i7 , deze dus https://www.youtube.com/watch?v=LXOaCkbt4lI

niet echt "on-toppic" maar wel erg vet.

on topic..

kijk eens naar xen server, ( gratis versie ), die doet ook gpu passthrough. heb je wat snel snel opgezet om te testen.
per vm een eigen harddisk toewijzen. de truk hier met xen server is bij installatie maar 1 schijf aanwijzen de andere er later aan toevoegen. dan kan je evt load verdelen, en kan je kosten sparen.

Extra ram, ssd altijd goed natuurlijk.

En laat eens weten hoe het draait als het klaar is, ook leuk om te weten.

[Verwijderd]

Will do !

Neem een 'vanilla' (standaard) Ubuntu server en installeer daar alleen qemu KVM op. Vervolgens maak je bijvoorbeeld via virt manager (of via terminal met virsh) VM's aan. Een van die VM's _kan_ ook Ubuntu zijn, maar ga vooral daar ook niet nog KVM op installeren. Dat is nergens voor nodig.

qemu KVM? Dat is de snapshot versie toch? Ik meen me te herinneren dat er ook andere varianten waren maar helaas geen snapshot ondersteunde

[gekkie]

Thralas schreef op dinsdag 05 april 2016 @ 20:23:
[...]
Gebruik geen AMD. Tenminste, dat is het advies van de VFIO maintainer.

Beide fabrikanten hebben problemen. Bij Nvida was dat softwarematig, bij AMD zijn er een serie kaarten die helemaal niet werken (R9 380 bijvoorbeeld) of ernstig problematisch zijn (reset issues).

Misschien is de takeaway wel: als je een kaart voor VFIO koopt, lees dan tenminste de laatste paar maanden van de VFIO mailing lists door.

Meende laatst toch patches voor amd vfio reset issues langs te hebben zien komen op LKML.

Vanuit het verleden had ik juist ook de ervaring dat nvidia niet werkte door non-standard bios voodoo wat met virt de mist in ging.

Bij mij op Xen werkt het met HD6950 en HD7950.

[Tha_Butcha]

Thralas schreef op dinsdag 05 april 2016 @ 20:23:
[...]


Gebruik geen AMD. Tenminste, dat is het advies van de VFIO maintainer.

Ik weet alleen dat Nvidia sowieso vanaf de nieuwe kaarten gewoon de zooi blokt (error 43 uit mijn hoofd). Bij oudere kaarten kon je nog wel es verbergen dat je KVM draaide. Kaart die ik probeerde was een GTX 950 en die had nieuwere drivers nodig, waarin het hele KVM verhaal dus wordt geblokt.

Misschien is de takeaway wel: als je een kaart voor VFIO koopt, lees dan tenminste de laatste paar maanden van de VFIO mailing lists door.

Dat denk ik ook, als de VFIO maintainer het zegt, ga ik daar niet tegenin. Maar gewoon goed research doen en specifiek zoeken of je videokaart.

De blog van Alex Williamson en de vfio-users zijn eveneens verplichte leeskost, net als de Arch wiki/forums die hierboven al werden genoemd.

Dit dus En echt de *hele* thread door lezen van arch.

Proxmox is een webinterface bovenop KVM. Ik geef zelf de voorkeur aan libvirt/virt-manager, dat is qua gebruik erg vergelijkbaar met Virtualbox/VMWare's desktopvirtualisatie. Heeft echter geen client voor Windows.

Toevoeging: je zou het bijna een complete distro kunnen noemen, gebaseerd op Debian. Ook een van de redenen waarom ik het draai: ik werk al jaren met debian based distros en proxmox had ik toch al draaien.

Ik zie op de vfio-users weing over Proxmox, en veel over libvirt, maar getuige de post hierboven kun je VFIO er wel degelijk mee werkend krijgen. Al ben je bij problemen iets meer op eigen inzicht aangewezen.

Jup, werkt prima, ook als host voor mijn Steam Link. En mijn implementatie gaat nog zelfs een stapje verder: ik heb mijn scherm en USB over CAT5 gepompt, zodat ik een tweede werkstation heb. Lees: mijn KVM server staat op de begane grond en mijn tobo/scherm/muis op kantoor op de tweede verdieping (je bent tweaker of niet)

edit (toevoeging):

- Qua prestaties draait het (IMHO) zo goed als native. Althans ik heb geen benchmarks gedaan, maar de games die ik speel (TF2, GTA V, Skyrim + mods, Arkham Asylum) draaien gewoon zoals het hoort, ik merk geen verschil.
- Qua CPU settings heb ik twee cores doorgegeven en "host,kvm=off" + 4GB. CPU wordt door win10 herkend als Xeon
- de SSD heb ik via virtio direct doorgegeven aan de VM

[ Voor 8% gewijzigd door Tha_Butcha op 05-04-2016 23:43 ]

[himlims_]

klinkt als onze game omgeving op werk

doen de games via wine ipv windows, succes!

[himlims_]

Verwijderd schreef op dinsdag 05 april 2016 @ 20:29:
libvirt/virt-manager, daarvoor moet je toch ubuntu desktop hebben draaien? Is dat geen belasting op de preformance?

nee hoor; kun je gewoon heen ssh'en middels -X

[Verwijderd]

himlims_ schreef op woensdag 06 april 2016 @ 12:54:
[...]

nee hoor; kun je gewoon heen ssh'en middels -X

Ok maar wat is dan het advies als ik met Ubuntu wil werken?
Ubuntu server en daar de vm's op draaien of Ubuntu desktop en daarop werken? Of is dit puur een kwestie van gemak? CLI of GUI is mij om het even namelijk.

[himlims_]

de client boot (via pxe) een sessie (ltsp) en daarme runnen we wine voor diverse games (daar waar native ook aanzienlijk aan toenemen is) draait dus allemaal op de server.

[Hero of Time]

Verwijderd schreef op woensdag 06 april 2016 @ 20:36:
[...]

Ok maar wat is dan het advies als ik met Ubuntu wil werken?
Ubuntu server en daar de vm's op draaien of Ubuntu desktop en daarop werken? Of is dit puur een kwestie van gemak? CLI of GUI is mij om het even namelijk.

Kan je ongeveer 500 MB aan geheugen missen? Dan draai je net zo makkelijk een GUI. Kies een wat lichtere zoals Xfce of LXQt en je bent goed op weg toch?

[Verwijderd]

Hero of Time schreef op woensdag 06 april 2016 @ 21:06:
[...]

Kan je ongeveer 500 MB aan geheugen missen? Dan draai je net zo makkelijk een GUI. Kies een wat lichtere zoals Xfce of LXQt en je bent goed op weg toch?

Xfce ziet er goed uit gracias!

[himlims_]

misschien dat lutris nog wel interresant voor je is; heb een beknopte uitleg op mijn page staan. de tool is kleine 2-3 weken geleden voor het laatste bijgewerkt. is soort game libary waarmee je al jouw games beheerd is zijn versplinterd via gog/desura/steam/wine/native/online/flash/--etc.

[ Voor 12% gewijzigd door himlims_ op 09-04-2016 18:59 ]