Vmware server 2 geheugen

[SandStar]

ik draaide al geruime tijd vmware server 1 op mn linux werkstation om zo toch nog wat windows applicaties te kunnen gebruiken. Aangezien vmware server 1 eigelijk niet meer aan de praat was te krijgen met kernels >2.6.25 ben ik maar overgestapt op vmware server 2.

Sindsdien niks dan ellende. Ik heb 2 guest os-en; 1 linux die standaard automatisch wordt gestart met 512mb geheugen en 1 windows die alleen wordt gestart als ik em nodig heb. Deze laatste staat als 1024mb ram geconfigureerd.

Mijn werkstation waar alles op draait heeft een Q6600 cpu en 4gb ram. Veder draait er een 64bit Gentoo op waardoor ik dus gewoon 100% van het beschikbare geheugen kan gebruiken.
Toch is mn machine continue aan het swappen zodra ik allebei de guests aanzet.
Het geheugenverbruik zelf is niet zo heel hoog. Er is vaak max maar 1GB daadwerkelijk in gebruik. Maar mn cache is echt belachelijk hoog.

code:

MemTotal:        4057648 kB
MemFree:           20556 kB
Buffers:           19252 kB
Cached:          3101876 kB
SwapCached:         5628 kB
Active:          1584044 kB
Inactive:        2227124 kB
Active(anon):     533828 kB
Inactive(anon):   180196 kB
Active(file):    1050216 kB
Inactive(file):  2046928 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:        506036 kB
SwapFree:         457176 kB
Dirty:            382720 kB
Writeback:           332 kB
AnonPages:        685228 kB
Mapped:          1055652 kB
Slab:             108156 kB
SReclaimable:      83416 kB
SUnreclaim:        24740 kB
PageTables:        28680 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:     2534860 kB
Committed_AS:    1651668 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      116836 kB
VmallocChunk:   34359608827 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:       86912 kB
DirectMap2M:     4106240 kB

In vmware server heb ik aangevinkt dat ie alle hosts in het gereserveerde ram moet laden en dat heb ik op 1.5GB gezet. Tevens merk ik dat als ik alle hosts uitzet en vmware zelf ook helemaal sluit (alle services) er alsnog 3gb aan geheugen gecached blijft.

Is dit op te lossen of moet ik gewoon aan virtualbox beginnen?

[Verwijderd]

Is er een reden voor je om bij Vmware te blijven? Ik gebruikte vroeger Vmware om bijvoorbeeld mijn server te virtualiseren (dan kon ik eerst daar op testen voordat ik wijzigingen aanbracht). Tot iemand mij op VirtualBox wees. Ik moet zeggen dat ik VirtualBox zeer fijn vindt werken. Misschien is hij minder uitgebreid dan Vmware maar hij is wel gratis en daarom ook gewoon aanwezig in de repo's van bijna alle distro's (tenzij je de closed source variant wilt, maar hiervoor heeft VirtualBox zelf meestal een repo).

[SandStar]

Ik ben niet gebonden aan vmware. Maar wat betekend "minder uitgebreid"?
Mn enige voorwaarden zijn werkbaar geheugenverbruik, automatisch kunnen starten van guest @ boot en het kunnen draaien van linux, windows xp, windows vista en windows 2008 als guest.

[Verwijderd]

Het automatisch starten @ boot weet ik niet (nooit geprobeerd) maar ik verwacht dat het wel moet kunnen. Voor de rest voldoet het aan jou eisen.

Wat "minder uitgebreid" precies inhoudt weet ik ook niet, ikzelf ben nooit tegen een beperking aangelopen. Desalniettemin verwacht ik dat Vmware een stuk meer functies bevat dan VirtualBox. Voor Vmware is virtualisatie hun core business. Voor Sun is VirtualBox 1 van de vele producten die ze hebben en daarnaast is het gratis (wat niet per definitie betekend minder trouwens. Kijk naar Windows t.o.v. Linux ). In een server omgeving zou ik naar Vmware kijken, maar voor thuisgebruikers voldoet VirtualBox prima.

[roeleboel]

Virtualbox is een desktop-applicatie, en geen service zoals vmware-server dat wel is.
Het is bijgevolg niet mogelijk om een vm te starten als er niemand op de bepaalde machine ingelogd is.
Verder: als je uitlogt op die machine sluit je ook alle desktop-applicaties en bijgevolg je virtualbox.

[SandStar]

dan is virtualbox geen optie.

Ik ga eens kijken wat het effecit is als ik swapiness verlaag van de standaard 60 naar 10.
Ik zie nu trouwens ook dat zelfs met maar 1 VM guest aan ik al een cache heb van 2gb... Het lijkt mij logisch dat je zoveel mogelijk geheugen wilt gebruiken maar 2GB voor een VM guest met 512mb ram?

[DutchNutcase]

Is KVM anders een optie? Ik gebruik het op dit moment vanaf de command line en met een init.d script. Ik weet echter niet of er een GUI voor is (niet naar gezocht ook, omdat het op deze manier voldeed).

[Verwijderd]

roeleboel schreef op donderdag 15 oktober 2009 @ 13:47:
Virtualbox is een desktop-applicatie, en geen service zoals vmware-server dat wel is.
Het is bijgevolg niet mogelijk om een vm te starten als er niemand op de bepaalde machine ingelogd is.
Verder: als je uitlogt op die machine sluit je ook alle desktop-applicaties en bijgevolg je virtualbox.

Bovenstaande informatie is niet waar! Voorbeeldje:

http://www.howtoforge.com...adless-ubuntu-9.04-server

[roeleboel]

Verwijderd schreef op donderdag 15 oktober 2009 @ 15:36:
[...]


Bovenstaande informatie is niet waar! Voorbeeldje:

http://www.howtoforge.com...adless-ubuntu-9.04-server

in de 'preliminary note' staat duidelijk (vrij vertaald): ik doe dit ingelogd als gewone user, niet als root.
Vanaf je moet ingelogd zijn om het te kunnen starten is het geen service. Vanaf dat je ook uitlogt op de server (en je sessie dus _sluit_) zal je virtualbox ook niet meer werken.

[Verwijderd]

@roeleboel het kan wel:

http://en.gentoo-wiki.com/wiki/VirtualBox#Service
http://www.glump.net/howto/virtualbox_as_a_service
http://quadirspace.blogsp...ice-for-ubuntu-linux.html

[Rainmaker]

Even los van de discussie over welke virtualisatiesoftware geweldig is en welke niet:

code:

echo 2 > /proc/sys/vm/drop_caches

zorgt er als het goed is voor dat de cache wordt vrijgegeven. Het feit dat er zoveel geheugen als cache gebruikt wordt is normaal, en gewoon onderdeel van de manier waarop Linux het beschikbare geheugen gebruikt.

offtopic:
[flame]En als ik het even kwijt mag: Ik word een beetje moe van topics die beginnen met een probleem over software X, waarbij de 1e 10 reacties zijn om de TS maar softwarepakket Y te gebruiken, omdat het beter / sneller / meer / stabieler / goeder / 133'7'er is. Suggesties voor alternatieve software voor hetzelfde doel is allemaal prima, maar bijvoorbeeld in dit geval (en in veel andere threads) is het volledig zinloos, omdat er na gebruik van KVM / VirtualBox / etc. nog net zoveel geheugen gecached is.[/flame]

[ Voor 43% gewijzigd door Rainmaker op 15-10-2009 17:59 ]

[SandStar]

Rainmaker schreef op donderdag 15 oktober 2009 @ 17:55:
Even los van de discussie over welke virtualisatiesoftware geweldig is en welke niet:

code:

echo 2 > /proc/sys/vm/drop_caches

zorgt er als het goed is voor dat de cache wordt vrijgegeven. Het feit dat er zoveel geheugen als cache gebruikt wordt is normaal, en gewoon onderdeel van de manier waarop Linux het beschikbare geheugen gebruikt.

offtopic:
[flame]En als ik het even kwijt mag: Ik word een beetje moe van topics die beginnen met een probleem over software X, waarbij de 1e 10 reacties zijn om de TS maar softwarepakket Y te gebruiken, omdat het beter / sneller / meer / stabieler / goeder / 133'7'er is. Suggesties voor alternatieve software voor hetzelfde doel is allemaal prima, maar bijvoorbeeld in dit geval (en in veel andere threads) is het volledig zinloos, omdat er na gebruik van KVM / VirtualBox / etc. nog net zoveel geheugen gecached is.[/flame]

Dat er zoveel mogelijk geheugen als cache wordt gebruikt snap ik. Wat ik niet snap is waarom dit zo gigantisch veel is met Vmware Server 2 ten opzichte van versie 1. De cache blijft ook maar groeien totdat het meer dan 3GB is waarna mn swapfile er aan moet geloven. De desktop wordt direct onbruikbaar. De guests vervolgens afsluiten, even wachten en weer opstarten heeft ook een merkwaardig effect: de cache krimpt op geen enkel moment maar begint gigantisch te groeien zodra ik de guests weer opstart zodat nog meer swap wordt gebruikt.

Bestaat er zoiets als een cache-leak?
Tijdens dit alles is er trouwens nooit meer als 1GB aan ram daadwerkelijk in gebruik.

Dat commando om cache te legen heb ik ook even geprobeerd. Het liet inderdaad de cache behoorlijk krimpen maar liet niet alles verdwijnen. Mn cache was op dat moment 1.2GB (net reboot gedaan) en zakte na dat commando in naar 650mb. is dat normaal?

[Rainmaker]

SandStar schreef op donderdag 15 oktober 2009 @ 18:12:
[...]


Dat er zoveel mogelijk geheugen als cache wordt gebruikt snap ik. Wat ik niet snap is waarom dit zo gigantisch veel is met Vmware Server 2 ten opzichte van versie 1. De cache blijft ook maar groeien totdat het meer dan 3GB is waarna mn swapfile er aan moet geloven. De desktop wordt direct onbruikbaar. De guests vervolgens afsluiten, even wachten en weer opstarten heeft ook een merkwaardig effect: de cache krimpt op geen enkel moment maar begint gigantisch te groeien zodra ik de guests weer opstart zodat nog meer swap wordt gebruikt.
Bestaat er zoiets als een cache-leak?
Tijdens dit alles is er trouwens nooit meer als 1GB aan ram daadwerkelijk in gebruik.

code:

VmallocTotal:   34359738367 kB
VmallocUsed:      116836 kB
VmallocChunk:   34359608827 kB

Er mag 32GB aan memory gemalloc'ed worden.

Ik gok dat je overcommit aan hebt staan? Wat komt er terug met

code:

cat /proc/sys/vm/overcommit_*

Zet overcommit_memory eens op 0 en overcommit_ratio op 50? Is het dan beter?

Dat commando om cache te legen heb ik ook even geprobeerd. Het liet inderdaad de cache behoorlijk krimpen maar liet niet alles verdwijnen. Mn cache was op dat moment 1.2GB (net reboot gedaan) en zakte na dat commando in naar 650mb. is dat normaal?

Ja, dit is normaal. Met een echo 3 flush je nog wat meer, zoals dingen van je filesysteem.
http://linux-mm.org/Drop_Caches

Maar op 0 ga je het niet krijgen, omdat je shell, services e.d. ook allemaal de cache gebruiken.

[SandStar]

Rainmaker schreef op donderdag 15 oktober 2009 @ 19:48:
[...]

code:

VmallocTotal:   34359738367 kB
VmallocUsed:      116836 kB
VmallocChunk:   34359608827 kB

Er mag 32GB aan memory gemalloc'ed worden.

Ik gok dat je overcommit aan hebt staan? Wat komt er terug met

code:

cat /proc/sys/vm/overcommit_*

Zet overcommit_memory eens op 0 en overcommit_ratio op 50? Is het dan beter?

dat staan ze al

Maar 32GB is wel veel...

Edit:
Volgens mij is het zelfs 32TB

[ Voor 4% gewijzigd door SandStar op 15-10-2009 20:22 ]

[silentsnake]

SandStar schreef op donderdag 15 oktober 2009 @ 18:12:
[...]


Dat er zoveel mogelijk geheugen als cache wordt gebruikt snap ik. Wat ik niet snap is waarom dit zo gigantisch veel is met Vmware Server 2 ten opzichte van versie 1. De cache blijft ook maar groeien totdat het meer dan 3GB is waarna mn swapfile er aan moet geloven. De desktop wordt direct onbruikbaar. De guests vervolgens afsluiten, even wachten en weer opstarten heeft ook een merkwaardig effect: de cache krimpt op geen enkel moment maar begint gigantisch te groeien zodra ik de guests weer opstart zodat nog meer swap wordt gebruikt.

Bestaat er zoiets als een cache-leak?
Tijdens dit alles is er trouwens nooit meer als 1GB aan ram daadwerkelijk in gebruik.

Ik heb dit gedrag ook wel eens gezien op een Oracle server met 32GB geheugen. Er stond 25GB aan cache maar de Linux kernel gaf het niet terug maar begon te swappen, en daar ging m'n Oracle doos. Uiteraard was de recommendation van Oracle om meer swap toe te wijzen Het vreemde is dat het eigenlijk vanzelf goed is gekomen.

Hoe dan ook, ik heb 8 GB met VMware server en dit is mijn /proc/meminfo (op Gentoo 64-bit)

code:

MemTotal:      8046216 kB
MemFree:         59356 kB
Buffers:        264432 kB
Cached:        7044376 kB
SwapCached:          0 kB
Active:        3530372 kB
Inactive:      4106688 kB
SwapTotal:     4000168 kB
SwapFree:      3999992 kB
Dirty:             868 kB

Eigenlijk dus hetzelfde gedrag, ik heb alleen geen echte performance problemen ofzo.

[Confusion]

Drie random ideeen:

- Misschien dat je memstat kunt installeren en kunt zien wat er dan precies zoveel geheugen vast aan het houden is.

- Ik kan me voorstellen dat een VM misschien niet uitgeswapped mag worden, dus dat die VM's samen een heel blok vasthouden en dat je Gentoo systeem een applicatie draait die meer geheugen wil, maar dat niet krijgt en dan moet gaan swappen

- Kan het zijn dat je pagefile in je Windows VM voor problemen zorgt? Als je binnen de Windows VM meer dan 1 GB nodig hebt en je pagefile gaat meespelen, dan moet die vervolgens ook ergens in je host OS gelaten worden...

Rainmaker schreef op donderdag 15 oktober 2009 @ 17:55:

offtopic:
[flame]En als ik het even kwijt mag: Ik word een beetje moe van topics die beginnen met een probleem over software X, waarbij de 1e 10 reacties zijn om de TS maar softwarepakket Y te gebruiken[/flame]

De meeste posts ontstaan volgens mij niet om iets anders aan te raden, maar omdat er zoveel onzin verkondigt wordt tijdens het aanraden van die andere dingen. Onzin kan je ook niet onweersproken laten.

[ Voor 31% gewijzigd door Confusion op 15-10-2009 21:32 ]

[SandStar]

Confusion schreef op donderdag 15 oktober 2009 @ 21:29:
Drie random ideeen:

- Misschien dat je memstat kunt installeren en kunt zien wat er dan precies zoveel geheugen vast aan het houden is.

hmm memstat zie ik zo snel niet in Gentoo repository, zal eens kijken waar dat vandaan te halen is.

- Ik kan me voorstellen dat een VM misschien niet uitgeswapped mag worden, dus dat die VM's samen een heel blok vasthouden en dat je Gentoo systeem een applicatie draait die meer geheugen wil, maar dat niet krijgt en dan moet gaan swappen

Zoiets lijkt het geval te zijn, alleen blijft de cache gewoon steeds groter groeien. Hieronder een stukje vmstat:

code:

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 5  0      0 958776 118248 2001448    0    0    32    18  374  219 86  1 13  0
 4  0      0 957956 118272 2001600    0    0    26   121 1328 2822 99  0  0  0
 5  0      0 958328 118280 2001728    0    0    26   123 1260 2721 99  0  1  0
 6  0      0 958144 118296 2001856    0    0    26    85 1379 2702 100  0  0  0
 5  0      0 957896 118304 2001984    0    0    51    24 1292 2625 100  0  0  0
 5  0      0 958136 118304 2002252    0    0    27     8 1289 2487 100  0  0  0
 5  0      0 959516 118320 2002380    0    0    26    23 1299 2636 100  0  0  0
 5  0      0 958772 118348 2002480    0    0    26    63 1502 2883 98  0  2  0
 5  0      0 958960 118368 2002736    0    0    26    11 1308 2784 97  0  3  0
 4  0      0 958636 118372 2002872    0    0    26    44 1344 2512 99  0  1  0

Maar dit kan natuurlijk ook gewoon disk I/O zijn wat gecached wordt...

- Kan het zijn dat je pagefile in je Windows VM voor problemen zorgt? Als je binnen de Windows VM meer dan 1 GB nodig hebt en je pagefile gaat meespelen, dan moet die vervolgens ook ergens in je host OS gelaten worden...

Daar heb ik ook aan zitten denken. Maar heb het uitgesloten door te rebooten en de windows VM niet aan te zetten en alleen de linux VM te laten autostarten. Zelfde effect. Met een beetje extrapoleren lijkt het erop dat binnen 24 uur de cache vol zit en het systeem gaat swappen.

[Confusion]

SandStar schreef op donderdag 15 oktober 2009 @ 21:54:
Daar heb ik ook aan zitten denken. Maar heb het uitgesloten door te rebooten en de windows VM niet aan te zetten en alleen de linux VM te laten autostarten. Zelfde effect. Met een beetje extrapoleren lijkt het erop dat binnen 24 uur de cache vol zit en het systeem gaat swappen.

Extrapoleren is in dit soort gevallen meestal niet zo'n goed idee. Sowieso groeit je cache in de eerste gebruikstijd na het opstarten nogal hard en ten tweede kan je geheugen tot de nok toe volzitten met cache zonder dat de zaak gaat swappen. Mijn werklaptop, die ik vaak laat suspenden/hibernaten, heeft eigenlijk nooit geheugen vrij en pakweg 500-1500 MB in cache zitten, terwijl de swap eigenlijk nooit geraakt wordt. Dan moet ik wel echt een JVM of 8 met niet te zuinige geheugensettings de lucht in slingeren. De vraag is wat er nu die cache ingaat. Zolang je dat niet weet, is er weinig over te zeggen.

[ Voor 4% gewijzigd door Confusion op 15-10-2009 22:44 ]

[SandStar]

Dat memstat programma kan ik nergens vinden. Ook via google vind ik niks hoe ik kan zien wat er in de cache zit.

[Erwinvz1]

Ik herken hier zaken die ik onder windows xp pro 64bit ook hebt.
Met Vmware Server 2.

Dat heb ik op een machine met 8gb ook dat het geheugen gewoon steeds voller loopt en niet word vrijgeven als je de vmware's stopt.


Ben er nou niet uit of het specifiek alleen aan vmware ligt of aan welke guest-os je draait.
Want draai zelf sco (zonder vmware tools) en windows en zie gewoon die problemen ook komen.

Kan ook zijn hoe de host-os het kan zijn hoe die met geheugen cache-en omgaat, dat verklaard niet waarom het bij vmware server 2 het ook zo is.
Ga binnenkort zelf ook op speurtocht.
Ben toch benieuwd waarom dit is.

[Rainmaker]

Hmm, ik heb op mijn 64-bit gentoo blijkbaar dezelfde belachelijke waarde in /proc/meminfo.

Schijnt blijkbaar normaal te zijn op 64bit, sorry (zie http://www.google.nl/sear...34359738367&start=10&sa=N)

Heb je hier nog wat aan?
http://kerneltrap.org/node/5332

Oftewel; heb je iets van ramdisks? Artikel is wel al ~5 jaar oud, dus weet niet in hoeverre het nog van toepassing is.

[Confusion]

SandStar schreef op donderdag 15 oktober 2009 @ 22:55:
Dat memstat programma kan ik nergens vinden.

Dit is de source waar de laatste Debian versie op gebaseerd is. Die kan ik op deze Ubuntu machine zonder problemen downloaden, uitvouwen, 'make'n en uitvoeren.

Wat gebeurde er trouwens toen je de vm.swappiness op 10 of lager (probeer 0 ook eens) zette? Volgens mij kan de kernel besluiten die waarde op een gegeven moment weer aan te passen, dus als'ie weer gaat swappen, even cat /proc/sys/vm/swappiness doen.

[ Voor 24% gewijzigd door Confusion op 17-10-2009 00:04 ]

[SandStar]

Confusion schreef op vrijdag 16 oktober 2009 @ 23:44:
[...]

Dit is de source waar de laatste Debian versie op gebaseerd is. Die kan ik op deze Ubuntu machine zonder problemen downloaden, uitvouwen, 'make'n en uitvoeren.

Wat gebeurde er trouwens toen je de vm.swappiness op 10 of lager (probeer 0 ook eens) zette? Volgens mij kan de kernel besluiten die waarde op een gegeven moment weer aan te passen, dus als'ie weer gaat swappen, even cat /proc/sys/vm/swappiness doen.

Ik ga straks eens kijken of het te compilen is op mn systeem.

Swappiness verlagen had geen effect, of iig geen zichtbaar effect. Hij bleef alsnog als een gek swappen.
Wat ik wel heb gemerkt is dat 2.6.30 anders omgaat met cache dan 2.6.25. In die laatste kreeg ik mn cache zowieso nooit groot en met 2.6.30 zie ik dat dat best lukt. (zonder vmware)
Ik draai nu een volle dag zonder ook maar 1 vmware process en mn cache zit weer helemaal vol. Maar als ik nu een flink programma draai (distributed computing ding) dan gaat dat direct van de cache af en blijft mn swap onaangeroerd.

Misschien vind vmware 2.6.30 niet leuk

Ik heb trouwens geen ramdisks...

[SandStar]

Kleine update:

Het lijkt erop dat wat in mn cache zit gewoon I/O activiteit is. In principe prima, ontlast de harde schijven. Maar vmware 2 lijkt er niet echt mee te kunnen omgaan.
Tevens heb ik virtualbox eens een poging gegeven. Met een volle cache programma gestart en een vm geladen (windows 2008). Cache ging netjes omlaag en er werd niets geswapped. Bijna niets, een paar kb.

Ik gok dat het makkelijker is dat ik gewoon overstap naar virtualbox. De tijd die gaat zitten in het uitvinden wat er mis is met vmware 2 is te groot. Virtualbox lijkt ook nog eens gewoon mn bestaande vmware installs te kunnen starten dus overstappen is fluitje van een cent

Allen bedankt voor de hulp!