Xen dom0 verliest langzaam geheugen

[Robert]

hoi,

Ik heb een raar probleem met Xen op Debian (Buster), wellicht dat iemand het herkent, of wellicht is het een bug in deze versie?

Het gaat om een Xen host die nu 2 weken draait, met inmiddels een stuk of wat VPS'en erop. Nu heb ik dom0 1024MB geheugen toegekend, zoals in de best practices ook wordt aanbevolen:
/etc/default/grub.d/xen.cfg:GRUB_CMDLINE_XEN_DEFAULT="dom0_mem=1024M,max:1024M"
en /etc/xen/xl.conf: autoballoon=0

Echter na 15 dagen uptime was het geheugen geslonken
# free -m
total used free shared buff/cache available
Mem: 730 567 34 0 129 144
Swap: 1905 50 1855

En nu ik er op let zie ik elke dag +- een paar MB verdwijnen. Er is ruim voldoende geheugen beschikbaar, maar ik kan dat niet opnieuw toekennen zonder reboot, en er draaien inmiddels productie systemen op dus dat is niet zo makkelijk..

xl info:
total_memory : 65221
free_memory : 30116


Heeft iemand een idee hoe ik dit kan stoppen, voor die server tot een grinding halt komt vanwege OOM?

[ Voor 17% gewijzigd door Robert op 31-08-2018 07:28 ]

[DiedX]

Je weet hoe Linux om gaat met geheugen? Het houdt gealloceerd vast, dus used hoeft geen used te zijn.

[TommieW]

DiedX schreef op vrijdag 31 augustus 2018 @ 07:43:
Je weet hoe Linux om gaat met geheugen? Het houdt gealloceerd vast, dus used hoeft geen used te zijn.

Is dat wel het probleem? Zoals ik het nu lees, neemt de hoeveelheid geheugen onder "totaal" af.

[Hero of Time]

Logging van Xen bekeken? En in de VM zelf? Er moet ergens een verklaring zijn waarom het geheugen weghaalt. Heb je een taak die veel geheugen nodig heeft? Start die dan eens in de VM.

[Robert]

TommieW schreef op vrijdag 31 augustus 2018 @ 07:51:
[...]

Is dat wel het probleem? Zoals ik het nu lees, neemt de hoeveelheid geheugen onder "totaal" af.

Het gaat inderdaad om de totale hoeveelheid beschikbaar geheugen die in dom0 beschikbaar is. Die hoort niet af te nemen normaliter natuurlijk. Met xen zou dat alleen moeten gebeuren met ballooning, maar dat staat uit juist om dat soort issues te voorkomen.

Logging van Xen bekeken? En in de VM zelf? Er moet ergens een verklaring zijn waarom het geheugen weghaalt. Heb je een taak die veel geheugen nodig heeft? Start die dan eens in de VM.

Bedoel je in 1 van de domU's? Die hebben allen een harde limiet ingesteld, en daar draaien continue allerlei geheugenvretende processen in, maar dat lijkt me geen invloed hebben op dom0?

Alle VM's hebben gewoon op de normale manier geheugen toegekend met:
memory = '2048'

Er wordt verder niets door xen gelogged, en kernel/syslog zeggen hier ook niets over.

xl top:
Mem: 66786736k total, 38033840k used, 28752896k free CPUs: 32 @ 2095MHz

Fyi, ook werkt dit helaas niet, wat normaliter wel werkt om geheugen te alloceren:
xl mem-set Domain-0 1024m

[ Voor 5% gewijzigd door Robert op 31-08-2018 08:50 ]

[Hero of Time]

Memory ballooning is om meer dan het maximum opgegeven geheugen tijdelijk te kunnen gebruiken, als daar de ruimte voor is. Niet om geheugen maar weg te nemen.

Aan je xl top uitvoer te zien heb je nog lang niet al het geheugen van de machine toegekend. Want zou anders het gedrag kunnen verklaren, als de VMs meer nodig hebben en de host het niet heeft, dat het wat van dom0 snoept. Maar dat zou in alle gevallen op de host gelogd moeten worden. Zie je in dom0 wel iets in de logs over de afname van geheugen?

[Robert]

Hero of Time schreef op vrijdag 31 augustus 2018 @ 09:34:
Memory ballooning is om meer dan het maximum opgegeven geheugen tijdelijk te kunnen gebruiken, als daar de ruimte voor is. Niet om geheugen maar weg te nemen.

Aan je xl top uitvoer te zien heb je nog lang niet al het geheugen van de machine toegekend. Want zou anders het gedrag kunnen verklaren, als de VMs meer nodig hebben en de host het niet heeft, dat het wat van dom0 snoept. Maar dat zou in alle gevallen op de host gelogd moeten worden. Zie je in dom0 wel iets in de logs over de afname van geheugen?

Yes, maar als ballooning ervoor gezorgd had dat dom0 minder geheugen heeft kan mem-set dat wel terugzetten. Maar in dit geval is het geheugen dus simpelweg "gestolen" door xen, zonder dat dat in de geheugenpool is gestopt.

Er wordt door xen niets gelogd verder.

Wat ik normaal zie, is dat bij het starten van een vps een paar MB wordt weggenomen van dom0, en dat krijg je ook weer terug van xen als je de vps stopt:

$free -m
Mem: 1896
$xl create testserver
$free -m
Mem: 1894
$xl destroy test
Mem: 1896

Maar wat me hier dus zorgen baart is dat er dus meer verdwijnt, want het gebeurt ook als ik niets gedaan heb een dag lang