Java geheugenprobleem

[Thyzz]

We hebben een proces draaien dat op gezette tijden berekeningen voor ons doet. Die berekeningen worden daarna opgeslagen in een database.

Nu is het probleem dat het proces dat die berekeningen uitvoert geheugen lekt. Alleen kunnen we niet vinden waar dat gebeurt. Met de gebruikelijke HEAP dumpes etc lijkt het geheugen gebruik binnen de perken te b;ijven. Na 7 nachten van berekenen is de heap niet groter dan ~1GB. Dit terwijl we op OS (linux x64) niveau van 1,7GB used memory naar 5.9GB used memory zijn gegaan.
Na nog een nacht berekenen zien we dan dat Linux de OOM aanroept en het Java proces afschiet.

In de onderstaande tabel zie je van een aantal dagen achter elkaar de gemeten waarden van:
pmap -x <pid> --> RSS in kB
Heap usage
Heap allocation

pmap	heap usage	heap allocated
1711324kB (1670MB)	889810kB (868MB)	1000079kB (976MB)
2203704kB (2152MB)	861306kB (841MB)	1075970kB (1050MB)
3901152kB (3809MB)	828637kB (809MB)	958005kB (935MB)
4238564kB (4139MB)	1116391kB (1090MB)	1254883kB (1225MB)
5834520kB (5697MB)	1012103kB (988MB)	1244079kB (1214MB)

Deze waarden zijn van hetzelfde java proces dat een x aantal dagen achter elkaar draait. Elke ochtend zijn deze waarden gemeten

Hoe kan ik achterhalen waar het geheugen naar toe gaat?
Visualvm (waar ik de HEAP mee uitlees) gegeven niet echt veel meer informatie.
Ik heb ook gekeken naar open connecties/thread leaks omdat voor elke thread er een aparte stack wordt opgebouwd waar buiten om de HEAP ook geheugen voor wordt gealloceerd, maar het aantal threads groeit niet

[ Voor 12% gewijzigd door Thyzz op 23-02-2012 14:44 . Reden: ook mb's toegevoegd ]

[pedorus]

Met visualvm kun je ook een dump maken van het geheugen, en er zit een memory profiler in. Verder zijn alleen waarden na een garbage collection nuttig om iets mee te doen (zit een knopje voor), anders kun je er eigenlijk weinig mee. Waarden die leesbaar zijn in GB zijn ook wel handig.

Maar het lijkt hier toch niet om het normale java-geheugen te gaan, maar om een probleempje met java of linux. Je krijgt neem ik aan geen Java-exception, enkel logentries in je linux-logs? Welke versie van java gaat dit over? (java --version) Welke linux-versie?

[Thyzz]

pedorus schreef op maandag 20 februari 2012 @ 14:18:
Met visualvm kun je ook een dump maken van het geheugen, en er zit een memory profiler in. Verder zijn alleen waarden na een garbage collection nuttig om iets mee te doen (zit een knopje voor), anders kun je er eigenlijk weinig mee. Waarden die leesbaar zijn in GB zijn ook wel handig.

De waarden zijn na een garbage collect. Er zijn nog een aantal EHCaches die waardes vasthouden waardoor de heap zo rond de 1GB blijft hangen.

pedorus schreef op maandag 20 februari 2012 @ 14:18:
Maar het lijkt hier toch niet om het normale java-geheugen te gaan, maar om een probleempje met java of linux. Je krijgt neem ik aan geen Java-exception, enkel logentries in je linux-logs? Welke versie van java gaat dit over? (java --version) Welke linux-versie?

Klopt ik krijg geen java-exceptions enkel OOM meldingen in kernel.log

code:

$ java -version
java version "1.6.0_26"
Java(TM) SE Runtime Environment (build 1.6.0_26-b03)
Java HotSpot(TM) 64-Bit Server VM (build 20.1-b02, mixed mode)

$ uname -a
Linux as5 2.6.32-5-amd64 #1 SMP Tue Jun 14 09:42:28 UTC 2011 x86_64 GNU/Linux
Debain squeeze.

Maar ik heb het ook op

code:

$ java -version
java version "1.6.0_12"
Java(TM) SE Runtime Environment (build 1.6.0_12-b04)
Java HotSpot(TM) 64-Bit Server VM (build 11.2-b01, mixed mode)

$ uname -a
Linux as1 2.6.30-1-amd64 #1 SMP Sun Jun 14 15:00:29 UTC 2009 x86_64 GNU/Linux
Debian Lenny

[SPee]

IO die niet wordt afgesloten

En een stackdump wanneer de applicatie crasht aanzetten.
Dan kun je zien wat er in het geheugen zit tijdens de crash. Moet de applicatie wel gecrasht zijn en niet "netjes" door een extern proces gestopt.

[matthijsln]

Vreemd dat de oom-killer werkt ipv dat je een OOME krijgt. Wat heb je als heap max (-Xmx optie) opgegeven? Stel deze anders eens lager in zodat je een OOME krijgt en je JRE niet zomaar wordt gekilled, met eventueel de optie XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/path/to/dump/dir.

Open de dump eens met een IDE als NetBeans of een andere memory profiler en sorteer op totale grootte van instances e.d.

Workaround is natuurlijk indien mogelijk gewoon elke nacht een nieuw proces starten met cron.

[Thyzz]

SPee schreef op maandag 20 februari 2012 @ 15:20:
IO die niet wordt afgesloten

Is er te zien welke IO open staat? Want met pmap kan ik alleen zien dat de geheugen blokken die toenemen zitten in grote [annon] blokken.

En een stackdump wanneer de applicatie crasht aanzetten.
Dan kun je zien wat er in het geheugen zit tijdens de crash. Moet de applicatie wel gecrasht zijn en niet "netjes" door een extern proces gestopt.

Ik moet die stack toch ook al met visualvm kunnen zien?

matthijsln schreef op maandag 20 februari 2012 @ 15:24:
Vreemd dat de oom-killer werkt ipv dat je een OOME krijgt. Wat heb je als heap max (-Xmx optie) opgegeven? Stel deze anders eens lager in zodat je een OOME krijgt en je JRE niet zomaar wordt gekilled, met eventueel de optie XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/path/to/dump/dir.

Ik heb ook eerst heel lang zitten zoeken waarom ik geen OOME kreeg. Maar de HEAP wordt nooit te groot. Dat zie je aan de allocated heap. Die groet niet boven de 1.2-1.3 GB
De maximale heap = -Xmx=3072m

Open de dump eens met een IDE als NetBeans of een andere memory profiler en sorteer op totale grootte van instances e.d.

Dan kan ik alleen zien wat er in de HEAP zit, maar daar lijkt he probleem niet te zitten (Zie Heap Usage)

[qoute]
Workaround is natuurlijk indien mogelijk gewoon elke nacht een nieuw proces starten met cron.

Zo iets doen we nu al, alleen dat wordt een onhoudbare situatie

[roy-t]

Hoe groot wordt het java VM host process zelf tijdens dit alles?

[pedorus]

Gebruik je ehcache met off-heap storage, andere off-heap storage, resources die niet goed in een try-blokje staan of zijn er andere native zaken? Gebruik je -XX:MaxDirectMemorySize=? Wat zijn de statistiekjes de je ziet bij top, ga je echt richting 100% memory?

[H!GHGuY]

Post eens een deel van de output van pmap.
Kan het zijn dat je veel threads start die niet terug gejoined worden? Misschien leak je gewoon de stacks van die threads.

Kijk ook even met lsof. Ik verwacht daar niet veel van, maar je weet maar nooit.

[Thyzz]

roy-t schreef op maandag 20 februari 2012 @ 16:01:
Hoe groot wordt het java VM host process zelf tijdens dit alles?

Sorry hier moetje je wat meer uitleg bij geven. Als je bedoelt wat top aangeeft dan is dat gelijk aan de pmap waarden in de SP.

pedorus schreef op maandag 20 februari 2012 @ 16:11:
Gebruik je ehcache met off-heap storage, andere off-heap storage, resources die niet goed in een try-blokje staan of zijn er andere native zaken? Gebruik je -XX:MaxDirectMemorySize=? Wat zijn de statistiekjes de je ziet bij top, ga je echt richting 100% memory?

ehcache staat niet in off-heap storage (is alleen enterprice). Daarnaast ook geen andere off-heap storage.
Alle resources worden door het Spring-Framework beheert. Dus ik zie zo 1.2.3. niet waar we daar een leak hebben. Daarnaast had ik verwacht dat Yourkit mij daar ook wel op zou wijzen.
-XX:MaxDirectMemorySize gebruiken we niet
Ja hij gaat helemaal naar 100% en dus 0% bruikbaar geheugen op de server

H!GHGuY schreef op maandag 20 februari 2012 @ 20:43:
Post eens een deel van de output van pmap.
Kan het zijn dat je veel threads start die niet terug gejoined worden? Misschien leak je gewoon de stacks van die threads.

Kijk ook even met lsof. Ik verwacht daar niet veel van, maar je weet maar nooit.

Ik zal kijken of ik hier nog wat extra info uit kan halen

[roy-t]

Thyzz schreef op dinsdag 21 februari 2012 @ 08:58:
[...]

Sorry hier moetje je wat meer uitleg bij geven. Als je bedoelt wat top aangeeft dan is dat gelijk aan de pmap waarden in de SP.

Als ik het goed heb wordt er voor alle Java apps 1 Java virtual machine gemaakt, kan het zo zijn dat je programma zelf geheugen kwijt raakt, wat wel nog in het VM blijft zitten? Dat zou verklaren waarom je proces zelf niet zo groot wordt.

het is wel even geleden dat ik diep in Java zat

[ Voor 6% gewijzigd door roy-t op 21-02-2012 09:32 ]

[Thyzz]

roy-t schreef op dinsdag 21 februari 2012 @ 09:31:
[...]

Als ik het goed heb wordt er voor alle Java apps 1 Java virtual machine gemaakt, kan het zo zijn dat je programma zelf geheugen kwijt raakt, wat wel nog in het VM blijft zitten? Dat zou verklaren waarom je proces zelf niet zo groot wordt.

Nee elke java app die je 'los' opstart krijgt z'n eigen JVM en is te zien als een los proces in top.
In dit geval draaien de processen in een tomcat servlet container. Die servlet container wordt gezien als 1 java proces met dus 1 JVM. De waardes die je ziet zijn de waardes van die ene JVM

[pedorus]

Wat is de output van jmap [-heap] <pid>? (Onder Ubuntu werkt dit alleen na echo 0 | sudo tee /proc/sys/kernel/yama/ptrace_scope , echo 1 of reboot om terug te zetten)

Wellicht interessante presentatie: www.springsource.com/file...leshooting-production.pdf

Normaal komt de RSS-waarde van pmap vrijwel overeen met de heap-grootte, zitten geen gigabytes tussen.

[Remus]

Volgens mij kan Java ook een OoM geven indien je te veel threads aanmaakt, misschien handig om de volledige stacktrace en foutboodschap te posten.

[ Voor 32% gewijzigd door Remus op 21-02-2012 16:02 ]

[Thyzz]

Remus schreef op dinsdag 21 februari 2012 @ 16:01:
Volgens mij kan Java ook een OoM geven indien je te veel threads aanmaakt, misschien handig om de volledige stacktrace en foutboodschap te posten.

Als je te veel threads aanmaakt krijg je een OOM in java zelf
• java.lang.OutOfMemoryError: unable to create new native thread
In dit geval is het Linux die java killed omdat er geen memory meer beschikbaar is

[Radiant]

Moet java wel de kans krijgen om die OOM exception te geven natuurlijk Als een ander proces in die tijd geheugen wil hebben en het is er niet gaat Linux gewoon je java proces afschieten omdat die het meest gebruikt op dat moment.

[Thyzz]

Ik zou nog een dump vanuit pmap geven. (Dit is trouwens op een andere machine, dus de geheugen absoluten kunnen wat afwijken)

Bij deze dump geeft top

code:

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
28604 tomcat   20   0 5708m 3.1g  12m S    4 52.7 216:23.12 java

terwijl java aangeeft:

code:

Current heap size: 
  535.314 kbytes
Maximum heap size: 
2.796.224 kbytes
Committed memory: 
1.045.056 kbytes

code:

Address           Kbytes     RSS   Dirty Mode   Mapping
0000000040000000       0      36       0 r-x--  java
0000000040108000       0       8       8 rwx--  java
0000000040750000       0  421388  421388 rwx--    [ anon ]
0000000730000000       0   80716   80716 rwx--    [ anon ]
0000000734f40000       0       0       0 -----    [ anon ]
0000000739f00000       0       0       0 rwx--    [ anon ]
0000000740000000       0  699072  699072 rwx--    [ anon ]
000000076aab0000       0       0       0 -----    [ anon ]
000000076faf0000       0       0       0 rwx--    [ anon ]
00000007c0000000       0  349504  349504 rwx--    [ anon ]
00000007d5550000       0       0       0 -----    [ anon ]
00007fc240000000       0   30848   30848 rwx--    [ anon ]
00007fc241f5d000       0       0       0 -----    [ anon ]
00007fc244000000       0    4936    4936 rwx--    [ anon ]
00007fc2445d9000       0       0       0 -----    [ anon ]
00007fc248000000       0   45244   45244 rwx--    [ anon ]
00007fc24ad29000       0       0       0 -----    [ anon ]
00007fc24c000000       0   45024   45024 rwx--    [ anon ]
00007fc24ecdd000       0       0       0 -----    [ anon ]
00007fc250000000       0   65528   65528 rwx--    [ anon ]
00007fc253ffe000       0       0       0 -----    [ anon ]
00007fc254000000       0   65536   65536 rwx--    [ anon ]
00007fc258000000       0   65536   65536 rwx--    [ anon ]
00007fc25c000000       0   65296   65296 rwx--    [ anon ]
00007fc25ffc4000       0       0       0 -----    [ anon ]
00007fc260000000       0   65536   65536 rwx--    [ anon ]
00007fc264000000       0   65536   65536 rwx--    [ anon ]
00007fc268000000       0   65536   65536 rwx--    [ anon ]
00007fc26c000000       0   65536   65536 rwx--    [ anon ]
00007fc270000000       0   65536   65536 rwx--    [ anon ]
00007fc274000000       0   65316   65316 rwx--    [ anon ]
00007fc277fc9000       0       0       0 -----    [ anon ]
00007fc278000000       0   65536   65536 rwx--    [ anon ]
00007fc27c000000       0   65536   65536 rwx--    [ anon ]
00007fc280000000       0   65536   65536 rwx--    [ anon ]
00007fc284000000       0   65396   65396 rwx--    [ anon ]
00007fc287fdd000       0       0       0 -----    [ anon ]
00007fc288000000       0   65536   65536 rwx--    [ anon ]
00007fc28c000000       0   65536   65536 rwx--    [ anon ]
00007fc290000000       0   65536   65536 rwx--    [ anon ]
00007fc294000000       0   65536   65536 rwx--    [ anon ]
00007fc298000000       0   65536   65536 rwx--    [ anon ]
00007fc29c000000       0   65536   65536 rwx--    [ anon ]
00007fc2a0000000       0   65440   65440 rwx--    [ anon ]
00007fc2a3ff5000       0       0       0 -----    [ anon ]
00007fc2a47c8000       0       0       0 -----    [ anon ]
00007fc2a47cb000       0      24      24 rwx--    [ anon ]
00007fc2a49ca000       0       0       0 -----    [ anon ]
00007fc2a49cd000       0      24      24 rwx--    [ anon ]
00007fc2a4bcc000       0       0       0 -----    [ anon ]
00007fc2a4bcf000       0      24      24 rwx--    [ anon ]
00007fc2a4ccd000       0       0       0 -----    [ anon ]
00007fc2a4cd0000       0      24      24 rwx--    [ anon ]
00007fc2a4fd0000       0       0       0 -----    [ anon ]
00007fc2a4fd3000       0      24      24 rwx--    [ anon ]
00007fc2a50d1000       0       0       0 -----    [ anon ]
00007fc2a50d4000       0      24      24 rwx--    [ anon ]
00007fc2a51d2000       0       0       0 -----    [ anon ]
00007fc2a51d5000       0      24      24 rwx--    [ anon ]
00007fc2a52d3000       0       0       0 -----    [ anon ]
00007fc2a52d6000       0      24      24 rwx--    [ anon ]
00007fc2a53d4000       0       0       0 -----    [ anon ]
00007fc2a53d7000       0      24      24 rwx--    [ anon ]
00007fc2a54d5000       0       0       0 -----    [ anon ]
00007fc2a54d8000       0      24      24 rwx--    [ anon ]
00007fc2a57d8000       0       0       0 -----    [ anon ]
00007fc2a57db000       0      24      24 rwx--    [ anon ]
00007fc2a58d9000       0       0       0 -----    [ anon ]
00007fc2a58dc000       0      24      24 rwx--    [ anon ]
00007fc2a59da000       0       0       0 -----    [ anon ]
00007fc2a59dd000       0      24      24 rwx--    [ anon ]
00007fc2a5cdd000       0       0       0 -----    [ anon ]
00007fc2a5ce0000       0      24      24 rwx--    [ anon ]
00007fc2a5edf000       0       0       0 -----    [ anon ]
00007fc2a5ee2000       0      24      24 rwx--    [ anon ]
00007fc2a5fe0000       0       0       0 -----    [ anon ]
00007fc2a5fe3000       0      44      44 rwx--    [ anon ]
00007fc2a60e1000       0       0       0 -----    [ anon ]
00007fc2a60e4000       0      44      44 rwx--    [ anon ]
00007fc2a61e2000       0       0       0 -----    [ anon ]
00007fc2a61e5000       0      44      44 rwx--    [ anon ]
00007fc2a62e3000       0       0       0 -----    [ anon ]
00007fc2a62e6000       0      44      44 rwx--    [ anon ]
00007fc2a63e4000       0       0       0 -----    [ anon ]
00007fc2a63e7000       0      44      44 rwx--    [ anon ]
00007fc2a64e5000       0       0       0 -----    [ anon ]
00007fc2a64e8000       0      44      44 rwx--    [ anon ]
00007fc2a65e6000       0       0       0 -----    [ anon ]
00007fc2a65e9000       0      44      44 rwx--    [ anon ]
00007fc2a66e7000       0       0       0 -----    [ anon ]
00007fc2a66ea000       0      44      44 rwx--    [ anon ]
00007fc2a67e8000       0       0       0 -----    [ anon ]
00007fc2a67eb000       0      44      44 rwx--    [ anon ]
00007fc2a68e9000       0       0       0 -----    [ anon ]
00007fc2a68ec000       0      44      44 rwx--    [ anon ]
00007fc2a69ea000       0       0       0 -----    [ anon ]
00007fc2a69ed000       0      44      44 rwx--    [ anon ]
00007fc2a6aeb000       0       0       0 -----    [ anon ]
00007fc2a6aee000       0      44      44 rwx--    [ anon ]
00007fc2a6bec000       0       0       0 -----    [ anon ]
00007fc2a6bef000       0      44      44 rwx--    [ anon ]
00007fc2a6ced000       0       0       0 -----    [ anon ]
00007fc2a6cf0000       0      68      68 rwx--    [ anon ]
00007fc2a6dee000       0       0       0 -----    [ anon ]
00007fc2a6df1000       0      44      44 rwx--    [ anon ]
00007fc2a6eef000       0       0       0 -----    [ anon ]
00007fc2a6ef2000       0      44      44 rwx--    [ anon ]
00007fc2a6ff0000       0       0       0 -----    [ anon ]
00007fc2a6ff3000       0      36      36 rwx--    [ anon ]
00007fc2a70f1000       0       0       0 -----    [ anon ]
00007fc2a70f4000       0      36      36 rwx--    [ anon ]
00007fc2a71f2000       0       0       0 -----    [ anon ]
00007fc2a71f5000       0      36      36 rwx--    [ anon ]
00007fc2a72f3000       0       0       0 -----    [ anon ]
00007fc2a72f6000       0      36      36 rwx--    [ anon ]
00007fc2a73f4000       0       0       0 -----    [ anon ]
00007fc2a73f7000       0      36      36 rwx--    [ anon ]
00007fc2a74f5000       0       0       0 -----    [ anon ]
00007fc2a74f8000       0      36      36 rwx--    [ anon ]
00007fc2a75f6000       0       0       0 -----    [ anon ]
00007fc2a75f9000       0      36      36 rwx--    [ anon ]
00007fc2a76f7000       0       0       0 -----    [ anon ]
00007fc2a76fa000       0      36      36 rwx--    [ anon ]
00007fc2a77f8000       0       0       0 -----    [ anon ]
00007fc2a77fb000       0      24      24 rwx--    [ anon ]
00007fc2a78f9000       0       0       0 -----    [ anon ]
00007fc2a78fc000       0      24      24 rwx--    [ anon ]
00007fc2a7afb000       0       0       0 -----    [ anon ]
00007fc2a7afe000       0      24      24 rwx--    [ anon ]
00007fc2a7bfc000       0       0       0 -----    [ anon ]
00007fc2a7bff000       0      48      48 rwx--    [ anon ]
00007fc2a7eff000       0       0       0 -----    [ anon ]
00007fc2a7f02000       0      24      24 rwx--    [ anon ]
00007fc2a8000000       0   65344   65344 rwx--    [ anon ]
00007fc2ac196000       0       0       0 -----    [ anon ]
00007fc2ac199000       0      24      24 rwx--    [ anon ]
00007fc2ac297000       0       0       0 -----    [ anon ]
00007fc2ac29a000       0      24      24 rwx--    [ anon ]
00007fc2ac398000       0       0       0 -----    [ anon ]
00007fc2ac39b000       0      24      24 rwx--    [ anon ]
00007fc2ac499000       0       0       0 -----    [ anon ]
00007fc2ac49c000       0      24      24 rwx--    [ anon ]
00007fc2ac59a000       0       0       0 -----    [ anon ]
00007fc2ac59d000       0      24      24 rwx--    [ anon ]
00007fc2ac89d000       0       0       0 -----    [ anon ]
00007fc2ac8a0000       0      24      24 rwx--    [ anon ]
00007fc2acba0000       0       0       0 -----    [ anon ]
00007fc2acba3000       0      24      24 rwx--    [ anon ]
00007fc2acca1000       0       0       0 -----    [ anon ]
00007fc2acca4000       0      24      24 rwx--    [ anon ]
00007fc2acda2000       0       0       0 -----    [ anon ]
00007fc2acda5000       0      48      48 rwx--    [ anon ]
00007fc2acea3000       0       0       0 -----    [ anon ]
00007fc2acea6000       0      24      24 rwx--    [ anon ]
00007fc2ad0a5000       0       0       0 -----    [ anon ]
00007fc2ad0a8000       0      24      24 rwx--    [ anon ]
00007fc2ad1a6000       0       0       0 -----    [ anon ]
00007fc2ad1a9000       0      24      24 rwx--    [ anon ]
00007fc2ad2a7000       0       0       0 -----    [ anon ]
00007fc2ad2aa000       0    3188    3188 rwx--    [ anon ]
00007fc2ad6b9000       0       0       0 -----    [ anon ]
00007fc2ad6bc000       0      32      32 rwx--    [ anon ]
00007fc2ad7ba000       0       0       0 -----    [ anon ]
00007fc2ad7bd000       0      44      44 rwx--    [ anon ]
00007fc2ad8bb000       0       0       0 -----    [ anon ]
00007fc2ad8be000       0      32      32 rwx--    [ anon ]
00007fc2ad9bc000       0       0       0 -----    [ anon ]
00007fc2ad9bf000       0      32      32 rwx--    [ anon ]
00007fc2adabd000       0       0       0 -----    [ anon ]
00007fc2adac0000       0      32      32 rwx--    [ anon ]
00007fc2adbbe000       0       0       0 -----    [ anon ]
00007fc2adbc1000       0      32      32 rwx--    [ anon ]
00007fc2adcbf000       0       0       0 -----    [ anon ]
00007fc2adcc2000       0      40      40 rwx--    [ anon ]
00007fc2addc0000       0       0       0 -----    [ anon ]
00007fc2addc3000       0      44      44 rwx--    [ anon ]
00007fc2adec1000       0       0       0 -----    [ anon ]
00007fc2adec4000       0      52      52 rwx--    [ anon ]
00007fc2adfc2000       0       0       0 -----    [ anon ]
00007fc2adfc5000       0      40      40 rwx--    [ anon ]
00007fc2ae0c3000       0       0       0 -----    [ anon ]
00007fc2ae0c6000       0      32      32 rwx--    [ anon ]
00007fc2ae2c5000       0       0       0 -----    [ anon ]
00007fc2ae2c8000       0      60      60 rwx--    [ anon ]
00007fc2ae3c6000       0       0       0 -----    [ anon ]
00007fc2ae3c9000       0      52      52 rwx--    [ anon ]
00007fc2ae4c7000       0       0       0 -----    [ anon ]
00007fc2ae4ca000       0      36      36 rwx--    [ anon ]
00007fc2ae5c8000       0       0       0 -----    [ anon ]
00007fc2ae5cb000       0      52      52 rwx--    [ anon ]
00007fc2ae6c9000       0       0       0 -----    [ anon ]
00007fc2ae6cc000       0      32      32 rwx--    [ anon ]
00007fc2ae7ca000       0       0       0 -----    [ anon ]
00007fc2ae7cd000       0      36      36 rwx--    [ anon ]
00007fc2ae8cb000       0       0       0 -----    [ anon ]
00007fc2ae8ce000       0      40      40 rwx--    [ anon ]
00007fc2ae9cc000       0       0       0 -----    [ anon ]
00007fc2ae9cf000       0      44      44 rwx--    [ anon ]
00007fc2aeacd000       0       0       0 -----    [ anon ]
00007fc2aead0000       0      24      24 rwx--    [ anon ]
00007fc2aebce000       0       0       0 -----    [ anon ]
00007fc2aebd1000       0      48      48 rwx--    [ anon ]
00007fc2aeccf000       0       0       0 -----    [ anon ]
00007fc2aecd2000       0      24      24 rwx--    [ anon ]
00007fc2aedd0000       0       0       0 -----    [ anon ]
00007fc2aedd3000       0      44      44 rwx--    [ anon ]
00007fc2aefd2000       0       0       0 -----    [ anon ]
00007fc2aefd5000       0      32      32 rwx--    [ anon ]
00007fc2af0d3000       0       0       0 -----    [ anon ]
00007fc2af0d6000       0      48      48 rwx--    [ anon ]
00007fc2af1d4000       0    1052       8 rwxs-    [ shmid=0x8001 ]
00007fc2af2db000       0       0       0 -----    [ anon ]
00007fc2af2de000       0      36      36 rwx--    [ anon ]
00007fc2af3dc000       0      48       0 r-x--  libresolv-2.11.3.so
00007fc2af3ef000       0       0       0 -----  libresolv-2.11.3.so
00007fc2af5ee000       0       4       4 r-x--  libresolv-2.11.3.so
00007fc2af5ef000       0       4       4 rwx--  libresolv-2.11.3.so
00007fc2af5f0000       0       4       4 rwx--    [ anon ]
00007fc2af5f2000       0      16       0 r-x--  libnss_dns-2.11.3.so
00007fc2af5f7000       0       0       0 -----  libnss_dns-2.11.3.so
00007fc2af7f6000       0       4       4 r-x--  libnss_dns-2.11.3.so
00007fc2af7f7000       0       4       4 rwx--  libnss_dns-2.11.3.so
00007fc2af7f8000       0       8       0 r-x--  libnss_mdns4_minimal.so.2
00007fc2af7fa000       0       0       0 -----  libnss_mdns4_minimal.so.2
00007fc2af9f9000       0       4       4 rwx--  libnss_mdns4_minimal.so.2
00007fc2af9fa000       0       0       0 -----    [ anon ]
00007fc2af9fd000       0      52      52 rwx--    [ anon ]
00007fc2afafb000       0       0       0 -----    [ anon ]
00007fc2afafe000       0      44      44 rwx--    [ anon ]
00007fc2afbfc000       0       0       0 -----    [ anon ]
00007fc2afbff000       0      24      24 rwx--    [ anon ]
00007fc2afcfd000       0       0       0 -----    [ anon ]
00007fc2afd00000       0      24      24 rwx--    [ anon ]
00007fc2afdfe000       0       0       0 -----    [ anon ]
00007fc2afe01000       0      32      32 rwx--    [ anon ]
00007fc2afeff000       0       0       0 -----    [ anon ]
00007fc2aff02000       0      32      32 rwx--    [ anon ]
00007fc2b0000000       0   65476   65476 rwx--    [ anon ]
00007fc2b3ff4000       0       0       0 -----    [ anon ]
00007fc2b4034000       0       0       0 -----    [ anon ]
00007fc2b4037000       0      24      24 rwx--    [ anon ]
00007fc2b4135000       0       4       0 r-x--  librmi.so
00007fc2b4136000       0       0       0 -----  librmi.so
00007fc2b4235000       0       4       4 rwx--  librmi.so
00007fc2b4236000       0       0       0 -----    [ anon ]
00007fc2b4239000       0      24      24 rwx--    [ anon ]
00007fc2b4337000       0      32       0 r-xs-  resources.jar
00007fc2b43ec000       0       0       0 -----    [ anon ]
00007fc2b43ef000       0      24      24 rwx--    [ anon ]
00007fc2b44ed000       0       0       0 -----    [ anon ]
00007fc2b44f0000       0      24      24 rwx--    [ anon ]
00007fc2b47f0000       0      12       0 r-xs-  sunjce_provider.jar
00007fc2b47f3000       0      28       0 r-xs-  jsse.jar
00007fc2b47fa000       0      16       0 r-xs-  sunpkcs11.jar
00007fc2b47fe000       0      12       0 r-xs-  jce.jar
00007fc2b4801000       0       0       0 -----    [ anon ]
00007fc2b4804000       0      32      32 rwx--    [ anon ]
00007fc2b4902000       0      16       0 r-xs-  localedata.jar
00007fc2b4906000       0      12       0 r-xs-  jasper-el.jar
00007fc2b4909000       0      28       0 r-xs-  jasper.jar
00007fc2b4910000       0      56       0 r-xs-  ecj-3.3.1.jar
00007fc2b491e000       0       8       0 r-xs-  catalina-ha.jar
00007fc2b4920000       0       8       0 r-xs-  catalina-ant.jar
00007fc2b4922000       0      40       0 r-xs-  tomcat-coyote.jar
00007fc2b492c000       0       8       0 r-xs-  tomcat-i18n-ja.jar
00007fc2b492e000       0       8       0 r-xs-  servlet-api.jar
00007fc2b4930000       0       8       0 r-xs-  tomcat-i18n-fr.jar
00007fc2b4932000       0      16       0 r-xs-  catalina-tribes.jar
00007fc2b4936000       0       8       0 r-xs-  el-api.jar
00007fc2b4938000       0       8       0 r-xs-  jsp-api.jar
00007fc2b493a000       0      60       0 r-xs-  catalina.jar
00007fc2b4949000       0      16       0 r-xs-  tomcat-dbcp.jar
00007fc2b494d000       0       0       0 -----    [ anon ]
00007fc2b494e000       0       8       8 rwx--    [ anon ]
00007fc2b4a4e000       0       0       0 -----    [ anon ]
00007fc2b4a51000       0      36      36 rwx--    [ anon ]
00007fc2b4b4f000       0       0       0 -----    [ anon ]
00007fc2b4b52000       0      36      36 rwx--    [ anon ]
00007fc2b4c50000       0       0       0 -----    [ anon ]
00007fc2b4c53000       0      36      36 rwx--    [ anon ]
00007fc2b4d51000       0      60       0 r-x--  libnet.so
00007fc2b4d64000       0       0       0 -----  libnet.so
00007fc2b4e65000       0      12      12 rwx--  libnet.so
00007fc2b4e68000       0      24       0 r-x--  libmanagement.so
00007fc2b4e6e000       0       0       0 -----  libmanagement.so
00007fc2b4f6d000       0       8       8 rwx--  libmanagement.so
00007fc2b4f6f000       0       0       0 -----    [ anon ]
00007fc2b4f72000       0       8       8 rwx--    [ anon ]
00007fc2b5070000       0       0       0 -----    [ anon ]
00007fc2b5073000       0      40      40 rwx--    [ anon ]
00007fc2b5171000       0       0       0 -----    [ anon ]
00007fc2b5174000       0      48      48 rwx--    [ anon ]
00007fc2b5272000       0       0       0 -----    [ anon ]
00007fc2b5275000       0       8       8 rwx--    [ anon ]
00007fc2b5373000       0       0       0 -----    [ anon ]
00007fc2b5376000       0       8       8 rwx--    [ anon ]
00007fc2b5474000       0      12       0 r-x--  libdt_socket.so
00007fc2b5477000       0       0       0 -----  libdt_socket.so
00007fc2b5576000       0       8       8 rwx--  libdt_socket.so
00007fc2b5578000       0       0       0 -----    [ anon ]
00007fc2b557b000       0       8       8 rwx--    [ anon ]
00007fc2b5679000       0       0       0 -----    [ anon ]
00007fc2b567c000       0       8       8 rwx--    [ anon ]
00007fc2b577a000       0       0       0 -----    [ anon ]
00007fc2b577d000       0      36      36 rwx--    [ anon ]
00007fc2b587b000       0       0       0 -----    [ anon ]
00007fc2b587e000       0       8       8 rwx--    [ anon ]
00007fc2b597c000       0       0       0 -----    [ anon ]
00007fc2b597f000       0      36      36 rwx--    [ anon ]
00007fc2b5a7d000       0       0       0 -----    [ anon ]
00007fc2b5a80000       0      32      32 rwx--    [ anon ]
00007fc2b5b7e000       0       0       0 -----    [ anon ]
00007fc2b5b7f000       0    4148    4148 rwx--    [ anon ]
00007fc2b6184000       0    1632       0 r-xs-  rt.jar
00007fc2b631c000       0       0       0 -----    [ anon ]
00007fc2b631d000       0      12      12 rwx--    [ anon ]
00007fc2b641d000       0       0       0 -----    [ anon ]
00007fc2b641e000       0      12      12 rwx--    [ anon ]
00007fc2b651e000       0       0       0 -----    [ anon ]
00007fc2b651f000       0      12      12 rwx--    [ anon ]
00007fc2b661f000       0       0       0 -----    [ anon ]
00007fc2b6620000       0    1380    1380 rwx--    [ anon ]
00007fc2b6876000       0       0       0 -----    [ anon ]
00007fc2b689e000       0       0       0 rwx--    [ anon ]
00007fc2b6b20000       0     160     160 rwx--    [ anon ]
00007fc2b6b48000       0       0       0 -----    [ anon ]
00007fc2b6b70000       0       0       0 rwx--    [ anon ]
00007fc2b6ba0000       0    1368    1368 rwx--    [ anon ]
00007fc2b6cf6000       0       0       0 -----    [ anon ]
00007fc2b6d1e000       0       0       0 rwx--    [ anon ]
00007fc2b6fa0000       0     684     684 rwx--    [ anon ]
00007fc2b704b000       0       0       0 -----    [ anon ]
00007fc2b71a0000       0     200     200 rwx--    [ anon ]
00007fc2b71d2000       0       0       0 rwx--    [ anon ]
00007fc2b7261000       0   12288   12288 rwx--    [ anon ]
00007fc2b7e81000       0       0       0 rwx--    [ anon ]
00007fc2ba261000       0      48       0 r-x--  libzip.so
00007fc2ba26f000       0       0       0 -----  libzip.so
00007fc2ba371000       0      12      12 rwx--  libzip.so
00007fc2ba374000       0       4       4 rwx--    [ anon ]
00007fc2ba375000       0      44       0 r-x--  locale-archive
00007fc2ba4ea000       0      12       0 r-x--  libnpt.so
00007fc2ba4ed000       0       0       0 -----  libnpt.so
00007fc2ba5ec000       0       4       4 rwx--  libnpt.so
00007fc2ba5ed000       0      28       0 r-x--  libnss_files-2.11.3.so
00007fc2ba5f9000       0       0       0 -----  libnss_files-2.11.3.so
00007fc2ba7f8000       0       4       4 r-x--  libnss_files-2.11.3.so
00007fc2ba7f9000       0       4       4 rwx--  libnss_files-2.11.3.so
00007fc2ba7fa000       0      24       0 r-x--  libnss_nis-2.11.3.so
00007fc2ba804000       0       0       0 -----  libnss_nis-2.11.3.so
00007fc2baa03000       0       4       4 r-x--  libnss_nis-2.11.3.so
00007fc2baa04000       0       4       4 rwx--  libnss_nis-2.11.3.so
00007fc2baa05000       0      16       0 r-x--  libnss_compat-2.11.3.so
00007fc2baa0c000       0       0       0 -----  libnss_compat-2.11.3.so
00007fc2bac0b000       0       4       4 r-x--  libnss_compat-2.11.3.so
00007fc2bac0c000       0       4       4 rwx--  libnss_compat-2.11.3.so
00007fc2bac0d000       0    1560       0 r-x--  libyjpagent.so
00007fc2badfa000       0       0       0 -----  libyjpagent.so
00007fc2baef9000       0      40      40 rwx--  libyjpagent.so
00007fc2baf04000       0       8       8 rwx--    [ anon ]
00007fc2baf1a000       0     148       0 r-x--  libjdwp.so
00007fc2baf50000       0       0       0 -----  libjdwp.so
00007fc2bb04f000       0      16      16 rwx--  libjdwp.so
00007fc2bb059000       0      24       0 r-x--  libnsl-2.11.3.so
00007fc2bb06e000       0       0       0 -----  libnsl-2.11.3.so
00007fc2bb26d000       0       4       4 r-x--  libnsl-2.11.3.so
00007fc2bb26e000       0       4       4 rwx--  libnsl-2.11.3.so
00007fc2bb26f000       0       0       0 rwx--    [ anon ]
00007fc2bb271000       0     148       0 r-x--  libjava.so
00007fc2bb29a000       0       0       0 -----  libjava.so
00007fc2bb399000       0      20      20 rwx--  libjava.so
00007fc2bb3a0000       0      52       0 r-x--  libverify.so
00007fc2bb3ad000       0       0       0 -----  libverify.so
00007fc2bb4ac000       0      12      12 rwx--  libverify.so
00007fc2bb4af000       0      20       0 r-x--  librt-2.11.3.so
00007fc2bb4b6000       0       0       0 -----  librt-2.11.3.so
00007fc2bb6b5000       0       4       4 r-x--  librt-2.11.3.so
00007fc2bb6b6000       0       4       4 rwx--  librt-2.11.3.so
00007fc2bb6b7000       0       0       0 -----    [ anon ]
00007fc2bb6ba000       0      80      80 rwx--    [ anon ]
00007fc2bb7b8000       0      20       0 r-x--  libm-2.11.3.so
00007fc2bb838000       0       0       0 -----  libm-2.11.3.so
00007fc2bba38000       0       4       4 r-x--  libm-2.11.3.so
00007fc2bba39000       0       4       4 rwx--  libm-2.11.3.so
00007fc2bba3a000       0    6836       0 r-x--  libjvm.so
00007fc2bc354000       0       0       0 -----  libjvm.so
00007fc2bc456000       0     608     608 rwx--  libjvm.so
00007fc2bc60b000       0     164     164 rwx--    [ anon ]
00007fc2bc645000       0     660       0 r-x--  libc-2.11.3.so
00007fc2bc79e000       0       0       0 -----  libc-2.11.3.so
00007fc2bc99d000       0      16      16 r-x--  libc-2.11.3.so
00007fc2bc9a1000       0       4       4 rwx--  libc-2.11.3.so
00007fc2bc9a2000       0      20      20 rwx--    [ anon ]
00007fc2bc9a7000       0       8       0 r-x--  libdl-2.11.3.so
00007fc2bc9a9000       0       0       0 -----  libdl-2.11.3.so
00007fc2bcba9000       0       4       4 r-x--  libdl-2.11.3.so
00007fc2bcbaa000       0       4       4 rwx--  libdl-2.11.3.so
00007fc2bcbab000       0      72       0 r-x--  libpthread-2.11.3.so
00007fc2bcbc2000       0       0       0 -----  libpthread-2.11.3.so
00007fc2bcdc1000       0       4       4 r-x--  libpthread-2.11.3.so
00007fc2bcdc2000       0       4       4 rwx--  libpthread-2.11.3.so
00007fc2bcdc3000       0       4       4 rwx--    [ anon ]
00007fc2bcdc7000       0     112       0 r-x--  ld-2.11.3.so
00007fc2bcde5000       0       4       4 rwxs-    [ shmid=0x10002 ]
00007fc2bcde6000       0      12       0 r-xs-  tomcat-i18n-es.jar
00007fc2bcde9000       0      36       0 r-xs-  yjp201201261519.jar
00007fc2bcdf2000       0     160     160 rwx--    [ anon ]
00007fc2bce1a000       0       0       0 -----    [ anon ]
00007fc2bce42000       0       0       0 rwx--    [ anon ]
00007fc2bce72000       0      32      16 rwxs-  28604
00007fc2bce7a000       0     336     336 rwx--    [ anon ]
00007fc2bcece000       0      16       0 r-x--  libjli.so
00007fc2bced5000       0       0       0 -----  libjli.so
00007fc2bcfd6000       0       8       8 rwx--  libjli.so
00007fc2bcfd8000       0       4       4 rwx--    [ anon ]
00007fc2bcfd9000       0       4       0 r-xs-  annotations-api.jar
00007fc2bcfda000       0       4       0 r-xs-  tomcat-juli.jar
00007fc2bcfdb000       0       4       0 r-xs-  commons-daemon.jar
00007fc2bcfdc000       0       4       0 r-xs-  bootstrap.jar
00007fc2bcfdd000       0       4       4 rwx--    [ anon ]
00007fc2bcfde000       0       4       4 rwxs-    [ shmid=0x0 ]
00007fc2bcfdf000       0       8       8 rwx--    [ anon ]
00007fc2bcfe1000       0       4       0 -----    [ anon ]
00007fc2bcfe2000       0       8       8 rwx--    [ anon ]
00007fc2bcfe4000       0       4       4 r-x--  ld-2.11.3.so
00007fc2bcfe5000       0       4       4 rwx--  ld-2.11.3.so
00007fc2bcfe6000       0       4       4 rwx--    [ anon ]
00007fff00b43000       0      44      44 rwx--    [ stack ]
00007fff00bff000       0       4       0 r-x--    [ anon ]
ffffffffff600000       0       0       0 r-x--    [ anon ]
----------------  ------  ------  ------
total kB         5845388 3225076 3211856

De thread-count volgens Java

Zoals je ziet komt hij na elke berekening (de pieken) terug naar een standaard aantal

code:

s$ jmap -heap 28604
Attaching to process ID 28604, please wait...
Debugger attached successfully.
Server compiler detected.
JVM version is 20.1-b02

using thread-local object allocation.
Parallel GC with 4 thread(s)

Heap Configuration:
   MinHeapFreeRatio = 40
   MaxHeapFreeRatio = 70
   MaxHeapSize      = 3221225472 (3072.0MB)
   NewSize          = 1310720 (1.25MB)
   MaxNewSize       = 17592186044415 MB
   OldSize          = 5439488 (5.1875MB)
   NewRatio         = 2
   SurvivorRatio    = 8
   PermSize         = 67108864 (64.0MB)
   MaxPermSize      = 268435456 (256.0MB)

Heap Usage:
PS Young Generation
Eden Space:
   capacity = 350814208 (334.5625MB)
   used     = 37317720 (35.588951110839844MB)
   free     = 313496488 (298.97354888916016MB)
   10.63745970060597% used
From Space:
   capacity = 3538944 (3.375MB)
   used     = 0 (0.0MB)
   free     = 3538944 (3.375MB)
   0.0% used
To Space:
   capacity = 3473408 (3.3125MB)
   used     = 0 (0.0MB)
   free     = 3473408 (3.3125MB)
   0.0% used
PS Old Generation
   capacity = 715849728 (682.6875MB)
   used     = 236962112 (225.98468017578125MB)
   free     = 478887616 (456.70281982421875MB)
   33.10221443570905% used
PS Perm Generation
   capacity = 82444288 (78.625MB)
   used     = 81670040 (77.8866195678711MB)
   free     = 774248 (0.7383804321289062MB)
   99.06088339315879% used

[ Voor 4% gewijzigd door Thyzz op 24-02-2012 16:35 ]

[pedorus]

Tsja, bij het normale door java beheerde geheugen is dus weinig bijzonders te zien. Ook de Perm Generation is lang niet groot genoeg om een probleem te vormen. Je kunt nog kijken of jmap zonder -heap iets laat zien, of handmatig de [annon] blokken bekijken of je toevallig iets langs ziet komen dat je kan herkennen.

Ik zou indien mogelijk ook even proberen of dit probleem zich met 7u3 nog steeds voor doet, of toevallig magisch is opgelost.

[H!GHGuY]

Enkele opties:
- Kan het zijn dat je applicatie dynamisch modules laadt en die uitvoert?
In .NET heb je hier appdomains voor, zodat je die later ook terug kan unloaden + vrijgeven. Volgens wat ik vind gebeurt dit in java automatisch door het garbage collecten van de class loaders.
- Join() je wel met je threads?
- Ja kan ook een coredump maken en dan even zien wat er in die anon regions zit, zoals hierboven aangehaald.
(of gdb attachen en daarmee live een kijkje nemen)


edit:
kijk hier eens:
https://issues.cloudera.org/browse/FLUME-473
probleem met 64MB blokken...

[ Voor 9% gewijzigd door H!GHGuY op 25-02-2012 07:02 ]

[Thyzz]

H!GHGuY schreef op zaterdag 25 februari 2012 @ 07:01:
Enkele opties:
- Kan het zijn dat je applicatie dynamisch modules laadt en die uitvoert?
In .NET heb je hier appdomains voor, zodat je die later ook terug kan unloaden + vrijgeven. Volgens wat ik vind gebeurt dit in java automatisch door het garbage collecten van de class loaders.
- Join() je wel met je threads?

Threads start ik niet zelf op, zijn allemaal door Tomcat opgestarte Threads

- Ja kan ook een coredump maken en dan even zien wat er in die anon regions zit, zoals hierboven aangehaald.
(of gdb attachen en daarmee live een kijkje nemen)

Ja, ik zal eens kijken hoe dit moet. Alleen klinkt het een beetje te diep gaand Dan verwacht je echt een probleem met java)

edit:
kijk hier eens:
https://issues.cloudera.org/browse/FLUME-473
probleem met 64MB blokken...

He, die had ik nog niet gevonden. klinkt een beetje het zelfde, al hebben ze het daar over het virtuel geheugen, niet het resistent.
Toch maar even proberen of dit misschien bij ons ook het probleem kan oplossen...

[YopY]

Misschien ten overvloede, maar heb je wel eens de applicatie aan een profiler gehangen en een paar dagen laten draaien om te kijken wat er volloopt?

[SaphuA]

.

[ Voor 100% gewijzigd door SaphuA op 31-01-2022 15:33 ]

[Thyzz]

YopY schreef op maandag 27 februari 2012 @ 13:04:
Misschien ten overvloede, maar heb je wel eens de applicatie aan een profiler gehangen en een paar dagen laten draaien om te kijken wat er volloopt?

Ja, vandaar dat ik ook kan vertellen dat het probleem zich niet in de heap / andere java memory stacks af lijkt te spelen.
Na 6 dagen draaien (daarna crasht de server) is de heap usage na een full GC nogsteeds ~1GB, terwijl de RSS geheugen in Linux 6GB+ is. Zie ook de waarden in de startpost.

SaphuA schreef op maandag 27 februari 2012 @ 14:28:
Is het niet gewoon mogelijk om na elk interval gewoon een nieuwe instantie van de java applicatie te starten en de oude te sluiten?

Tuurlijk dat kan altijd. Maar dat is in de zelfde categorie als elke ochtend je database herstarten. Voor een server proces zou dit niet nodig moeten zijn.