Tomcat 8.0.x threadpool

[X-DraGoN]

Op ons bedrijf hebben we verschillende Tomcat 8.0.x & 8.5.x servers draaien op basis van Ubuntu server [internet facing].
Daarboven op zijn verschillende eigen gebouwde applicaties gedeployed samen met jolokia om inzichtelijk te krijgen wat er nu precies allemaal mee gebeurd met die applicatie.
Jolokia zelf word dan weer door CheckMK uitgelezen en in grafiekjes gegoten.

Op sommige momenten begint de counter van threadpool op te lopen (tot maximum 500) en we kunnen niet direct zien van waar deze activiteit komt. Op de Manager-interface van Tomcat kunnen we actieve sessies zien zoals altijd op onze verschillende applicaties, maar nergens is een verband te vinden met het stijgen van die 'threadpool'.



Momenteel is Tomcat gestart met maxthreads="500" en deze kunnen we aanpassen zonder direct impact te hebben op de performance van de server, maar het blijft zeer vreemd van waar deze spike in 'Threadpool' komt.
De enige oplossing, als dit zich voor doet, is trouwens de server volledig te herstarten, alleen Tomcat herstarten helpt niet om hem terug aan de praat te krijgen.

Vraag:
-Heeft er iemand een idee hoe we bijvoorbeeld extra monitoring kunnen plaatsen op die Threadpool?
-Wat houdt die threadpool eigenlijk in en bij welke soort acties loopt die counter op? Applicatie-related / netwerk related?

[Morzzz]

Misschien krijg je concretere informatie als je inlogt lokaal of via SSH op de server, en iets als:

ps -x

draait.

Van de output van dit soort abstracte UI-interfaces wordt niemand wijzer...

[X-DraGoN]

Met 'ps aux' zie je op die moment ook niets vreemds aan de gang. Met 'htop' zien we de Java processen lopen, maar het lijken niet diegene die zorgen voor de eigenlijke groei van de threads.
Die screenshot is enkel ter indicatie van het probleem.
Wat ik echt zou willen weten is wat veroorzaakt dat er een thread 'busy' wordt op de server. Als we gewoon de applicatie gebruiken, zien we daar geen activiteit op bijkomen. Met andere woorden het hangt niet samen met de access op de applicaties die op de server draaien, maar met wat wel?

[Tux]

Zou kunnen dat alle threads op bijvoorbeeld een verbinding uit een database pool staan te wachten. Wat ik meestal doe is ‘jstack <pid van tomcat>’ draaien en de output door http://spotify.github.io/threaddump-analyzer/ heen te halen. Dat geeft een goed overzicht wat al die threads nou eigenlijk aan het doen zijn.

[X-DraGoN]

Tux schreef op zaterdag 27 november 2021 @ 19:44:
Zou kunnen dat alle threads op bijvoorbeeld een verbinding uit een database pool staan te wachten. Wat ik meestal doe is ‘jstack <pid van tomcat>’ draaien en de output door http://spotify.github.io/threaddump-analyzer/ heen te halen. Dat geeft een goed overzicht wat al die threads nou eigenlijk aan het doen zijn.

Zal ik eens proberen, merci voor de tip, die jstack kende ik nog niet

[X-DraGoN]

@Tux
Als ik jou suggestie probeer krijg ik het volgende:


Als ik dat verder ga opzoeken lijkt het er op dat ik jstack zou moeten starten als user die ook tomcat8 gestart heeft, maar dat is 'systemd'.
Jij enig idee hoe ik dat kan laten werken?

NVM: heb het gevonden op Adobe site:
sudo -u [naam_van_tomcat_gebruiker] jstack -l [PID-tomcat]

[ Voor 14% gewijzigd door X-DraGoN op 02-12-2021 11:10 ]

[Anoniem: 294759]

@X-DraGoN

offtopic:
Wellicht zijn jullie daar al bewust van maar ik meldt het maar even. Tomcat 8.0 is EOL
https://tomcat.apache.org/tomcat-80-eol.html

Gezien het om internet facing applicatie servers gaat zou ik willen aanraden om te denken aan het upgraden van Tomcat 8.x naar minstens 9.0.

[X-DraGoN]

Anoniem: 294759 schreef op maandag 6 december 2021 @ 20:31:
@X-DraGoN

offtopic:
Wellicht zijn jullie daar al bewust van maar ik meldt het maar even. Tomcat 8.0 is EOL
https://tomcat.apache.org/tomcat-80-eol.html

Gezien het om internet facing applicatie servers gaat zou ik willen aanraden om te denken aan het upgraden van Tomcat 8.x naar minstens 9.0.

Moest ik dat kunnen aanpassen zou ik dat al lang gedaan hebben...
De 'nieuwe' servers draaien tenminste al op 8.5