[Ubuntu] Supervisord & monitoring

[sj31]

Hallo Tweakers,

Een vraag, ik heb een 14.04.2 LTS Ubuntu server draaien, hierop lopen een aantal processen doormiddel van supervisord die er voor zorgt dat deze automatisch draaien en herstarten na een error/crash. Nu heb ik dus deze server draaiend gemaakt maar wil ik de subprocessen die draaien in supervisord wat daadwerkelijk een process van zichzelf is, gaan monitoren. Dat als er een uit valt dat ik er een melding van krijg, is het mogelijk dat ik een soort statisch PID hiervoor kan krijgen dat de subprocessen een vast PID hebben en ik dus de PID kan monitoren of heeft iemand een ander idee?

Alvast bedankt!

[Bigs]

A. Waarom gebruik je niet gewoon upstart? Dat hetzelfde als wat jij wilt en zit in Ubuntu ingebouwd.

B. Als je Upstart gebruikt kun je met initctl de status van je proces testen. Upstart biedt ook events om iets met veranderingen in processen te doen.

C. Een statisch PID bestaat niet, maar de meeste processen schrijven hun PID gewoon weg in een pidfile in bijvoorbeeld /var/run, dus daar kun je altijd kijken wat het PID was bij het starten van je proces.

[sj31]

Bigs schreef op donderdag 28 mei 2015 @ 10:46:
A. Waarom gebruik je niet gewoon upstart? Dat hetzelfde als wat jij wilt en zit in Ubuntu ingebouwd.

B. Als je Upstart gebruikt kun je met initctl de status van je proces testen. Upstart biedt ook events om iets met veranderingen in processen te doen.

C. Een statisch PID bestaat niet, maar de meeste processen schrijven hun PID gewoon weg in een pidfile in bijvoorbeeld /var/run, dus daar kun je altijd kijken wat het PID was bij het starten van je proces.

Bedankt voor je antwoord, heb je een voorbeeld hoe ik Upstart kan gebruiken. Bij Supervisord kan ik in een config bestand het volgende zetten:

code:

[program:name]
command=/path/to/program

vervolgens kan ik makkelijk dit/deze programma/service stoppen, herstarten en start deze automatisch op bij het herstarten of opstarten van de server.

Kan je me een link sturen met uitleg over Upstart?

Alvast bedankt!

[RobIII]

En dit staat in Programming omdat...
PRG >> NOS

[CAPSLOCK2000]

Over hoeveel processen hebben we het?
Supervisord is gericht op tientallen tot duizenden processen. In zo'n situatie is upstart niet handig omdat je een apart script moet hebben voor ieder proces.
Als het echter om twee processen gaat is het waarschijnlijk beter om het maar aan upstart over te laten. Het eerste het beste voorbeeld dat ik kon vinden is https://gist.github.com/c4milo/940909 . Via google kan je de uitgebreide documentatie vinden.

Hoe wil je de monitoring doen? Heb je Nagios of iets dergelijks of wil je een e-mail krijgen? Ik heb een paar applicaties waar ik het init-script een mail laat sturen als het wordt aangeroepen. (met het 'mail' commando).

Ik heb geen ervaring met supervisord maar ik zou verwachten dat het wel een ingebouwd monitoring/notificatie systeem heeft.

PS. In de volgende Ubuntu-versie gaan we overigens over op systemd dat hier eigenlijk nog veel beter voor is, maar dat is nog niet van toepassing als je 14.04 draait.

[ Voor 6% gewijzigd door CAPSLOCK2000 op 28-05-2015 11:40 ]

[sj31]

CAPSLOCK2000 schreef op donderdag 28 mei 2015 @ 11:39:
Over hoeveel processen hebben we het?
Supervisord is gericht op tientallen tot duizenden processen. In zo'n situatie is upstart niet handig omdat je een apart script moet hebben voor ieder proces.
Als het echter om twee processen gaat is het waarschijnlijk beter om het maar aan upstart over te laten. Het eerste het beste voorbeeld dat ik kon vinden is https://gist.github.com/c4milo/940909 . Via google kan je de uitgebreide documentatie vinden.

Hoe wil je de monitoring doen? Heb je Nagios of iets dergelijks of wil je een e-mail krijgen? Ik heb een paar applicaties waar ik het init-script een mail laat sturen als het wordt aangeroepen. (met het 'mail' commando).

Ik heb geen ervaring met supervisord maar ik zou verwachten dat het wel een ingebouwd monitoring/notificatie systeem heeft.

PS. In de volgende Ubuntu-versie gaan we overigens over op systemd dat hier eigenlijk nog veel beter voor is, maar dat is nog niet van toepassing als je 14.04 draait.

Bedankt voor je antwoord,

Het gaat hier over 5 processen en de monitoring gaat inderdaad met Nagios, ik zou dan graag met Nagios willen monitoren of de server nog online is, of de schijf bijna vol is en of de load niet te veel is. Daarnaast wil ik die 5 processen die in Supervisord staan monitoren.

Alvast bedankt.

[CAPSLOCK2000]

Ik zou Nagios /niet/ gebruiken om te controleren of een proces is herstart. Als het succesvol is herstart dan is er geen direct probleem waar je onmiddelijk op moet reageren. Een uurtje later is ook wel goed. Nagios is voor dingen die stuk zijn (en blijven) en waar direct op moet worden gereageerd. Laat maar een mailtje sturen als het proces herstart dan kun je er naar kijken als het jou uitkomt.

[sj31]

CAPSLOCK2000 schreef op donderdag 28 mei 2015 @ 13:13:
Ik zou Nagios /niet/ gebruiken om te controleren of een proces is herstart. Als het succesvol is herstart dan is er geen direct probleem waar je onmiddelijk op moet reageren. Een uurtje later is ook wel goed. Nagios is voor dingen die stuk zijn (en blijven) en waar direct op moet worden gereageerd. Laat maar een mailtje sturen als het proces herstart dan kun je er naar kijken als het jou uitkomt.

Bedankt, maar het moet in Nagios. Bij mijn werk gebruiken we Nagios voor alle monitoring. Enig idee hoe ik het er in kan krijgen met supervisord?

[CAPSLOCK2000]

Ik ken supervisord niet maar volgens mij moet je dat helemaal los van elkaar zien.
Je zal een of andere markering moeten maken als het proces herstart, bv een file aanmaken en dan Nagios laten controleren of die file bestaat en dan alarm laten slaan.

Ik blijf er bij dat het de verkeerde aanpak is. Je moet problemen monitoren, niet de implementatie van het achterliggende systeem. Of een proces nu tien keer per uur of eens in het jaar herstart is niet echt interessant als je applicatie maar altijd op tijd z'n werk doet. Als de applicatie niet werkt, dan moet je alarm slaan, of er nu een herstart is geweest of niet.

Overigens zijn er wel uitbreidingen op Nagios die performance monitoring toevoegen maar dat is niet standaard dus wil ik er niet van uit gaan dat jullie het zo doen.

Hoe vaak een proces herstart is ook interessant om te weten maar hoort niet in je alert-systeem, dat moet je bij performance monitoring onderbrengen. Je gebruikt Nagios ook niet om te meten hoeveel bezoekers je website heeft.

Ken je het verschil tussen edge-triggered en level-triggered? Nagios is level-triggered, wat jij vraagt is edge-triggered.

[ Voor 5% gewijzigd door CAPSLOCK2000 op 28-05-2015 23:58 ]

[sj31]

CAPSLOCK2000 schreef op donderdag 28 mei 2015 @ 23:56:
Ik ken supervisord niet maar volgens mij moet je dat helemaal los van elkaar zien.
Je zal een of andere markering moeten maken als het proces herstart, bv een file aanmaken en dan Nagios laten controleren of die file bestaat en dan alarm laten slaan.

Ik blijf er bij dat het de verkeerde aanpak is. Je moet problemen monitoren, niet de implementatie van het achterliggende systeem. Of een proces nu tien keer per uur of eens in het jaar herstart is niet echt interessant als je applicatie maar altijd op tijd z'n werk doet. Als de applicatie niet werkt, dan moet je alarm slaan, of er nu een herstart is geweest of niet.

Overigens zijn er wel uitbreidingen op Nagios die performance monitoring toevoegen maar dat is niet standaard dus wil ik er niet van uit gaan dat jullie het zo doen.

Hoe vaak een proces herstart is ook interessant om te weten maar hoort niet in je alert-systeem, dat moet je bij performance monitoring onderbrengen. Je gebruikt Nagios ook niet om te meten hoeveel bezoekers je website heeft.

Ken je het verschil tussen edge-triggered en level-triggered? Nagios is level-triggered, wat jij vraagt is edge-triggered.

Het is voor ons redelijk belangrijk dat de processen individueel worden gemonitord want elk proces is afhankelijk van elkaar maar als een van de processen uitvalt hebben vele klanten van ons hier last van, daarom is het voor ons belangrijk dat als de service restart of uit is gevallen dat we aan kunnen tonen wat er is gebeurd en het belangrijkste dat we gelijk in kunnen gaan op de eventuele foutmelden en zorgen dat de service weer online komt.

Aangezien veel van onze klanten afhankelijk zullen zijn van deze service vinden wij het daadwerkelijk belangrijk dat deze individueel in de monitoring komen.

[CAPSLOCK2000]

Misschien kan je iets met de "Passive Check" functionaliteit van Nagios.

[Bigs]

Wij monitoren onze processen zelf in Zabbix, elke 30 seconden wordt er gesampled of het proces draait of niet. Een herstart zou je daardoor kunnen missen, maar dat is in onze context niet echt relevant (dat zouden we overigens wel zien aan een drop in de open sessies die we ook monitoren).

[sj31]

Heb uiteindelijk gebruik gemaakt van de Nagios package met aangepaste Plugins zodat we processen en luisterende TCP poorten kunnen monitoren.

Bedankt allemaal voor de reacties!