Graylog2 live logging

[DennusB]

Hi Tweakers,

Ik ben een beetje aan het stoeien met Graylog2. En ondertussen heb ik Graylog2, samen met Elasticsearch en mongodb aan de gang. Nu wil ik alle logging van mijn test omgeving naar Graylog2 hebben. Dus ook bijvoorbeeld error logs van Apache2. Nu zijn er verschillende manieren om de logs niet realtime naar Graylog2 te sturen, maar mijn vraag is :

Is er een manier om direct vanuit applicaties de logging regels te 'pipen' naar Graylog2? Met een extra stukje 'tekst' in de logging optie van bijvoorbeeld Apache2? Heeft iemand hier enige ervaring mee?
Google vertelt een hoop, maar niet hoe ik het LIVE naar Graylog2 krijg.

Hopelijk kan iemand me helpen

[BarthezZ]

Ik heb wel een beetje zitten spelen met graylog2 een tijd terug. Wat ik ervan herinner is dat graylog listeners aanmaakt, bijvoorbeeld om syslog te ontvange (of hun eigen formaat).

Als je apache zo ver krijgt om de access logs naar syslog te sturen, wat in de apache docs wel genoemd word, maar niet hoe, moet het mogelijk zijn dit realtime in Graylog te krijgen.

Waar ik eigenlijk wel benieuwd naar ben, waarom wil je je Access logs in graylog hebben? In een test omgeving zou ik liever tail -f /var/log/apache2/access.log doen, want echt een archief ervan lijkt me niet heel spannend. (behalve natuurlijk voor awstats/webalizer)

[DennusB]

BarthezZ schreef op dinsdag 14 februari 2012 @ 22:47:
Ik heb wel een beetje zitten spelen met graylog2 een tijd terug. Wat ik ervan herinner is dat graylog listeners aanmaakt, bijvoorbeeld om syslog te ontvange (of hun eigen formaat).

Als je apache zo ver krijgt om de access logs naar syslog te sturen, wat in de apache docs wel genoemd word, maar niet hoe, moet het mogelijk zijn dit realtime in Graylog te krijgen.

Waar ik eigenlijk wel benieuwd naar ben, waarom wil je je Access logs in graylog hebben? In een test omgeving zou ik liever tail -f /var/log/apache2/access.log doen, want echt een archief ervan lijkt me niet heel spannend. (behalve natuurlijk voor awstats/webalizer)

Er staat ook niet dat ik access logs in Graylog wil, maar de error logs van Apache In ieder geval bedankt! Is het niet mogelijk om een soort netcat statement in de logging opties aan te halen? Dan kan je hem netcatten naar Graylog toch?

[Kees]

Er zijn meerdere mogelijkheden om dat te doen:

1) Eenvoudigste: laat apache loggen naar syslog, waarbij syslog het weer verder stuurt
2) Gebruik Logstash
3) Schrijf zelf iets wat als input een accesslog heeft en die vervolgens naar graylog2 stuurt, en gebruik die dmv een pipe in je apacheconfig

[satya]

Volgens mij is het mogelijk om rsyslog ook naar je apache errorlog file te laten kijken, en dit naar je graylog2 server te laten meesturen. Check ook eens nxlog hiervoor, dan kun je je eventueel beperken tot allen je apache error log, en het via GELF naar graylo2 sturen, zodat je velden ook meteen mee geïndexeerd worden, en dit je zoeken in je logs meteen versnellen kan.