Viewer voor rsyslog server

[Rene2322]

Goedemiddag,

Mijn netwerk bestaat inmiddels uit diverse apparaten welke niet altijd probleemloos (samen)werken. Het leek mij handig (en veiliger) om op een centrale plaats de syslogs van deze devices te verzamelen. In mijn optiek zo debuggen bij eventuele issues hiermee wat soepeler moeten kunnen.

Misschien wat overdreven, maar ik heb hiervoor op mijn ESXi-server een extra Debian 11 VM geïnstalleerd waarop nu dedicated een rsyslog server luistert naar de inkomende logs. Ik moet er nog even voor zorgen dat deze logs mettertijd ook weer gepurged worden, maar dat is van latere zorg.

Ik ben nu op zoek naar een opensource viewer (webbased?) waarmee ik met enige filteropties de logs kan viewen en doorzoeken. Ik heb voor alsnog echter niets kunnen vinden.

Hebben jullie suggesties?

bvd,
René

[MAX3400]

Ik ben nu op zoek naar een opensource viewer (webbased?) waarmee ik met enige filteropties de logs kan viewen en doorzoeken.

cat kan dat toch? En daarna grep? Of misschien iets als LogAnalyzer?

Geen idee wat je precies wil / kan / hebt / verwacht maar iets zegt me dat je iets zoekt / in je hoofd hebt waar wij het bestaan niet vanaf weten?

[martyw]

ELK? Zie bv. https://www.bmc.com/blogs/logstash-using-data-pipeline/

[laurens0619]

ELK ja

https://maddevs.io/blog/log-collecting-with-elk-and-rsyslog/

[Anoniem: 37334]

Log4J ?

[ Voor 9% gewijzigd door Anoniem: 37334 op 17-01-2022 15:26 . Reden: Ja, slecht grapje ]

[jvanhambelgium]

Splunk ?
Als je een Synology NAS hebt kan je die gewoon gebruiken als "collector" ook.

[CAPSLOCK2000]

De software die het beste past bij wat je vraagt is ELK (of eigenlijk, "de ELK stack" want het is een combinatie Elasticsearch, Logstash en Kibana") of de commerciele tegenhanger Splunk (pas op, duur).

Maar dit zou Tweakers niet zijn als we niet zouden zeggen "Stel je wel de juiste vraag?" "Is dat wel echt wat je wil?". Vrijwel iedereen die syslog gebruikt verwerkt de resultaten met 'grep', 'less' en een hand vol andere Linux commandline utilities, zoals @MAX3400 aangeeft. Daarvoor moet je wel gebruik maken van de commandline en dat wil niet iedereen.

Maar een hele ELK-stack optuigen is best wel veel werk en eigenlijk niks voor beginners. Het gebruik ervan trouwens ook niet. Het is een echte powertool gericht op ervaren professionals (en gedreven hobbyisten). Ik denk dat je overigens wel kant-en-klare VMs kan krijgen die in ieder geval het eerste deel van de installatie versimpelen.

Dus mijn advies is om eerst eens met ssh op die VM in te loggen en dan te kijken hoe ver je komt met tools als 'grep' en 'less'. Dat is hoe 90% van de beheerders het doet en het is duizend keer minder werk dan ELK/Splunk installeren en configureren.

PS. Misschien onderschat ik je, zo'n centrale syslogserver is namelijk wel een aanwijzing dat je verder denkt dan de meesten, en ben je al lang en breed bekend met grep en wil je echt voor de "power" oplossing gaan. Dan kan ik ELK van harte aanbevelen.

[ Voor 10% gewijzigd door CAPSLOCK2000 op 17-01-2022 19:01 ]

[Kabouterplop01]

@CAPSLOCK2000 Als je dan SOF ELK pakt... dan is het ineens niet meer zo heel moeiljik.

[Rene2322]

MAX3400 schreef op maandag 17 januari 2022 @ 14:39:
[...]

cat kan dat toch? En daarna grep? Of misschien iets als LogAnalyzer?

Geen idee wat je precies wil / kan / hebt / verwacht maar iets zegt me dat je iets zoekt / in je hoofd hebt waar wij het bestaan niet vanaf weten?

Het zou heel goed kunnen dat ik iets zoek wat niet bestaat. Wanneer ik op het werk of thuis een computergerelateerd issue heb dan heeft het logboek van Windows mij al diverse keren de juiste hints verschaft om iets op te lossen.

Thuis heb ik af en toe stabiliteitsproblemen in het netwerk waarvan ik de oorzaak nog niet heb kunnen achterhalen. Een continue ping naar diverse onderdelen binnen en buiten het netwerk heeft nog niets opgeleverd.

Mijn idee was toen om, alle apparaten welke een logfunctie hebben, hun log naar een centrale plek te laten versturen zodat ik indien nodig alle errors/warnings van een bepaalde timestamp bij elkaar heb.

Deze logjes verzamel ik nu in een specifieke map op mijn "rsyslog server". Maar dan... Ik hoopte op het bestaan van een soort indexer welke mij op basis van voorgedefinieerde query's wat resultaten kan tonen.

Ik doe steeds meer met de command line (mijn servers zijn ook allemaal headless en desktoploos), maar helemaal vrij ben ik er nog niet mee... Visueel voelt dan iets comfortabeler.

jvanhambelgium schreef op maandag 17 januari 2022 @ 16:38:
Splunk ?
Als je een Synology NAS hebt kan je die gewoon gebruiken als "collector" ook.

Ik heb een QNAP, maar deze gaat dit jaar met pensioen. D.w.z. hij gaat verhuizen naar de schuur waar hij iedere nacht even opstart en dan wat data zal krijgen van mij TrueNAS (als extra backup). De QNAP zal verder geen diensten meer aanbieden.

CAPSLOCK2000 schreef op maandag 17 januari 2022 @ 18:58:
De software die het beste past bij wat je vraagt is ELK (of eigenlijk, "de ELK stack" want het is een combinatie Elasticsearch, Logstash en Kibana") of de commerciele tegenhanger Splunk (pas op, duur).

Maar dit zou Tweakers niet zijn als we niet zouden zeggen "Stel je wel de juiste vraag?" "Is dat wel echt wat je wil?". Vrijwel iedereen die syslog gebruikt verwerkt de resultaten met 'grep', 'less' en een hand vol andere Linux commandline utilities, zoals @MAX3400 aangeeft. Daarvoor moet je wel gebruik maken van de commandline en dat wil niet iedereen.

Maar een hele ELK-stack optuigen is best wel veel werk en eigenlijk niks voor beginners. Het gebruik ervan trouwens ook niet. Het is een echte powertool gericht op ervaren professionals (en gedreven hobbyisten). Ik denk dat je overigens wel kant-en-klare VMs kan krijgen die in ieder geval het eerste deel van de installatie versimpelen.

Dus mijn advies is om eerst eens met ssh op die VM in te loggen en dan te kijken hoe ver je komt met tools als 'grep' en 'less'. Dat is hoe 90% van de beheerders het doet en het is duizend keer minder werk dan ELK/Splunk installeren en configureren.

PS. Misschien onderschat ik je, zo'n centrale syslogserver is namelijk wel een aanwijzing dat je verder denkt dan de meesten, en ben je al lang en breed bekend met grep en wil je echt voor de "power" oplossing gaan. Dan kan ik ELK van harte aanbevelen.

Ik wil mezelf zeker niet verwarren met een doorgewinterde IT'er. Verre van dat... Hooguit met een geavanceerde gebruiker met een gezonde hobbymatige interesse voor IT.

Ik zal eerst het advies ter harte nemen om de pipe grep/egrep en less commando's te leren begrijpen en toe te passen. Als het gros van de syslog-gebruikers hiermee uit de voeten kan, dan geldt dat vast ook voor mij.

Zo niet dan ga ik mee eens verdiepen in andere genoemde stukjes software.

Hartelijk dank allemaal!

[Ben(V)]

Netwerk problemen zijn maar heel zelden te traceren in syslogs vrees ik.
Dus waarschijnlijk schiet je hiermee je doel voorbij.

En in het kader van thuis netwerken zijn het bijna altijd wifi issues.

[ Voor 22% gewijzigd door Ben(V) op 18-01-2022 11:53 ]

[MAX3400]

Rene2322 schreef op dinsdag 18 januari 2022 @ 10:07:
[...]


Ik wil mezelf zeker niet verwarren met een doorgewinterde IT'er. Verre van dat... Hooguit met een geavanceerde gebruiker met een gezonde hobbymatige interesse voor IT.

Nou, dat dus een beetje. Zag dat je met tagging en vif's aan de gang was (enige tijd terug) dus ga er maar vanuit dat je al 90% meer weet dan het gros van de mensen die hier iets komt vragen over netwerk-issues.

Maar zoals @Ben(V) aangeeft; allicht is syslogging niet de beste optie hiervoor. Maar, als we moeten meedenken, denk ik dat een mooie / aanvullende startpost met voldoende info over wat er staat / geconfigureerd / etc nodig is.

[Orion84]

CAPSLOCK2000 schreef op maandag 17 januari 2022 @ 18:58:
De software die het beste past bij wat je vraagt is ELK (of eigenlijk, "de ELK stack" want het is een combinatie Elasticsearch, Logstash en Kibana") of de commerciele tegenhanger Splunk (pas op, duur).

Voor thuis kan je gewoon de gratis versie van Splunk gebruiken, of een DEV licentie aanvragen (al weet ik niet of dat voor iedereen toegankelijk is of alleen voor mensen die voor klanten/partners werken).

Let wel: dat gaat je niet magisch allerlei inzichten geven, je zal (zeker voor een thuisnetwerk met apparatuur waar geen standaard add-ons voor zijn) vooral zelf queries en dashboards moeten gaan knutselen om informatie uit je data te halen.

@Rene2322 waar heb je trouwens op gezocht dat je niets kon vinden? Als ik google op "syslog monitoring tools" of "syslog monitoring tools open source" kom ik allerlei dingen tegen.

[ Voor 10% gewijzigd door Orion84 op 18-01-2022 14:18 ]

[Rene2322]

Orion84 schreef op dinsdag 18 januari 2022 @ 14:06:
[...]

Voor thuis kan je gewoon de gratis versie van Splunk gebruiken, of een DEV licentie aanvragen (al weet ik niet of dat voor iedereen toegankelijk is of alleen voor mensen die voor klanten/partners werken).

Let wel: dat gaat je niet magisch allerlei inzichten geven, je zal (zeker voor een thuisnetwerk met apparatuur waar geen standaard add-ons voor zijn) vooral zelf queries en dashboards moeten gaan knutselen om informatie uit je data te halen.

@Rene2322 waar heb je trouwens op gezocht dat je niets kon vinden? Als ik google op "syslog monitoring tools" of "syslog monitoring tools open source" kom ik allerlei dingen tegen.

In een poging mijn tekst wat beknopter te houden is dit aspect inderdaad wat onderbelicht in mijn verhaal.
Ik heb gezocht op syslog viewer i.c.m. een tijdbereik van 2j (succesverhalen van 2014 heb ik niet veel aan). Hier kwamen voornamelijk veel applicaties naar boven welke ofwel betaald waren, ofwel onder Windows draaide. De paar Linux-varianten werden beschrijven als "Docker" (nog geen fijne ervaring mee) of waren 'slechts' een opgekleurde notepad++. Verder werd bij sommige ook een andere syslog server gebruikt dan de inmiddels door mij geconfigureerde rsyslog. "open source" en "monitor" heb ik niet meegenomen in mijn zoektocht.

Mijn vraag was daarom meer gedreven door het stukje bomen en bos. Maak ik het mezelf niet te moeilijk? Zijn er meer hobbyisten die iets dergelijks doen en wat zijn hun ervaringen?

Waar ik mezelf wel op betrap is dat (bedankt voor de tik), wanneer ik wat druk ben, ik nogal makkelijk voor het uitgekauwde ga. Was voorheen ook mijn valkuil met programmeren. I.p.v. opschrijven wat ik wil en de functies en syntaxis erbij te zoeken was ik eerder op zoek naar snippets of hele lappen code. Dat laatste gaat tegenwoordig wel stukken beter en geeft meer voldoening.

[Orion84]

Rene2322 schreef op woensdag 19 januari 2022 @ 08:52:
[...]
Mijn vraag was daarom meer gedreven door het stukje bomen en bos. Maak ik het mezelf niet te moeilijk? Zijn er meer hobbyisten die iets dergelijks doen en wat zijn hun ervaringen?

Ik heb hier thuis Splunk draaien. Maar dat is vooral ook omdat dat ook is waar ik in mijn werk mee bezig ben en ik zo meteen een lab omgeving heb om dingetjes uit te proberen en zo.