Toon posts:

Viewer voor rsyslog server

Pagina: 1
Acties:

Vraag


  • Rene2322
  • Registratie: April 2007
  • Laatst online: 09:54
Goedemiddag,

Mijn netwerk bestaat inmiddels uit diverse apparaten welke niet altijd probleemloos (samen)werken. Het leek mij handig (en veiliger) om op een centrale plaats de syslogs van deze devices te verzamelen. In mijn optiek zo debuggen bij eventuele issues hiermee wat soepeler moeten kunnen.

Misschien wat overdreven, maar ik heb hiervoor op mijn ESXi-server een extra Debian 11 VM geïnstalleerd waarop nu dedicated een rsyslog server luistert naar de inkomende logs. Ik moet er nog even voor zorgen dat deze logs mettertijd ook weer gepurged worden, maar dat is van latere zorg.

Ik ben nu op zoek naar een opensource viewer (webbased?) waarmee ik met enige filteropties de logs kan viewen en doorzoeken. Ik heb voor alsnog echter niets kunnen vinden.

Hebben jullie suggesties?

bvd,
René

Alle reacties


  • MAX3400
  • Registratie: Mei 2003
  • Laatst online: 21-12-2022

MAX3400

XBL: OctagonQontrol

Ik ben nu op zoek naar een opensource viewer (webbased?) waarmee ik met enige filteropties de logs kan viewen en doorzoeken.
cat kan dat toch? En daarna grep? Of misschien iets als LogAnalyzer?

Geen idee wat je precies wil / kan / hebt / verwacht maar iets zegt me dat je iets zoekt / in je hoofd hebt waar wij het bestaan niet vanaf weten?

Mijn advertenties!!! | Mijn antwoorden zijn vaak niet snowflake-proof


  • laurens0619
  • Registratie: Mei 2002
  • Laatst online: 12:10

CISSP! Drop your encryption keys!


Anoniem: 37334

Log4J ? :D

[Voor 9% gewijzigd door Anoniem: 37334 op 17-01-2022 15:26. Reden: Ja, slecht grapje]


  • jvanhambelgium
  • Registratie: April 2007
  • Laatst online: 12:18
Splunk ?
Als je een Synology NAS hebt kan je die gewoon gebruiken als "collector" ook.

  • CAPSLOCK2000
  • Registratie: Februari 2003
  • Laatst online: 13:09

CAPSLOCK2000

zie teletekst pagina 888

De software die het beste past bij wat je vraagt is ELK (of eigenlijk, "de ELK stack" want het is een combinatie Elasticsearch, Logstash en Kibana") of de commerciele tegenhanger Splunk (pas op, duur).

Maar dit zou Tweakers niet zijn als we niet zouden zeggen "Stel je wel de juiste vraag?" "Is dat wel echt wat je wil?". Vrijwel iedereen die syslog gebruikt verwerkt de resultaten met 'grep', 'less' en een hand vol andere Linux commandline utilities, zoals @MAX3400 aangeeft. Daarvoor moet je wel gebruik maken van de commandline en dat wil niet iedereen.

Maar een hele ELK-stack optuigen is best wel veel werk en eigenlijk niks voor beginners. Het gebruik ervan trouwens ook niet. Het is een echte powertool gericht op ervaren professionals (en gedreven hobbyisten). Ik denk dat je overigens wel kant-en-klare VMs kan krijgen die in ieder geval het eerste deel van de installatie versimpelen.

Dus mijn advies is om eerst eens met ssh op die VM in te loggen en dan te kijken hoe ver je komt met tools als 'grep' en 'less'. Dat is hoe 90% van de beheerders het doet en het is duizend keer minder werk dan ELK/Splunk installeren en configureren.

PS. Misschien onderschat ik je, zo'n centrale syslogserver is namelijk wel een aanwijzing dat je verder denkt dan de meesten, en ben je al lang en breed bekend met grep en wil je echt voor de "power" oplossing gaan. Dan kan ik ELK van harte aanbevelen.

[Voor 10% gewijzigd door CAPSLOCK2000 op 17-01-2022 19:01]

This post is warranted for the full amount you paid me for it.


  • Kabouterplop01
  • Registratie: Maart 2002
  • Laatst online: 23-01 08:52

Kabouterplop01

chown -R me base:all

@CAPSLOCK2000 Als je dan SOF ELK pakt... dan is het ineens niet meer zo heel moeiljik.

  • Rene2322
  • Registratie: April 2007
  • Laatst online: 09:54
MAX3400 schreef op maandag 17 januari 2022 @ 14:39:
[...]

cat kan dat toch? En daarna grep? Of misschien iets als LogAnalyzer?

Geen idee wat je precies wil / kan / hebt / verwacht maar iets zegt me dat je iets zoekt / in je hoofd hebt waar wij het bestaan niet vanaf weten?
Het zou heel goed kunnen dat ik iets zoek wat niet bestaat. Wanneer ik op het werk of thuis een computergerelateerd issue heb dan heeft het logboek van Windows mij al diverse keren de juiste hints verschaft om iets op te lossen.

Thuis heb ik af en toe stabiliteitsproblemen in het netwerk waarvan ik de oorzaak nog niet heb kunnen achterhalen. Een continue ping naar diverse onderdelen binnen en buiten het netwerk heeft nog niets opgeleverd.

Mijn idee was toen om, alle apparaten welke een logfunctie hebben, hun log naar een centrale plek te laten versturen zodat ik indien nodig alle errors/warnings van een bepaalde timestamp bij elkaar heb.

Deze logjes verzamel ik nu in een specifieke map op mijn "rsyslog server". Maar dan... Ik hoopte op het bestaan van een soort indexer welke mij op basis van voorgedefinieerde query's wat resultaten kan tonen.

Ik doe steeds meer met de command line (mijn servers zijn ook allemaal headless en desktoploos), maar helemaal vrij ben ik er nog niet mee... Visueel voelt dan iets comfortabeler.
jvanhambelgium schreef op maandag 17 januari 2022 @ 16:38:
Splunk ?
Als je een Synology NAS hebt kan je die gewoon gebruiken als "collector" ook.
Ik heb een QNAP, maar deze gaat dit jaar met pensioen. D.w.z. hij gaat verhuizen naar de schuur waar hij iedere nacht even opstart en dan wat data zal krijgen van mij TrueNAS (als extra backup). De QNAP zal verder geen diensten meer aanbieden.
CAPSLOCK2000 schreef op maandag 17 januari 2022 @ 18:58:
De software die het beste past bij wat je vraagt is ELK (of eigenlijk, "de ELK stack" want het is een combinatie Elasticsearch, Logstash en Kibana") of de commerciele tegenhanger Splunk (pas op, duur).

Maar dit zou Tweakers niet zijn als we niet zouden zeggen "Stel je wel de juiste vraag?" "Is dat wel echt wat je wil?". Vrijwel iedereen die syslog gebruikt verwerkt de resultaten met 'grep', 'less' en een hand vol andere Linux commandline utilities, zoals @MAX3400 aangeeft. Daarvoor moet je wel gebruik maken van de commandline en dat wil niet iedereen.

Maar een hele ELK-stack optuigen is best wel veel werk en eigenlijk niks voor beginners. Het gebruik ervan trouwens ook niet. Het is een echte powertool gericht op ervaren professionals (en gedreven hobbyisten). Ik denk dat je overigens wel kant-en-klare VMs kan krijgen die in ieder geval het eerste deel van de installatie versimpelen.

Dus mijn advies is om eerst eens met ssh op die VM in te loggen en dan te kijken hoe ver je komt met tools als 'grep' en 'less'. Dat is hoe 90% van de beheerders het doet en het is duizend keer minder werk dan ELK/Splunk installeren en configureren.

PS. Misschien onderschat ik je, zo'n centrale syslogserver is namelijk wel een aanwijzing dat je verder denkt dan de meesten, en ben je al lang en breed bekend met grep en wil je echt voor de "power" oplossing gaan. Dan kan ik ELK van harte aanbevelen.
Ik wil mezelf zeker niet verwarren met een doorgewinterde IT'er. Verre van dat... Hooguit met een geavanceerde gebruiker met een gezonde hobbymatige interesse voor IT.

Ik zal eerst het advies ter harte nemen om de pipe grep/egrep en less commando's te leren begrijpen en toe te passen. Als het gros van de syslog-gebruikers hiermee uit de voeten kan, dan geldt dat vast ook voor mij.

Zo niet dan ga ik mee eens verdiepen in andere genoemde stukjes software.

Hartelijk dank allemaal!

  • Ben(V)
  • Registratie: December 2013
  • Laatst online: 13:05
Netwerk problemen zijn maar heel zelden te traceren in syslogs vrees ik.
Dus waarschijnlijk schiet je hiermee je doel voorbij.

En in het kader van thuis netwerken zijn het bijna altijd wifi issues.

[Voor 22% gewijzigd door Ben(V) op 18-01-2022 11:53]

All truth passes through three stages: First it is ridiculed, second it is violently opposed and third it is accepted as being self-evident.


  • MAX3400
  • Registratie: Mei 2003
  • Laatst online: 21-12-2022

MAX3400

XBL: OctagonQontrol

Rene2322 schreef op dinsdag 18 januari 2022 @ 10:07:
[...]


Ik wil mezelf zeker niet verwarren met een doorgewinterde IT'er. Verre van dat... Hooguit met een geavanceerde gebruiker met een gezonde hobbymatige interesse voor IT.
Nou, dat dus een beetje. Zag dat je met tagging en vif's aan de gang was (enige tijd terug) dus ga er maar vanuit dat je al 90% meer weet dan het gros van de mensen die hier iets komt vragen over netwerk-issues.

Maar zoals @Ben(V) aangeeft; allicht is syslogging niet de beste optie hiervoor. Maar, als we moeten meedenken, denk ik dat een mooie / aanvullende startpost met voldoende info over wat er staat / geconfigureerd / etc nodig is.

Mijn advertenties!!! | Mijn antwoorden zijn vaak niet snowflake-proof


  • Orion84
  • Registratie: April 2002
  • Laatst online: 28-01 20:57

Orion84

Admin General Chat / Wonen & Mobiliteit

Fotogenie(k)?

CAPSLOCK2000 schreef op maandag 17 januari 2022 @ 18:58:
De software die het beste past bij wat je vraagt is ELK (of eigenlijk, "de ELK stack" want het is een combinatie Elasticsearch, Logstash en Kibana") of de commerciele tegenhanger Splunk (pas op, duur).
Voor thuis kan je gewoon de gratis versie van Splunk gebruiken, of een DEV licentie aanvragen (al weet ik niet of dat voor iedereen toegankelijk is of alleen voor mensen die voor klanten/partners werken).

Let wel: dat gaat je niet magisch allerlei inzichten geven, je zal (zeker voor een thuisnetwerk met apparatuur waar geen standaard add-ons voor zijn) vooral zelf queries en dashboards moeten gaan knutselen om informatie uit je data te halen.

@Rene2322 waar heb je trouwens op gezocht dat je niets kon vinden? Als ik google op "syslog monitoring tools" of "syslog monitoring tools open source" kom ik allerlei dingen tegen.

[Voor 10% gewijzigd door Orion84 op 18-01-2022 14:18]

The problem with common sense is that it's not all that common. | LinkedIn | Flickr


  • Rene2322
  • Registratie: April 2007
  • Laatst online: 09:54
Orion84 schreef op dinsdag 18 januari 2022 @ 14:06:
[...]

Voor thuis kan je gewoon de gratis versie van Splunk gebruiken, of een DEV licentie aanvragen (al weet ik niet of dat voor iedereen toegankelijk is of alleen voor mensen die voor klanten/partners werken).

Let wel: dat gaat je niet magisch allerlei inzichten geven, je zal (zeker voor een thuisnetwerk met apparatuur waar geen standaard add-ons voor zijn) vooral zelf queries en dashboards moeten gaan knutselen om informatie uit je data te halen.

@Rene2322 waar heb je trouwens op gezocht dat je niets kon vinden? Als ik google op "syslog monitoring tools" of "syslog monitoring tools open source" kom ik allerlei dingen tegen.
In een poging mijn tekst wat beknopter te houden is dit aspect inderdaad wat onderbelicht in mijn verhaal.
Ik heb gezocht op syslog viewer i.c.m. een tijdbereik van 2j (succesverhalen van 2014 heb ik niet veel aan). Hier kwamen voornamelijk veel applicaties naar boven welke ofwel betaald waren, ofwel onder Windows draaide. De paar Linux-varianten werden beschrijven als "Docker" (nog geen fijne ervaring mee) of waren 'slechts' een opgekleurde notepad++. Verder werd bij sommige ook een andere syslog server gebruikt dan de inmiddels door mij geconfigureerde rsyslog. "open source" en "monitor" heb ik niet meegenomen in mijn zoektocht.

Mijn vraag was daarom meer gedreven door het stukje bomen en bos. Maak ik het mezelf niet te moeilijk? Zijn er meer hobbyisten die iets dergelijks doen en wat zijn hun ervaringen?

Waar ik mezelf wel op betrap is dat (bedankt voor de tik), wanneer ik wat druk ben, ik nogal makkelijk voor het uitgekauwde ga. Was voorheen ook mijn valkuil met programmeren. I.p.v. opschrijven wat ik wil en de functies en syntaxis erbij te zoeken was ik eerder op zoek naar snippets of hele lappen code. Dat laatste gaat tegenwoordig wel stukken beter en geeft meer voldoening.

  • Orion84
  • Registratie: April 2002
  • Laatst online: 28-01 20:57

Orion84

Admin General Chat / Wonen & Mobiliteit

Fotogenie(k)?

Rene2322 schreef op woensdag 19 januari 2022 @ 08:52:
[...]
Mijn vraag was daarom meer gedreven door het stukje bomen en bos. Maak ik het mezelf niet te moeilijk? Zijn er meer hobbyisten die iets dergelijks doen en wat zijn hun ervaringen?
Ik heb hier thuis Splunk draaien. Maar dat is vooral ook omdat dat ook is waar ik in mijn werk mee bezig ben en ik zo meteen een lab omgeving heb om dingetjes uit te proberen en zo.

The problem with common sense is that it's not all that common. | LinkedIn | Flickr

Pagina: 1


Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee