[Logstash] Dubbele entries in webinterface

[Simkin]

Beste medetweakers,

Ik gebruik Rsyslog om system events te forwarden naar een remote Logstash indexer die het vervolgens aanbied aan Elasticsearch. Alles lijkt te werken, maar als ik de Logstash/Kibana interface bekijk zie ik dubbele entries staan die ik zo snel niet kan verklaren.

Voorbeeld:

code:

03/26 08:30:05  Mar 26 08:30:05 postfix: connect from unknown[172.16.0.206]
03/26 08:30:05  Mar 26 08:30:05 postfix: connect from unknown[172.16.0.206]
03/26 08:30:04  Mar 26 08:30:04 postfix: disconnect from unknown[172.16.0.206]
03/26 08:30:04  Mar 26 08:30:04 postfix: disconnect from unknown[172.16.0.206]

de Rsyslog.conf bevat de volgend entry: $RepeatedMsgReduction on

Ik gebruik de volgende Logstash indexer :

code:

input {
   udp {
      port => 55514
      type => "syslog"
      buffer_size => 8192
      format => "json_event"
   }
}
output {
 # stdout { debug => true debug_format => "json"}
  elasticsearch { host => "127.0.0.1" }
 # redis { host => "127.0.0.1" data_type => "list" key => "testsyslog" }
   file { path => "/var/log/incomingsys_log" }
}

Zoals je ziet heb ik extra outputs toegevoegd om te bekijken of er mogelijk dubbele entries binnenkomen, dit lijkt niet het geval te zijn aangezien zodra ik een tail open naar /var/log/incomingsys_log ik de entries maar 1 keer geschreven zie worden maar in de web interface twee keer.

Vriend Google heeft mij helaas in de steek gelaten, kan iemand verklaren hoe dit komt en hoe ik dit kan voorkomen?

[Hero of Time]

Bug in de software? Heb je al gekeken in hun bugtracker of gemeld dat er een fout zit? Als de webinterface een bestand moet uitlezen en die is goed, maar de interface geeft 't verkeerd weer, is 't een bug.

[Simkin]

Ik ben er uit, het betreft een gebruikersfout.

Ik start logstash op met "... agent -f /opt/logstash/conf/", in /conf/ stonden meerdere .conf files. Ik was in de (verkeerde) veronderstelling dat elke .conf file een input, filter en output moet bevatten.

Nu pas weet ik dat alle losse files door Logstash worden samengevoegd (runtime) tot 1 grote .conf file waardoor er dus duplicate output regels in kwamen te staan.

Ik gebruik nu aparte files per sectie, dus 00_input.conf, 50_filters.conf en 99_output.conf, dit lost mijn probleem op.

Bedankt voor het meedenken!