[BASH] Tail, grep en Pushover

[Verwijderd]

Hi,

Ik heb een logfile welke live moet worden uitgelezen en bij een match een Pushover melding versturen.
Het werkt, echter, het duurt lang voor de Pushover wordt verzonden. Waardoor zou dit komen en hoe kan ik het versnellen?

code:

#!/bin/bash
tail -n 0 -f /var/log/rfc/rfc.log | awk '
        /admin/ { system("curl -s -F \"token=TOKEN\" -F \"user=USER\" -F \"title=test\" -F \"message=bericht test\" https://api.pushover.net/1/messages.json") }'

[gekkie]

Meten is weten, dus splits het geheel eens op in stappen en bepaal dan welke stap er lang over doet.
Ik zou van achter naar voren werken denk ik, aangezien die curl aanroep van een of andere API nog wel eens tegen kan vallen.

[Verwijderd]

Heb er een echo tussen gezet maar dat duurde ruim 3 minuten:

code:

tail -n 0 -f /var/log/rfc/rfc.log | awk '
        /admin/ { system("echo \"test\" curl -s -F \"token=TOKEN\" -F \"user=USERr\" -F \"title=test\" -F \"message=bericht test\" https://api.pushover.net/1/messages.json") }'

Logfile zelf is maar 166K.

[ Voor 13% gewijzigd door Verwijderd op 28-03-2020 15:33 ]

[Sendy]

Misschien is de tail output gebufferd. Volgens internetbronnen kan je ‘stdbuf’ hiertegen gebruiken.

stdbuf -o0 tail -f logfile.log | ...

Of zoiets

tail -f logfile.log | stdbuf -o0 awk -F" " '{print $1, $2, $7, $8}'

[ Voor 22% gewijzigd door Sendy op 28-03-2020 15:33 ]

[Verwijderd]

Sendy schreef op zaterdag 28 maart 2020 @ 15:32:
Misschien is de tail output gebufferd. Volgens internetbronnen kan je ‘stdbuf’ hiertegen gebruiken.

stdbuf -o0 tail -f logfile.log | ...

Of zoiets

tail -f logfile.log | stdbuf -o0 awk -F" " '{print $1, $2, $7, $8}'

Ok, ga ik proberen.

PS.:
Did you just scared me? Thanks for the heads up!

[Verwijderd]

No luck:

code:

tail -n 0 -f /var/log/rfc/rfc.log | stdbuf -o0 awk '
        /admin/ { system("echo \"test\" curl -s -F \"token=WONTFOOLMETWICE\" -F \"user=WONTFOOLMETWICEr\" -F \"title=test\" -F \"message=bericht test\" https://api.pushover.net/1/messages.json") }'

[ Voor 3% gewijzigd door Verwijderd op 28-03-2020 15:38 ]

[gekkie]

Geef nou eens de tijden in millies van alle subonderdelen ?

[The Eagle]

Ik zou hier zelf iets als apache Flume voor gebruiken, icm een http sink. http://flume.apache.org/FlumeUserGuide.html#http-sink
Logfiles tailen zit er standaard in en er worden tig sinks ondersteund, dus kan ook nog naar andere of meerdere endpoints als je wilt

[ShitHappens]

Weten we zeker dat met awk genoeg tijd heeft de entry te vinden met -n 0? Duurt het ook 3 minuten als je handmatig een curl doet om een notificatie te sturen?

Persoonlijk zou ik trouwens iets als log monitoring overlaten aan een tool als Datadog, maar dat zou hier misschien een beetje overkill kunnen zijn

[aawe mwan]

Verwijderd schreef op zaterdag 28 maart 2020 @ 15:38:
No luck:

Ik ben er ook eens mee bezig geweest; volgens mij heeft awk zelf ook nog een buffer, die je zelf elke regel met fflush() leeg moet maken als je meteen output wilt zien.

Waar ik verder nog last van had is dat de buffering bij elk nieuw stukje pipe opnieuw weer op "groot" komt te staan, ik mijn geval heb ik dat niet met stdbuf opgelost (dat commando kende ik nog niet), maar door voor elk commando op te zoeken hoe je de buffering op "line buffering" moet zetten, want dat werkte het best.

[ Voor 28% gewijzigd door aawe mwan op 28-03-2020 17:03 ]

[RobIII]

Waar hoort mijn topic?
DEV >> NOS

[ Voor 53% gewijzigd door RobIII op 28-03-2020 17:00 ]

[MartinMeijerink]

Ik doe het gewoon zo, altijd meteen resultaat:

code:

tail -fn0 /var/log/rfc/rfc.log|while read;do curl -s --form "token=$apptoken" --form "sound=siren" --form "user=$user" --form "message=$REPLY" https://api.pushover.net/1/messages.json;done

[Verwijderd]

MartinMeijerink schreef op zaterdag 28 maart 2020 @ 18:24:
Ik doe het gewoon zo, altijd meteen resultaat:

code:

tail -fn0 /var/log/rfc/rfc.log|while read;do curl -s --form "token=$apptoken" --form "sound=siren" --form "user=$user" --form "message=$REPLY" https://api.pushover.net/1/messages.json;done

Ik zie nergens een match met keywords optie?

[aawe mwan]

Deze licht aangepaste versie van jouw code draait bij mij onder Ubuntu gewoon zoals bedoeld:

code:

tail -n 0 -f /var/log/auth.log | awk '/systemd-logind/ { system("echo \"test\" curl -s -F \"token=WONTFOOLMETWICE\" -F \"user=WONTFOOLMETWICEr\" -F \"title=test\" -F \"message=bericht test\" https://api.pushover.net/1/messages.json") }'

Dit geeft direct een regel bij inloggen en bij uitloggen.

Krijg je wel meteen wat te zien als je een kale tail -f op je logfile gebruikt?

[Verwijderd]

aawe mwan schreef op zondag 29 maart 2020 @ 10:42:
Deze licht aangepaste versie van jouw code draait bij mij onder Ubuntu gewoon zoals bedoeld:

code:

tail -n 0 -f /var/log/auth.log | awk '/systemd-logind/ { system("echo \"test\" curl -s -F \"token=WONTFOOLMETWICE\" -F \"user=WONTFOOLMETWICEr\" -F \"title=test\" -F \"message=bericht test\" https://api.pushover.net/1/messages.json") }'

Dit geeft direct een regel bij inloggen en bij uitloggen.

Krijg je wel meteen wat te zien als je een kale tail -f op je logfile gebruikt?

Deze lijkt niet te reageren op een match:

code:

#!/bin/bash

tail -n 0 -f /var/log/rfc/rfc.log | awk '/systemd-logind/ { system("echo \"admin\" curl -s -F \"token=token\" -F \"user=user\" -F \"title=NOC\" -F \"message=KEYWORD DETECTED: admin\" https://api.pushover.net/1/messages.json") }'

Sample log:

code:

Mar 29 11:01:00 - XX.XXX.21X.7X - MT_RFC_ - user -  admin logged in from 10.13.13.15 via winbox
Mar 29 11:01:05 - 127.0.0.1 - noc - kernel: - [ 3149.250117] [UFW BLOCK] IN=ens3 OUT= MAC=52:54:XX:XX:18:47:84:c1:c1:00:37:00:08:00 SRC=195.XX.XX.181 DST=136.XX.XXX.198 LEN=40 TOS=0x00 PREC=0x00 TTL=245 ID=47744 PROTO=TCP SPT=49294 DPT=61118 WINDOW=1024 RES=0x00 SYN URGP=0
Mar 29 11:01:08 - XX.XXX.21X.7X - MT_RFC_ - user -  admin logged out from 10.13.13.15 via winbox

[MartinMeijerink]

Verwijderd schreef op zondag 29 maart 2020 @ 10:12:
[...]


Ik zie nergens een match met keywords optie?

Ja, die moet je dan even greppen, deze stuurt elke nieuwe regel, maar met grep kun je dan filteren op keyword, het is ook meer als voorbeeld hoe het met een while read loop kan oplossen, dus dan maak je er dit bv. van:

code:

tail -fn0 /var/log/rfc/rfc.log|while read;do echo "$REPLY"|grep -q "user -  admin logged " && curl -s --form "token=$apptoken" --form "sound=siren" --form "user=$user" --form "message=$REPLY" https://api.pushover.net/1/messages.json;done

Ik grep dus niet slechts op admin, want dan zou "badminton" ook een match geven

[Verwijderd]

MartinMeijerink schreef op zondag 29 maart 2020 @ 21:46:
[...]

Ja, die moet je dan even greppen, deze stuurt elke nieuwe regel, maar met grep kun je dan filteren op keyword, het is ook meer als voorbeeld hoe het met een while read loop kan oplossen, dus dan maak je er dit bv. van:

code:

tail -fn0 /var/log/rfc/rfc.log|while read;do echo "$REPLY"|grep -q "user -  admin logged " && curl -s --form "token=$apptoken" --form "sound=siren" --form "user=$user" --form "message=$REPLY" https://api.pushover.net/1/messages.json;done

Ik grep dus niet slechts op admin, want dan zou "badminton" ook een match geven

Yes! dit werkt!

Voor de volledigheid:

code:

!/bin/bash

tail -fn0 /var/log/rfc/rfc.log|while read;do echo "$REPLY"|grep -q "user -  admin logged\|changed by admin" && curl -s --form "sound=cosmic" --form "token=TOKEN" --form "user=USER" --form "title=LOG CHECKER" --form "message=$REPLY" https://api.pushover.net/1/messages.json;done