Logfile scrubber

[Rainmaker]

Hallo allen,

Ik ben eigenlijk op zoek naar een applicatie / script wat logfiles scrubt van "persoonlijke" informatie, zoals IP adressen / hostnames / inlogpogingen / etc.

Natuurlijk zou je hier zelf wat voor kunnen doen met sed / awk / cut etc, maar ik vroeg me eigenlijk af of er al zoiets op de "markt" was. Lijkt me toch iets wat meer mensen moeten / willen doen (bijvoorbeeld loginnamen uit de logging halen voor je het op een forum post).

Ander probleem is dat als je met sed etc gaat werken, het wel weer erg anoniem wordt. Ik zoek eigenlijk iets wat van dit:

code:

Request from 192.168.0.1 from user jantje.
Result: OK
Request from 192.168.0.2 from user pietje.
Result: OK
Request from 192.168.0.1 from user pietje.
Result: OK

Iets maakt als:

code:

Request from %IP1% from user %USER1%.
Result: OK
Request from %IP2% from user %USER2%.
Result: OK
Request from %IP1% from user %USER2%.
Result: OK

Natuurlijk mag het ook met iets meer verbeeldingskracht. Zodat er uit de logging nog wel "nuttige" info te halen is, maar geen info die terug te leiden is naar de daadwerkelijke gegeven.

Kent iemand zoiets? Het schijnt te kunnen met iets als Microsoft Log Parser (ook al is die er ook niet echt voor gemaakt), maar bestaat er ook iets voor Linux?

Een Google zoektocht leverde eigenlijk niets op.

[cherwin]

Wat is dat toch opeens met die logfiles gezever, ik zeg -- ga aan de slag met sed, je komt er vast wel uit

[ Voor 5% gewijzigd door cherwin op 26-08-2009 19:57 ]

[Rainmaker]

Tuurlijk, ik kan een 20K script schrijven die het allemaal doet.

Ik hoopte alleen dat iemand dit al had gedaan

[Pim.]

titlefix !

[lamko]

Rainmaker schreef op woensdag 26 augustus 2009 @ 20:13:
Tuurlijk, ik kan een 20K script schrijven die het allemaal doet.

Nou overdrijf je wel een beetje Gewoon de ipadressen in een arraytje gooien en er een naam aan koppelen en je komt al een heel eind met een vrij simpel script.

[odysseus]

lamko schreef op woensdag 26 augustus 2009 @ 22:58:
Nou overdrijf je wel een beetje Gewoon de ipadressen in een arraytje gooien en er een naam aan koppelen en je komt al een heel eind met een vrij simpel script.

Dat wordt al snel complexer dan je denkt...je wilt niet alleen IP-adressen vervangen, maar ook gebruikersnamen, eventuele wachtwoorden, hostnames en andere informatie. Het formaat daarvan verschilt per programma en in sommige gevallen zal je bijvoorbeeld willen dat als IP-adres 1.2.3.4 in een logbestand veranderd wordt in '5.6.7.8', dat het dan ook in een ander logbestand in hetzelfde 'nieuwe' IP-adres veranderd wordt. Toch mag het niet (eenvoudig) mogelijk zijn om uit de gescrubte data de originele data te reconstrueren...met dat soort eisen is het al snel een goed idee om niet meer zelf iets te schrijven .

Overigens ken ik zelf geen programma dat zoiets doet, dus daarmee kan ik je niet verder helpen - maar een zinnig verzoek lijkt het me zeker .

[Verwijderd]

shred het gewoon! Heb een script gemaakt (zie topic 11 hier beneden oid).

code:

#!/bin/bash
cd /var/log

logfiles='ls *.log'
oldfiles='ls *.gz *.0 *.1 *.2 *.3 *.4 *.5 *.6 *.7 *.8 *.old'
bashfiles='ls -d /home/*'

####################################################
#shred and clean logfiles
for file  in $logfiles
do
    shred -f "$file"
    echo " " > $file
done
echo "shredding and cleaning logfiles done"
####################################################
#shred backup, oldfiles
for oldfile in $oldfiles
do
    shred -f -u "$oldfile"
done
echo "shredding and removing old logfiles done"
###################################################
#remove bash
shred -f /root/.bash_history
echo "CLEANED" > /root/.bash_history
for bfile in $bashfiles
do
    shred -f $bfile/.bash_history
    echo "CLEANED" > $bfile/.bash_history
done
#clean ram(current user only)
history -c
echo "bash history cleaned ram only for current! Dont forget to restart bash!"