Logparser

[Verwijderd]

Goeie morge mensen,

Ik heb een probleempje, ik ben bezig met het programma Logparser. Met dit programma kan je heel makkelijk grafiekjes maken, gegevens uitzoeken enz.
Nu mijn probleem;

Ik heb een logfile maar daar zit geen structuur in waarmee Logparser mee kan werken (logparser kijkt naar kolommen bijv netzoals SQL structuur eigenlijk, logparser gebruikt ook een soort dialect van SQL (www.logparser.com))
Nu ben ik op zoek naar een programma waarmee ik bepaalde strings kan zoeken in een tekstfile en die weer in een andere tekstfile naast en/of onder elkaar kan neerzetten zodat ik daar logparser er weer kan op los gooien.

iemand enig idee hoe ik dit kan oplossen?

[Haranaka]

code:

cat bestand.log | grep -i "String die je hebben wil" > nieuw.log

Dit zorgt ervoor dat je uit het bestand bestand.log alle regels copieerd naar het nieuwe bestand, nieuw.log als er in die regel de zoekstring voorkomt, in dit geval "String die je hebben wil". de commando's cat en grep zijn van origine *nix tooltjes maar zijn ook wel beschikbaar voor windows.

Al moet het toch ook wel mogelijk zijn om het in 1 keer op te lossen met dat logparser waar je het over hebt, al ben ik daar niet bekend mee.

[Verwijderd]

Ja dat lukt me dan ook wel zelfs onder DOS met 'find' alleen ik wil dat bepaalde strings achterelkaar op dezelfde regel kan geplakt worden met een spatie of comma ertussen als scheiding. Zodat logparser deze weer kan uitlezen

[Erkens]

Voor dat soort dingen zal je echt een programma/script moeten schrijven.

[Verwijderd]

Daar was ik al bang voor, ik hoopte eigenlijk dat er al zo'n proggie voor was want dat scheelt weer een hoop tijd. iemand hier nog wat tips voor?

[Spider.007]

Misschien kun je eens een voorbeeld geven van wat logregels? Ik begrijp er niet veel van namelijk Eventueel kun je wellicht alles op 1 regel gooien en dan achter bepaalde woorden weer linebreaks zetten? Ik kan echter niet inschatten of dat je probleem zal oplossen

[Verwijderd]

ja sorry hier een voorbeeldje van hoe ongeveer de logfile eruit ziet

code:

Naam
--------------------------
|           1234         |
|           1234         |
|           ----         |
| totaal:   1234         |
--------------------------

12:13:12 blabla
14:56:23 error bla enz

zoals je ziet zit er niet een echt structuur in, nu kan ik wel bepaalde strings uit de logfile halen en ergens anders inzetten. Wat ik eigenlijk nodig heb is de 'Naam' en de totaal nummer, die timestamp heb ik niet echt nodig maar omdat er van die streepjes er tussen zitten is het wat lastig om bepaalde data eruit te vissen.

Logparser is eigenlijk gemaakt voor logs die een bepaalde structuur hebben zoals dit

code:

timestamp naam   beschrijv.
13:12:13  qwerty aaaaa
13:12:13  abcd   bbbbbb

zo kan logparser met een soort SQL query velden als timestamp en naam enz. lezen en makkelijk gegevens verwerken. nogmaals omdat er in mijn log niet zo'n structuur bevat kan ik er niks mee, daarom probeer ik zoiets om te zetten zodat logparser het wel kan verwerken. Bijv ik wil de naam en het totaal nummer hebben en dat zo neerzetten

code:

naam totaal
bla  1234
bla2 1234

Ik hoop dat dit het wat duidelijker maakt.

[Erkens]

Dat wordt idd wat lastiger.
Je moet eerst de naam onthouden en dan regels inlezen tot je "totaal:" tegen komt, dan moet je het volgende getal onthouden zodat je deze naar een nieuwe file kan wegschrijven.
Is allemaal niet zo erg moeilijk om te schrijven hoor, een vrij eenvoudig scriptje, als je ervaring hebt met script taaltjes dan moet dit een eitje zijn. Wellicht zou je alles ook wel via een mooie reguliere expressie kunnen doen.
Zelf heb ik nu momenteel niet echt tijd om mijn gedachte om te zetten in een stukje code, maar ook dan mis je nog bepaalde informatie, want is dit _altijd_ zo wat je exact krijgt, of zijn er meerdere variabelen etc.

[Verwijderd]

Het is me gelukt!

duurde wel ff want ik heb niet zoveel script ervaring, maar ik heb een klein scriptje geschreven in (g)AWK en deze output als input gebruikt voor Logparser, en zo heb ik een mooi grafiekje gekregen

Bedankt voor alle hulp in iedergeval

[Erkens]

Mooi dat het gelukt is, maar zou je misschien je scriptje hier willen delen zodat andere mensen er in de toekomst wellicht ook iets aan hebben?
Of wellicht dat we tips kunnen geven om het beter/sneller/efficienter kunnen maken

[Verwijderd]

uhm, ja natuurlijk. Hij is alleen nog niet helemaal compleet en dus zal ik em wel posten als het helemaal af is.

Nogmaals ik heb weinig tot geen script ervaring dus het gaat allemaal niet zo snel. Alleen weet ik nog niet of ik ook m'n logfile kan posten, het is namelijk een log van een machine van een bedrijf waar ik stage loop dus vandaar