[DNET] StripLog Devving

[Jive]

Ooit hadden we eens een mooi tooltje om de logs van onze perproxy te kunnen verkleinen.
StripLog heette dat, en na heel veel zoeken heb ik een versie voor perl kunnen vinden.

Nu viel het me op dat er nog best veel handwerk bij kwam kijken en de documentatie erbij niet al te duidelijk was (voor mij althans).

Nu is mijn vraag als deze : Zou iemand een windows versie kunnen maken en zouden we op de DPC site mischien een pagina kunnen bouwen zodat we het ook later weer makkelijk kunnen vinden & uitzoeken hoe het werkt ???

[Megaflix]

Misschien dat je de versie die je nu al hebt zou kunnen neerzetten? Dat zou misschien meer mensen trekken die er verstand van hebben.

[0rbit]

Dat was toch een simpel scriptje dat de geflushde blokjes samenvatte in 1 regel per IP per dag? Ik heb er destijds ook nog aan gesleuteld. Een PHP versie ofzo is denk ik snel te schrijven. Een .NET versie in C# zou iets meer tijd kosten.

[emphasis]

Ik gebruik hier ook al tijden striplog(perl) en dat werkt prima. En zo moeilijk was dat instellen niet dacht ik, maar das al even geleden.

Hier is trouwens mijn statszooi te vinden

[DigiK-oz]

Ik wil best een windows (.net) versie maken. Maar ik zit tot volgende week woensdag druk,druk en nog eens druk. Als iemand anders het voor die tijd heeft gebakken, prima. Zo niet, ga ik volgende week donderdag wat bakken. Ik zou in ieder geval graag het perl scriptje hebben om de logica (indien aanwezig ) te bekijken.

En wat wil je dan? Command-line/GUI/Service/....

[emphasis]

Commandline lijkt me het meest handig, maar geen idee wat de rest ervan vind?

En de perl-file staat in dat linkje hierboven van me, maar of je dat wilt, want het is wel echt ranzige code als ik er zo eens een blik op werp

[Jive]

http://moomoo.xs4all.nl/stats-progs/
hier heb ik neergezet wat ik zelf al gevonden had enzow wat ik zelf jammer vond was dat er nergens up2date iets over te vinden was, zowel van ppstats als van striplog.

Mijn idee voor windhoos is zo simpel als maar kan, startende vanaf cmd-line (lekker makkelijk in scheduler te dumpen).
Ik heb zelf iig gemerkt als je een langere periode door striplog3.pl haalt, hij gewoon stuk loopt op grote logfiles. Vandaar dus mijn idee om er eens opnieuw naar te laten kijken door mensen die er kaas van hebben gegeten. En ik heb zelf geen tijd om er elke dag naar te kijken.

[Robinski]

Jive schreef op woensdag 17 oktober 2007 @ 20:54:
http://moomoo.xs4all.nl/stats-progs/
hier heb ik neergezet wat ik zelf al gevonden had enzow wat ik zelf jammer vond was dat er nergens up2date iets over te vinden was, zowel van ppstats als van striplog.

Mijn idee voor windhoos is zo simpel als maar kan, startende vanaf cmd-line (lekker makkelijk in scheduler te dumpen).
Ik heb zelf iig gemerkt als je een langere periode door striplog3.pl haalt, hij gewoon stuk loopt op grote logfiles. Vandaar dus mijn idee om er eens opnieuw naar te laten kijken door mensen die er kaas van hebben gegeten. En ik heb zelf geen tijd om er elke dag naar te kijken.

ppstats is ook al aardig oud ja, helaas heb ik ook geen kaas gegeten van perl om hier iets zinnigs mee te doen, en heb ik geen tijd om iets nieuws te bouwen.

Misschien kunnen we dit als een soort project gaan doen... een nieuwe stats engine bouwen.

[0rbit]

Je hoeft dat hele Perl script niet te begrijpen, hoor. Gooi er een (kleine) log in en kijk wat eruit komt.

Wat ik me kan herinneren was het laatste getalletje (of een der laatsten) het aantal blokjes dat geflushed werd op een bepaald tijdstip. Alleen dus voor ieder IP apart over de hele dag in de log verspreid. Zoek dus per IP alles samen; tel die getalletjes op en schrijf naar je output 1 regel per IP wat het totaal aantal geflushte blokjes was.

[DigiK-oz]

Er zit ook nog een stukje functionaliteit in om ip-adressen te vertalen van het werkelijke adres (of range) naar een fictief adres (als 10.1.1.1). Hiermee kan je ook meerdere echte ip-adressen vertalen naar 1 fictief adres (voor users met meerdere koetjes, die komen dan onder 1 naam).

Verder nog wat geklooi met GMT vs local time en dat soort gein.

(Of ik lees dat hele script verkeerd )

Maar een paar ppstats-logfiles, met bijbehorende striplog outputfiles (bij voorkeur van een team i.v.m. bovenstaand geneuzel) zou handig zijn om mee te testen.

[ Voor 6% gewijzigd door DigiK-oz op 18-10-2007 07:55 ]

[MeneerKrab]

Sloompie schreef op donderdag 18 oktober 2007 @ 07:54:
Er zit ook nog een stukje functionaliteit in om ip-adressen te vertalen van het werkelijke adres (of range) naar een fictief adres (als 10.1.1.1). Hiermee kan je ook meerdere echte ip-adressen vertalen naar 1 fictief adres (voor users met meerdere koetjes, die komen dan onder 1 naam).

Verder nog wat geklooi met GMT vs local time en dat soort gein.

(Of ik lees dat hele script verkeerd )

Maar een paar ppstats-logfiles, met bijbehorende striplog outputfiles (bij voorkeur van een team i.v.m. bovenstaand geneuzel) zou handig zijn om mee te testen.

dat klopt. Dat omzetten van een range naar fictief is gemaakt voor de mensen met een wisselende ip's (denk aan inbellers, of adsl klanten die geen vast ip hebben, of mensen die vanaf verschillende ip's flushen maar alles op hun naam willen hebben)

[emphasis]

ik heb even wat in m'n logs geneuzeld, en dan dat je hier dan wel wat aan hebt. Ben dan wel geen team, maar dat moet je dan maar voor lief nemen

[DigiK-oz]

Vandaag wat tijd gevonden om de boel te bekijken. Wat in elkaar gesleuteld, en dat lijkt te doen wat het moet doen.

Kan iemand een flink aantal (grote?) logs en resultaten-logs ergens neerplempen, plus het striplog.pl script waarin de ip-adressen staan? Dan kan ik even wat meer testen dan met 1 logje.

O ja, hoe lang doet dat perl-script over het processen van 10 logs of zo? Kan ik ook even kijken of het een beetje binnen normale tijden werkt.

[Robinski]

Sloompie schreef op maandag 22 oktober 2007 @ 16:10:
Vandaag wat tijd gevonden om de boel te bekijken. Wat in elkaar gesleuteld, en dat lijkt te doen wat het moet doen.

Kan iemand een flink aantal (grote?) logs en resultaten-logs ergens neerplempen, plus het striplog.pl script waarin de ip-adressen staan? Dan kan ik even wat meer testen dan met 1 logje.

O ja, hoe lang doet dat perl-script over het processen van 10 logs of zo? Kan ik ook even kijken of het een beetje binnen normale tijden werkt.

Ik heb eventueel wel een berg logfiles in de aanbieding.

Heb alleen striplog nooit gebruikt.

Morgen heb ik denk ik wel tijd om striplog op te zoeken, een deel van mijn logs te processen en dit alles voor je neer te zetten. Uiteraard kijk ik ook hoelang het duurt voor het processen.

[Verwijderd]

Sloompie schreef op maandag 22 oktober 2007 @ 16:10:
Vandaag wat tijd gevonden om de boel te bekijken. Wat in elkaar gesleuteld, en dat lijkt te doen wat het moet doen.

Kan iemand een flink aantal (grote?) logs en resultaten-logs ergens neerplempen, plus het striplog.pl script waarin de ip-adressen staan? Dan kan ik even wat meer testen dan met 1 logje.

O ja, hoe lang doet dat perl-script over het processen van 10 logs of zo? Kan ik ook even kijken of het een beetje binnen normale tijden werkt.

stuur me anders ff een pm

[Robinski]

Net even een test gedaan met de striplog3.pl van Jive.

+/- 40 seconden om: 1225 logfiles door te lopen.
Voor 13.2MB
Na: 680kB

en dit met 16 regels aan IP translaties

Via PM is een zip met de logs en striplog verkrijgbaar.

[DukeBox]

Best leuk, maar waarom niet meteen in een DB gooien ? Dan kun je tenmisnte echt goochelen met de getalletjes zonder je originele data te verklooien.

[DigiK-oz]

Kan natuurlijk, maar ik heb begrepen dat het niet zozeer gaat om het goochelen, als om het feit dat de pproxy nogal moeite heeft met het doorspitten van grote logs. Striplog zorgt er dus gewoon voor dat de zooi geaggregeerd wordt, zodat pproxy er geen halve eeuw mee bezig is.

[Robinski]

Sloompie schreef op dinsdag 23 oktober 2007 @ 16:54:
Kan natuurlijk, maar ik heb begrepen dat het niet zozeer gaat om het goochelen, als om het feit dat de pproxy nogal moeite heeft met het doorspitten van grote logs. Striplog zorgt er dus gewoon voor dat de zooi geaggregeerd wordt, zodat pproxy er geen halve eeuw mee bezig is.

Mijn ppstats is overigens ook vrij vlot, kan misschien vlotter na striplog maar ja

[MeneerKrab]

DukeBox schreef op dinsdag 23 oktober 2007 @ 15:38:
Best leuk, maar waarom niet meteen in een DB gooien ? Dan kun je tenmisnte echt goochelen met de getalletjes zonder je originele data te verklooien.

volgens mij zijn hier al eens mensen mee bezig geweest en zijn er naar mijn weten nooit echt goed werkende stats uit gekomen.

[Jive]

* Jive heeft sloompie wat logjes ge DM'd

[DukeBox]

GBI schreef op dinsdag 23 oktober 2007 @ 18:46:
[...]

volgens mij zijn hier al eens mensen mee bezig geweest en zijn er naar mijn weten nooit echt goed werkende stats uit gekomen.

Ik vermoed dat velen het niet bekend gemaakt hebben of closed source o.i.d.

[Robinski]

DukeBox schreef op woensdag 24 oktober 2007 @ 10:15:
[...]

Ik vermoed dat velen het niet bekend gemaakt hebben of closed source o.i.d.

Een nieuwe (betere) stats engine met ongeveer het zelfde uiterlijk en minimaal de zelfde functies als ppstats is uiteraard welkom!

[DukeBox]

Opzich is het helemaal niet zoveel werk als in de zin van bedenken en de basis maken.. maar er gaat heel veel tijd zitten in het testen en alle bugs/uitzonderingen er uit halen.

[Verwijderd]

DukeBox schreef op woensdag 24 oktober 2007 @ 11:46:
...maar er gaat heel veel tijd zitten in het testen en alle bugs/uitzonderingen er uit halen.

Ah, de fameuze 90/10. De eerste 90% van het project vraagt 10% van de tijd, de resterende 10% in orde krijgen kost je de overige 90% van je tijd

[Megaflix]

Verwijderd schreef op donderdag 25 oktober 2007 @ 21:25:
Ah, de fameuze 90/10. De eerste 90% van het project vraagt 10% van de tijd, de resterende 10% in orde krijgen kost je de overige 90% van je tijd

Je kunt het doen net als Microsoft Na 10% van de tijd breng je die 90% op de markt en dan begin je met de ontwikkeling van de opvolger, terwijl je in de tijd tot díe op de markt komt rustig één voor één alle bugs er uit haalt

[DukeBox]

90/10, 80/20.. maaruh dat bedoel ik ja

[Robinski]

DukeBox schreef op donderdag 25 oktober 2007 @ 21:47:
90/10, 80/20.. maaruh dat bedoel ik ja

Ik meenden ook 80/20 te hebben onthouden

[ Voor 5% gewijzigd door Robinski op 25-10-2007 23:02 ]

[stappel_]

DukeBox schreef op woensdag 24 oktober 2007 @ 10:15:
Ik vermoed dat velen het niet bekend gemaakt hebben of closed source o.i.d.

er zijn er best een paar te vinden hoor. de eerste die me te binnen schieten zijn : http://sourceforge.net/projects/statsaholic/ en http://us.keyserver.org/phpstats/ door onze eigen DPC Mythor

[Robinski]

stappel_ schreef op vrijdag 26 oktober 2007 @ 11:54:
[...]
er zijn er best een paar te vinden hoor. de eerste die me te binnen schieten zijn : http://sourceforge.net/projects/statsaholic/ en http://us.keyserver.org/phpstats/ door onze eigen DPC Mythor

Die laatste is helaas alleen voor RC5 beschikbaar, en zelf heb ik niet de tijd gevonden/gemaakt om eventueel hier aan verder te gaan.

en die andere is ook al gedateerd helaas.

Dit zelfde geld overigens voor ppstats, waar ook al heel erg lang niets meer aan veranderd is.

[MeneerKrab]

stappel_ schreef op vrijdag 26 oktober 2007 @ 11:54:
[...]

_{mag ik jou er op wijzen dat je bij ubero niet #1 maar #2 staat}

[stappel_]

GBI schreef op vrijdag 26 oktober 2007 @ 15:32:
[...]
_{mag ik jou er op wijzen dat je bij ubero niet #1 maar #2 staat}

_{bestaat die zooi dan nog steeds?, verdom***** ja zeg}

[DukeBox]

Je staat al een hele tijd niet meer #1
Om precies te zijn, sinds 1 aug 2005

[ Voor 54% gewijzigd door DukeBox op 26-10-2007 16:17 ]

[MarkB]

Robinski schreef op vrijdag 26 oktober 2007 @ 15:27:
[...]


Die laatste is helaas alleen voor RC5 beschikbaar, en zelf heb ik niet de tijd gevonden/gemaakt om eventueel hier aan verder te gaan.

en die andere is ook al gedateerd helaas.

Dit zelfde geld overigens voor ppstats, waar ook al heel erg lang niets meer aan veranderd is.

Hij heeft ook OGR gedraait, ik zal eens kijken of ik Mythor hier naartoe kan schoppen.

[mythor]

De code achter phpstats is slordig, niet dynamisch, niet consistent enz. Ik ben ooit begonnen aan een rewrite maar door gebrek aan tijd en een teruglopend enthousiasme voor dnet is daar nooit iets van gekomen.
OGR support inbouwen in de huidige phpstats zou niet al te veel moeite moeten kosten maar dit is geen oplossing voor de uitstaande problemen.

[Robinski]

Misschien moeten we dan toch maar eens gaan kijken of we met een groepje een nieuw stats systeem voor dnet kunnen bouwen.

[DigiK-oz]

Okee, de boel lijkt redelijk te werken als ik Jive moet geloven .

Voor de geintresseerden is het hier te vinden.

[Jive]

Bij mij was hij redelijk vlot door de logs heen, scheelt aardig.