Striplog2b -- testers gevraagd

[pinball]

olla

Ik heb striplog een beetje omgebouwd zodat:
-rc5 en ogr in 1 keer kunnen;
-rekening gehouden wordt met zomertijd
-oude logs makkelijk gedaan kunnen worden

Het werkt op linux met rc5, maar ik wil graag weten of OGR ook goed gaat, en hoe het onder windows gaat.

Begin hier svp alleen aan als je weet wat je doet , ik ben nl. waarschijnlijk pas morgen beschikbaar om eventuele vragen te beantwoorden.

M'n adres staat in de .pl

[Elteor]

Zal het komend weekend wel even uitproberen onder W2K.

[Ace]

Hoi,

Net mijn eerstvolgende statsrun ermee gedraaid onder Win2k en zo te zien gaat alles goed. Komt nergens rook uit ofzo

[DukeBox]

Zit te weinig extra in. Veel mensen zullen de moeite niet nemen. Als die dupecheck nou er in komt dan wil ik hem graag voor je proberen.

[pinball]

Op vrijdag 02 februari 2001 17:54 schreef DukeBox het volgende:
<..>Zit te weinig extra in<..>

Ja... vond ik ook al. Vroeg mezelf eik ook al af waarom ik eigenlijk nog de moeite nam om em nog te verbeteren.
Dat zal me leren om nog es wat te proggen.
Bedankt.

[0rbit]

Nee Pinball nee ! Hij werkt goed ! Ik vind de auto-old-log optie erg handig! Ga zo door ! Laat je niet ontmoedigen door mensen die niet te lui zijn om dit soort dingen zelf te proggen!

[Verwijderd]

Hij werkt goed met 1 heeeeeeel klein min puntje.
Ik draai de statsrun bij mij elke 15min.
Echter net na dag wissel in UTC, nu dus om 1 uur s'nachts klopt de boel niet wand dan pakt hij de gegevens van een nieuwe dag.

Mijn vraag nu:
Is het mogenlijk dat ik 1 striplog script kan verkrijgen die zelf waarneemt of dat er een nieuwe dag is begonnen en dan de gegevens van de vorige dag mee neemt, de laatsta 15min. dus?
Op iedere nieuwe dag om 00.29UTC loopt bij mij aan andere script onder DOS die de oude logfile in een zip gooit waardoor het draaien van 2 dagen strip niet goed blijft werken.

Alvast bedankt voor je hulp Pinball en ga zo verder.

[pinball]

in het daglicht ziet mijn vorige post er wel érg zuur uit

Iedereen bedankt voor het testen

Sir.Kiekeboe.kijkt.tv: ik heb em nu zo aangepast dat als striplog de eerste keer draait op een dag, hij nog 1 keer de log van de vorige dag doet. Zo komen ook die laatste blokjes van de dag een keer aan de beurt.

Was dat wat je bedoelde?

**

edit:
**
Voor alle duidelijkheid: dit is dus wéér een update, zit niet in versie van 2001-02-02, wel in 2001-02-03. (datum staat bovenin striplog)
**

**

[Verwijderd]

Pinball.. je bent een held!
maar waar vind ik die laatste update?

[pinball]

Bij dat stiekeme linkje in mijn eerste post

maar ook gewoon hier

[Verwijderd]

Ik heb hem getest op rc5 en ogr onder linux..
werkt volgens mij perfect!
Keep up the good work Pinball!!

Ik heb alleen een probleempje: ik heb leden die inbellen met euronet en leden die inbellen met wanadoo. Deze gebruiken dezelfde ip-ranges (heb nog geen verschillen kunnen ontdekken). Het wisselt contstant bij die twee providers (= eigenlijk één provider)
Iemand tips?

Je kan de resultaten zien op
[url="http://webrunners.sprintweb.com."]http://webrunners.sprintweb.com.[/url]

[Verwijderd]

Op zaterdag 03 februari 2001 11:04 schreef Pinball het volgende:
Sir.Kiekeboe.kijkt.tv: ik heb em nu zo aangepast dat als striplog de eerste keer draait op een dag, hij nog 1 keer de log van de vorige dag doet. Zo komen ook die laatste blokjes van de dag een keer aan de beurt.

Was dat wat je bedoelde?

Ik heb de run time met 2min verlaat en zal vannacht nog eens kijken, maar dit is inderdaat wat ik bedoel.
Laat het morgen wel weten of het goed gegaan is.

Alvast bedankt.

[pinball]

Op zaterdag 03 februari 2001 11:47 schreef Webrunner het volgende:

Ik heb alleen een probleempje: ik heb leden die inbellen met euronet en leden die inbellen met wanadoo. Deze gebruiken dezelfde ip-ranges (heb nog geen verschillen kunnen ontdekken). Het wisselt contstant bij die twee providers (= eigenlijk één provider)
Iemand tips?

Er zijn wel manieren..
Als 1 van de 2 bereid is om een andere client versie te draaien kan je striplog zó aanpassen dat ook daarnaar gekeken wordt.
Als er een email adres ge-retired is naar jullie algemene adres zou je 1 van de 2 dat kunnen laten gebruiken, en striplog daar op laten splitten.

Ik heb zelf ooit de 1ste mogelijkheid gedaan, dat zag er ongeveer zo uit:

code:

if ($ver eq 8010) {
        $ipaddr =~ s/^195\.121\..+/10.1.1.3/;       #WXS mod
        $ipaddr =~ s/^193\.173\..+/10.1.1.2/;       #Lijn3 zkh
        $ipaddr =~ s/^213\.116\..+/10.1.1.4/;       #uunet JW
        $ipaddr =~ s/^212\.136\..+/10.1.1.4/;       #uunet JW
                <...hier de rest...>        
        }
else        {
        $ipaddr =~ s/^195\.121\..+/10.1.1.3/;       #WXS mod
        $ipaddr =~ s/^193\.173\..+/10.1.1.2/;       #Lijn3 zkh
        $ipaddr =~ s/^213\.116\..+/10.1.1.1/;       #uunet KenK
        $ipaddr =~ s/^212\.136\..+/10.1.1.1/;       #uunet KenK
        <.. hier ook de rest>
        }

[DukeBox]

Op zaterdag 03 februari 2001 00:23 schreef Pinball het volgende:

[..]

Ja... vond ik ook al. Vroeg mezelf eik ook al af waarom ik eigenlijk nog de moeite nam om em nog te verbeteren.
Dat zal me leren om nog es wat te proggen.
Bedankt.

Ehh. wacht ff.
Vooral niet stoppen!, je zou eens moeten weten hoeveel mensen dankbaar gebruik maken van striplog. (Ik ook)
Mijn kritiek was bedoeld op de mesg en de nieuwe versie NIET op striplop algemeen.
Overigens blijf ik wel bij mijn mening. En wacht ik geduldig af op een dupecheck mogelijkheid.
Heb wel al een dupechecker, maar weet nog niet hoe die te implementeren dat hij de dubbele niet meetelt.

[pinball]

Die post kwam er ook wat zuurder uit dan ie eigenlijk bedoeld was Gras erover

[Verwijderd]

Hey Pinball
Bedankt voor het idee.
Het is wel wat omslachtig.
Vooral als ik meer dan 2 flushers op wanadoo en euronet heb. (en dat heb ik)

misschien retire ik wel een paar emailadresjes.

[Verwijderd]

Ik heb het nog eens na gekeken maar als iemand in de laatste 15min. van de dag wat dumpt dan komt hij er met de standaard nieuwe striplog er niet bij.
Ik los het dus maar weer op om 00:10 utc een aangepaste versie van striplog te draaien die een uur van de huidige datum aftrekt.

Toch nog bedankt voor je proggir Pinball.

[DukeBox]

Misschien is het idee van Sit kiekeboe helemaal zo gek nog niet. Als je in striplog inbouwt dat als het de eerst volgende keer voor de nieuwe dag draait, dat hij dan ook nog een maal de oude doet.

[pinball]

Op zaterdag 03 februari 2001 11:04 schreef Pinball het volgende:
<...>Sir.Kiekeboe.kijkt.tv: ik heb em nu zo aangepast dat als striplog de eerste keer draait op een dag, hij nog 1 keer de log van de vorige dag doet. Zo komen ook die laatste blokjes van de dag een keer aan de beurt.

Dat doet ie dus al. (iig de versie waar bovenin 2001-02-03 staat) Ik snap dan ook écht niet hoe het kan dat het bij Sir.Kiekeboe.kijkt.tv niet werkt.

[Verwijderd]

mogelijke verbeteringen.
- als je een dag je proxy niet hebt draaien en dus ook geen log file van die dag hebt. maar je zet wel in je file dat hij bijvoorbeeld 20 dagen moet doen. dan krijg je een error : Kan de proxylogs niet lezen : pproxyrc5{datum}.log. misschien eerste checken of de file bestaat.

- in de nieuwe log files staat nog steeds de naam van een block cq stub. zou je deze niet gewoon nul maken, bv 0000000000000000 voor rc5 en 25/0-0-0-0-0-0 voor ogr. dan kan er ook geen verwarring onstaan als iemand die log files gaat gebruiken.

[pinball]

Die foutmelding staat er expres, zodat je kan zien wat er fout gaat (heb ook expres geen 'or die' gebruikt). Striplog gaat vrolijk door met de rest van de logs.

2de opmerking is wel een goed plan, eenvoudigweg:

code:

$block="0000";

Ná de regel:

code:

$main="$email,$ipaddr,$os,$cpu,$ver";

(plm regel 106)
is voldoende. Verschil maken tussen ogr en rc5 is wat lastiger, en heeft imo ook niet zoveel nut.

[Verwijderd]

Pinball:
ik hen het scrolltext scriptje geplakt in striplog2.pl
werkte niet
$logdate veranderd in $curdate
werkt wel

is dit de juiste oplossing of zie ik nog iets over het hoofd?

edit:

typo

[pinball]

[schaam]
ik kwam er zelf ook pas net achter dat dat bij mij al 3 dagen niet werkte
[/schaam]

Jouw oplossing is op zich voldoende. Alleen bij de eerste run van de dag en als je oude logs doet zal het niet kloppen.

Als je het altijd werkend wil hebben:

code:

($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = nice_time(time-$uurcorr);
$logdate = "$year$mon$mday";

voor de regel "#deze alleen veranderen als je weet wat je aan het doen bent :-)"

en onderin $curdate weer terug naar $logdate.

[Verwijderd]

LOL
geen probleem Pinball
ik vind het erg goed wat je allemaal doet voor ons met die scriptjes.
En hoewel ik geen perl-goeroe ben draag ik graag mijn steentje bij..
daar ging het toch om in dit draadje?



trouwens:
moet die (time-$uurcorr); ook niet in het script zelf staan?

edit:

never mind die laatste opmerking..
zat weer eens niet te kijken

[0rbit]

Ik haal deze draad even omhoog om te informeren hoe het staat met de dupe-checking in striplog; Ik heb namelijk een donkerbruin vermoeden dat iemand (bewust of onbewust) een aantal buffers meerdere malen geflushed heeft naar onze proxy.

Heeft iemand al zo'n dupechecker (liefst dus bij striplog in te bouwen en dus liefst reeds in Perl)?

[0rbit]

Deze thread : [topic=103505] geeft namelijk nog niet echt uitsluitsel.

[pinball]

De plannen om dat in striplog te bouwen zijn (wat mij betreft iig) allang vergeten omdat:
- een _goede_ dupecheck ook rekening moet houden met de (ongestripte) logs van een week/maand geleden,
- dit bij een beetje drukke proxy er voor zorgt dat je statsrun weer een half uur duurt, en meteen 30mb geheugen inpikt,
-de bedoeling van striplog nou juist is dat je statsrun sneller gaat.

Bovendien voldoet het script van stappel (en de frenzy mod ook) imo prima, en die zou je bijvoorbeeld 1* per dag ('s nachts) kunnen schedulen.

[Verwijderd]

Waar de fuk hebben jullie het over

[Verwijderd]

Ding van stappel :

oke dit werkt. ergens in de proxy directory staan log files met daarin alle blocks die voorbij zijn gekomen. meestal heet deze : pproxyrc5{datum}.log
daar kan je het volgende commando geven:
cat pproxyrc5* | awk -F, ' { print $4 "\t" $3 "\t" $2 } ' | sort | uniq -d -c

je moet dan een list krijgen met :
1) aantal keer voorgekomen
2) block nummer
3) email address
4) source ip nummer

Werkt prima, maar is langzaam en niks als je alles wilt checken en je hebt 30mb aan logs

Eingenlijk kun je dit wel gebruiken als je bij 1 keer per dag een dupecheck wilt hebben.

Dit script haalt alleen niks uit de logs.

[pinball]

mr_atheist: ygm

[0rbit]

Hmm... Het is dat ik de komende week weinig tijd heb, maar ik ga er serieus mee aan de gang. Ik heb de manier met Excell (Ik schaam me dood) geprobeerd en dat ging uitermate snel en overzichtelijk. Dus de directe noodzaak voor het script is even weg.

Ik draai 'helaas' Win2k en (nog) geen Linux. Een volledige overstap naar Linux ligt in de planning, maar wederom ontbreekt mij tijd. Ik zal dus een poging wagen een aanvulling op striplog voor elkaar te krijgen.

Waar ik aan zit te denken is het volgende :
1) Haal 1x per dag de dupes uit de log van gisteren eruit. Zo weet je zeker dat de log reeds 'af' is en dan hoeft het niet zo veel processortijd te vergen.
2) Dupe-checking op de volgende manier;

Schrijf een file waarin alle blokjes genoteerd staan (Dus eerst alle voorgaande logs 'appenden' behalve de betreffende log van gisteren en die van vandaag). Deze lees je in een array, zodat je precies weet welke blokjes al een keer door je proxy gegaan zijn.

Vervolgens neem je de log van gisteren en kijk je regel voor regel of het blokje al voorkomt in de file waarin alle blokjes genoteerd staan. Zonee; geef die regel dan door aan striplog, zodat het blokje wel geteld wordt; Zoja; neem de volgende regel, zodat het blokje niet geteld wordt.

Bij het maken van de file waarin alle blokjes genoteerd staan kun je gemakkelijk controleren of de voorgaande logs wel op dupes gechecked zijn, want dan komen bepaalde blokjes dus meermalen voor in deze referentie van alle blokjes.

Zo heb je volgens mij een redelijk snelle overzichtelijke dupe-check.

[stappel_]

Op zondag 05 augustus 2001 16:37 schreef dredge het volgende:
Ding van stappel :
[..]

Werkt prima, maar is langzaam en niks als je alles wilt checken en je hebt 30mb aan logs

Eingenlijk kun je dit wel gebruiken als je bij 1 keer per dag een dupecheck wilt hebben.

Dit script haalt alleen niks uit de logs.

hmm 30mb slechts. ik draai het op 280mb aan log. duurt even en vreet ruimte in /var/tmp maar werkt zeker wel.

[0rbit]

Pinball; Nog bedankt voor het scriptje! Ik heb nog niet de tijd om het met striplog te combineren, maar het werkt als een tiet en nog snel ook!

Ik weet trouwens niet wat er met je mail-server aan de hand is; Ik had je nog wat logs gemailed, zodat je het kon testen; Maar de mail was onbezorgbaar...

Bedankt iig!

[pinball]

Mr_Atheist: mailserver doet 't wel, maar planet moet zonodig port 25 blocken
Adres in m'n profiel werkt wel, alleen zit daar waarsch. een limiet op.
Mooi dat dat script werkt, dan bouw ik het binnenkort wel om om samen met striplog&ppstats te werken zodat dubbele blokjes niet in de stats komen.