een logfile uitdunnen

[RRX]

ik paste hier ff een klein stukje uit een logfile van de proxyserver:

code:

1001336275.152    101 192.168.10.3 TCP_MISS/304 165 GET http://www.volkskrant.nl/volkskrant/images/headers/nieuws/ezine.gif - DIRECT/www.volkskrant.nl -
1001336275.161    105 192.168.10.3 TCP_MISS/304 165 GET http://www.volkskrant.nl/volkskrant/images/headers/nieuws/strip.gif - DIRECT/www.volkskrant.nl -
1001336275.244    242 192.168.10.3 TCP_MISS/304 165 GET http://www.volkskrant.nl/volkskrant/images/headers/nieuws/werk_en_geld.gif - DIRECT/www.volkskrant.nl -
1001336275.246  1 192.168.10.3 TCP_IMS_HIT/304 215 GET http://www.volkskrant.nl/volkskrant/images/navigatiebalk/subrubrieken-DH.gif - NONE/- image/gif
1001336275.264    198 192.168.10.3 TCP_MISS/304 165 GET http://www.volkskrant.nl/volkskrant/images/navigatie/algemeen/i_vk_op_internet.gif - DIRECT/www.volkskrant.nl -
1001336275.272    120 192.168.10.3 TCP_MISS/304 165 GET http://www.volkskrant.nl/volkskrant/images/headers/nieuws/rubriek.gif - DIRECT/www.volkskrant.nl -
1001336275.355    192 192.168.10.3 TCP_MISS/304 165 GET http://www.volkskrant.nl/volkskrant/images/voorpagina_wl/b_iconen.gif - DIRECT/www.volkskrant.nl -
1001336275.382    136 192.168.10.3 TCP_MISS/304 165 GET http://www.volkskrant.nl/volkskrant/images/algemeen/b_printversie2.gif - DIRECT/www.volkskrant.nl -
1001336275.387    123 192.168.10.3 TCP_MISS/304 165 GET http://www.volkskrant.nl/volkskrant/images/algemeen/copyrights.gif - DIRECT/www.volkskrant.nl -
1001336275.462    106 192.168.10.3 TCP_MISS/304 165 GET http://www.volkskrant.nl/volkskrant/elementen/article_icon_wit.gif - DIRECT/www.volkskrant.nl -
1001336275.553    280 192.168.10.3 TCP_MISS/200 362 GET http://sitestat.nedstat.nl/cgi-bin/volkskrant/sitestat.gif? - DIRECT/sitestat.nedstat.nl image/gif
1001336427.199    458 192.168.10.3 TCP_MISS/200 1017 GET http://www.google.com/search? - DIRECT/www.google.com text/xml
1001336428.013    294 192.168.10.3 TCP_MISS/200 1017 GET http://www.google.com/search? - DIRECT/www.google.com text/xml
1001336429.053    336 192.168.10.3 TCP_MISS/200 1017 GET http://www.google.com/search? - DIRECT/www.google.com text/xml
1001336429.925    339 192.168.10.3 TCP_MISS/200 1017 GET http://www.google.com/search? - DIRECT/www.google.com text/xml
1001336430.754    278 192.168.10.3 TCP_MISS/200 25322 GET http://www.volkskrant.nl/nieuws/denhaag/1001229490795.html - DIRECT/www.volkskrant.nl text/html
1001336430.938    329 192.168.10.3 TCP_MISS/200 1017 GET http://www.google.com/search? - DIRECT/www.google.com text/xml
1001336432.426    229 192.168.10.3 TCP_MISS/200 43719 GET http://www.volkskrant.nl/ - DIRECT/www.volkskrant.nl text/html
1001336432.565    248 192.168.10.3 TCP_MISS/200 974 GET http://www.google.com/search? - DIRECT/www.google.com text/xml
1001336446.819    313 192.168.10.3 TCP_MISS/200 772 GET http://www.google.com/search? - DIRECT/www.google.com text/xml
1001336448.567    138 192.168.10.3 TCP_MISS/304 262 GET http://www.msn.nl/webinclude/{7935222C-C558-43CD-9A67-39AA7E495D1B}/images/logo.gif - DIRECT/www.msn.nl -
1001336448.639    214 192.168.10.3 TCP_MISS/304 207 GET http://www.msn.nl/webinclude/nl-nl/global/IE4.css - DIRECT/www.msn.nl -
1001336448.657    140 192.168.10.3 TCP_MISS/304 370 GET http://c.msn.nl/c.gif? - DIRECT/c.msn.nl -
1001336448.751    112 192.168.10.3 TCP_MISS/304 261 GET http://www.msn.nl/webinclude/images/s.gif - DIRECT/www.msn.nl -
1001336448.866    298 192.168.10.3 TCP_MISS/304 178 GET http://global.msads.net/ads/NLMPRE/007091820001_LG.gif - DIRECT/global.msads.net -
1001336448.938    157 192.168.10.3 TCP_MISS/304 207 GET http://www.msn.nl/webinclude/images/space.gif - DIRECT/www.msn.nl -
1001336448.944    285 192.168.10.3 TCP_MISS/304 178 GET http://global.msads.net/ads/NLMBHP/00338HN0023_E7.gif - DIRECT/global.msads.net -
1001336448.977   2444 192.168.10.3 TCP_MISS/200 72874 GET http://www.msn.nl/ - DIRECT/www.msn.nl text/html
1001336449.045    179 192.168.10.3 TCP_MISS/304 262 GET http://www.msn.nl/webinclude/images/angle2.gif - DIRECT/www.msn.nl -
1001336449.140    202 192.168.10.3 TCP_MISS/304 207 GET http://www.msn.nl/webinclude/images/arrow2.gif - DIRECT/www.msn.nl -
1001336449.166    120 192.168.10.3 TCP_MISS/304 206 GET http://www.msn.nl/img/nl/nl-nl/portal/misc/spacer.gif - DIRECT/www.msn.nl -
1001336449.251    110 192.168.10.3 TCP_MISS/304 261 GET http://www.msn.nl/img/nl/nl-nl/portal/misc/dotline.gif - DIRECT/www.msn.nl -
1001336449.262    109 192.168.10.3 TCP_MISS/304 207 GET http://www.msn.nl/images/space.gif - DIRECT/www.msn.nl -
1001336449.359    193 192.168.10.3 TCP_MISS/304 206 GET http://www.msn.nl/webinclude/images/circle_yellow.gif - DIRECT/www.msn.nl -
1001336449.458    169 192.168.10.3 TCP_MISS/304 261 GET http://www.msn.nl/pidl/5179249/robijnawards_nip.jpg - DIRECT/www.msn.nl -
1001336449.479    186 192.168.10.3 TCP_MISS/304 207 GET http://www.msn.nl/webinclude/images/arrow_white.gif - DIRECT/www.msn.nl -
1001336449.505    561 192.168.10.3 TCP_MISS/304 261 GET http://www.passportimages.com/nl/signin.gif - DIRECT/www.passportimages.com -
1001336449.564    204 192.168.10.3 TCP_MISS/304 207 GET http://www.msn.nl/webinclude/images/tickerding.gif - DIRECT/www.msn.nl -
1001336449.654    129 192.168.10.3 TCP_MISS/304 262 GET http://www.msn.nl/pidl/5179249/MSN_Explorer-download21.gif - DIRECT/www.msn.nl -
1001336449.680    139 192.168.10.3 TCP_MISS/304 206 GET http://www.msn.nl/pidl/5179249/alicia_stamp.gif - DIRECT/www.msn.nl -
1001336449.764    169 192.168.10.3 TCP_MISS/304 207 GET http://www.msn.nl/images/arrow_white.gif - DIRECT/www.msn.nl -
1001336449.786    132 192.168.10.3 TCP_MISS/304 262 GET http://www.msn.nl/webinclude/images/dotlinehoriz.gif - DIRECT/www.msn.nl -
1001336449.858    307 192.168.10.3 TCP_MISS/304 262 GET http://www.msn.nl/pidl/5179249/zoeken-vergrootglas1.gif - DIRECT/www.msn.nl -
1001336449.880    199 192.168.10.3 TCP_MISS/304 206 GET http://www.msn.nl/images/s.gif - DIRECT/www.msn.nl -
1001336449.962    197 192.168.10.3 TCP_MISS/304 206 GET http://www.msn.nl/webinclude/images/newmail.gif - DIRECT/www.msn.nl -
1001336449.976    188 192.168.10.3 TCP_MISS/304 261 GET http://www.msn.nl/Blipimages/NL/activeisp/go_onyellow[1].gif - DIRECT/www.msn.nl -
1001336450.062    204 192.168.10.3 TCP_MISS/304 260 GET http://www.msn.nl/Blipimages/NL/activeisp/activeisp_logo_onyellow.gif - DIRECT/www.msn.nl -
1001336450.086    206 192.168.10.3 TCP_MISS/304 207 GET http://www.msn.nl/images/move.gif - DIRECT/www.msn.nl -
1001336450.164    202 192.168.10.3 TCP_MISS/304 207 GET http://www.msn.nl/images/remove.gif - DIRECT/www.msn.nl -
1001336450.186    210 192.168.10.3 TCP_MISS/304 261 GET http://www.msn.nl/webinclude/mc.vbs - DIRECT/www.msn.nl -
1001336450.405    218 192.168.10.3 TCP_MISS/304 262 GET http://www.msn.nl/webinclude/images/idle.gif - DIRECT/www.msn.nl -
1001336453.275    209 192.168.10.3 TCP_MISS/301 273 GET http://www.msn.nl/webinclude/redir.asp? - DIRECT/www.msn.nl text/html

is er een manier dat ik alle websites eruit kan halen, dus dat ik bijv. krijg

code:

Pagina             | Aantal
http://www.volkskrant.nl   | 10
http://www.msn.nl       | 16

....etc.

is dit te doen met php, of zoiets dergelijks?

[Passenger]

kan heel goed met php! maar het zou evt. ook wel met een taal als bijv. perl kunnen lijkt me (ik moet eerlijk bekennen, van perl weet ik vrijwel niets )

maar je zou bijv. een bep. soort regex eroverheen kunnen gooien, om de urls er uit te halen, en daarna gewoon te tellen hoeveel je er van ieder hebt...

[Verwijderd]

ff offtopic, hoe kom je aan die proxy log file??

[Verwijderd]

gewoon op een unix bak joh geen probleem

cat logfile | cut -b 36- | cut -f 4 -d' ' | cut -f 1-3 -d/ | awk '{a[$0]++} END{for (i in a){print i " " a[i]}}'

kind kan de was doen toch?!

edit:
http:// er ook bij staat wat netter

[ACM]

Op maandag 24 september 2001 18:15 schreef Stoel het volgende:
ff offtopic, hoe kom je aan die proxy log file??

Dat ziet eruit als een standaard squid-log

[RRX]

Op maandag 24 september 2001 18:21 schreef ACM het volgende:

[..]

Dat ziet eruit als een standaard squid-log

Klopt
Van mijn inet gateway

[RRX]

Op maandag 24 september 2001 18:17 schreef Yarvieh het volgende:
gewoon op een unix bak joh geen probleem

cat logfile | cut -b 36- | cut -f 4 -d' ' | cut -f 1-3 -d/ | awk '{a[$0]++} END{for (i in a){print i " " a[i]}}'

kind kan de was doen toch?!

edit:
http:// er ook bij staat wat netter

ja tuurlijk dat snap ik wel

[Verwijderd]

Ik zag je sig, en dacht moet lukken dit

[RRX]

Op maandag 24 september 2001 18:59 schreef Yarvieh het volgende:
Ik zag je sig, en dacht moet lukken dit

maar PHP das wat anders dan UNIX

[flat]

offtopic:
[code]b i u b+i b+i+u If (b == i And i == u) { i == i }[/code]
is dat PHP dan? ik ben zoiets vaagsnog nooit tegengekomen in ieder geval...

maar inderdaad een beetje catten en cutten, desnoods nog een grep hier of daar... moet zeker lukken lijkt me zo

edit:

ik voel hier dat er hier zeer mooi stats gaan komen. komen ook wel ergens online te staan hè?

misschien ga ik ook wel squid draaien op m'n servert... kan ik ook leuke stats bakken van de sites die ik bezoek 9)~
ik moet er natuurlijk wel bepaalde adressen even uitknippen, maarja, da's ook wel te doen

[RRX]

Op maandag 24 september 2001 20:07 schreef Flat© het volgende:

offtopic:
[code]b i u b+i b+i+u If (b == i And i == u) { i == i }[/code]
is dat PHP dan? ik ben zoiets vaagsnog nooit tegengekomen in ieder geval...

dat slaat ook gewoon helemaal nergens op

maar inderdaad een beetje catten en cutten, desnoods nog een grep hier of daar... moet zeker lukken lijkt me zo

edit:

ik voel hier dat er hier zeer mooi stats gaan komen. komen ook wel ergens online te staan hè?

misschien ga ik ook wel squid draaien op m'n servert... kan ik ook leuke stats bakken van de sites die ik bezoek 9)~
ik moet er natuurlijk wel bepaalde adressen even uitknippen, maarja, da's ook wel te doen

Als ik klaar ben zal ik het eens ff posten