Apache logs uitlezen

[MC Taz Man]

Beste mensen hierzo,

Sinds kort werk ik bij een nieuw bedrijf dat bezig is om een communicatie applicatie op te zetten. Hiervoor moet ook een website komen, hetgeen mijn taak is. De keuze voor een CMS is gemaakt en de vormgeving gaat gestaag.

Nu heeft de marketing man aangegeven dat hij de statistieken van de toekomstige website uit wil kunnen lezen. Het gaat hem voornamelijk om de volgende gegevens:

Hits
Zoekmachine
Zoekterm
Referrals
Landing-pagina
Exit-pagina
Pagina path (liefst grafisch)
Conversie (dus heeft de bezoeker uiteindelijk een aankoop gedaan)

Mijn werkgever geeft om de privacy van zijn bezoekers en heeft expliciet aangegeven dat hij niet wil dat de gegevens worden bijgehouden door een extern bedrijf (a la OneStat), maar dat de webserver (LAMP) dit zal moeten doen.

Het liefst halen we dus de gegevens uit de Apache logs. Een google zoektocht levert een behoorlijk aantal programmas op die het een en het ander uit de logs kunnen halen, maar geen enkele ben ik tegengekomen die alle eisen dekt.

Mijn vraag is of jullie nog ideeën hebben, of bestaan dit soort programma's niet en we zelf gaan coden?

[Bertus]

heel kort:

http://www.google.com/sea...s=1&q=apache+log+analyzer

[Noork]

Je kan toch ook gewoon AW stats of Webanalyzer installeren/gebruiken. Dan heb je het ook in eigen beheer.

Verder denk ik niet dat je je zorgen moet maken voor de privacy als je b.v. gebruikt maakt van Google Analytics.

[MC Taz Man]

Bertus schreef op woensdag 23 juli 2008 @ 14:04:
heel kort:

http://www.google.com/sea...s=1&q=apache+log+analyzer

Had ik al geprobeerd. Als het zo simpel was, had ik de vraag neit gesteld.

Noork schreef op woensdag 23 juli 2008 @ 14:13:
Je kan toch ook gewoon AW stats of Webanalyzer installeren/gebruiken. Dan heb je het ook in eigen beheer.

Verder denk ik niet dat je je zorgen moet maken voor de privacy als je b.v. gebruikt maakt van Google Analytics.

Mijn werkgever heeft een inherent wantrouwen jegens google, da's dus geen optie. En google werkt trouwens ook extern.

AWStats houdt het klikgedrag van de bezoekers niet bij. Webanalyzer wel zie ik, maar ik kan op de website (www.webanalyser.net) niet zien of dit een oplossing is die op onze server draait, of bij webanalyzer zelf. Kan iemand mij dit bevestigen?

[ Voor 54% gewijzigd door MC Taz Man op 23-07-2008 14:29 ]

[jschot]

Noork schreef op woensdag 23 juli 2008 @ 14:13:
Je kan toch ook gewoon AW stats of Webanalyzer installeren/gebruiken. Dan heb je het ook in eigen beheer.

Bedoel je niet webalizer ipv webanalyzer?

[Noork]

Ik bedoelde trouwens deze, http://www.webalizer.org/
volgens mij wordt deze samen met AW Stats het meest gebruikt bij webhosting.

[edit]
^^ idd, die bedoel ik

[ Voor 12% gewijzigd door Noork op 23-07-2008 14:42 ]

[MC Taz Man]

Noork schreef op woensdag 23 juli 2008 @ 14:42:
Ik bedoelde trouwens deze, http://www.webalizer.org/
volgens mij wordt deze samen met AW Stats het meest gebruikt bij webhosting.

[edit]
^^ idd, die bedoel ik

Helaas houdt die nou net niet het gevolgde pad (bijv home -> about -> download) bij. Dus is dat geen optie.

[Verwijderd]

Dit tooltje heeft volgens mij zo goed als alles wat je vraagt:
http://www.loganalyzer.net/sample/index.html

Alleen zie je niet of iemand iets heeft gekocht... Ik neem aan dat het erom gaat dat je ziet vanaf welke marketing actie de meeste verkopen komen. Als dit het geval is denk ik niet dat je dit gaat vinden in een standaard pakketje, maar dit lijkt me niet al te moeilijk om te scripten...

[Maasluip]

MC Taz Man schreef op woensdag 23 juli 2008 @ 14:47:
[...]


Helaas houdt die nou net niet het gevolgde pad (bijv home -> about -> download) bij. Dus is dat geen optie.

De sources van webalizer zitten er bij, dus dat is met een beetje goede wil zelf erbij te hacken.

[BartV]

Wil je het gevolgde pad kunnen zien, dan zul je toch eerst je bezoeker uniek moeten identificeren, wil je daar iets met zekerheid over kunnen zeggen. Dat is niet iets wat je standaard in de apache logs zult terugvinden.
Ik weet zo snel niet een applicatie die hiervoor zou kunnen zorgen. Google geeft wel een aantal hints als je zoekt op "apache user tracking"

[ Voor 11% gewijzigd door BartV op 23-07-2008 15:02 ]

[Maasluip]

Dat lukt toch best redelijk op IP adres. En omdat het gaat om mensen die iets kopen neem ik aan dat ze ook ingelogd zijn, dat moet je ook kunnen loggen.
Maar dan nog is het een beetje tricky: wat doe je met frames? De pagina's daarin worden tegelijk geladen.

[MC Taz Man]

Maasluip schreef op woensdag 23 juli 2008 @ 15:12:
Dat lukt toch best redelijk op IP adres. En omdat het gaat om mensen die iets kopen neem ik aan dat ze ook ingelogd zijn, dat moet je ook kunnen loggen.
Maar dan nog is het een beetje tricky: wat doe je met frames? De pagina's daarin worden tegelijk geladen.

Frames is geen probleem, die gebruiken we momenteel niet.

Mensen zullen inderdaad een account moeten aanmaken en inloggen op de webwinkel voordat ze iets kunnen kopen. De webwinkel zal in-house gemaakt worden, omdat dit een heel klein iets wordt. Tot nu toe is elke webwinkel die we bekeken hebben overkill geweest.

Ik heb al wel een module gevonden voor apache (mod_usertrack) die het bijhouden van wat de gebruikers doen toevoegt aan Apache. Dat is iig iets, nu de rest nog ;-)