[php][mysql] veel statistieken goed weergeven

[FrankvR]

Ik heb een website waarbij ik heel veel statistieken bijhoud.
Dingen waar ik vooral in geinteresseerd ben, is hoe een gebruiker door de pagina surft, en hoelang hij op een pagina blijft.

Ik hou voor elke pagina bij hoelaat een gebruiker hem bezoekt.
Alle bijzondere acties die de gebruiker onderneemt (formulier invullen, info opvragen ed.) hou ik ook bij. Zo heb ik dus de informatie om zijn hele traject met al zijn bijzonderheden te volgen.

Hoe kan ik dit het beste weergeven? Ik wil bijvoorbeeld als iemand informatie heeft opgevraagd, dat ik bij zijn aanvraag, direct kan zien wat hij heeft gedaan op de site.
Ik dacht aan een grafische weergave, dan wordt het wat overzichtelijker gemaakt, maar wat is een goede manier. Eerst dacht ik aan de GD-library, maar ik denk dat dat te weinig dynamisch is. Flash wil ik gaan gebruiken. Het gaat dus niet zozeer om de techniek, dat lukt me wel, maar meer om de manier van weergeven.

[drm]

Geef eens wat redenen waarom je flash zou prefereren boven GD? GD is opzich heel eenvoudige te implementeren in jouw geval, tenzij je echt een complete animatie ervan wilt maken. Maar als het om een gewone schematische weergave gaat, dan is GD stukken eenvoudiger.

[Noork]

Wat dacht je van eenvoudige (staaf,lijn,circel) diagrammen. Dit is zelf goed te maken met enige kennis van html/dhtml/javascript. En als je er lui bent is er vast wel een mooi scriptje op hotscripts te vinden die dit kan.

[FrankvR]

Ik dacht aan flash, omdat je daar bijvoorbeeld extra informatie bij kan laten halen.

offtopic:
op http://www.map24.com kan je goed zien wat ik daarmee bedoel, strateninformatie van Spanje worden pas opgehaald uit een database als je dat nodig hebt

Het lijkt mij moeilijk om in 1 plaatje weer te geven welke route iemand heeft afgelegd, hoelang hij op elke pagina is gebleven, welke acties hij daarbij heeft ondernomen, enz.
maar dat is precies de vraag: Hoe laat je dat zo slim mogelijk zien. Ik kan natuurlijk gewoon in een tabelltje de tijden en de pagina's alten zien, maar dat is minder overzichtelijk dan een plaatje

ps
ook wil ik bij zo'n route laten zien welk ip, screenres, colordepth, referer enz. de gebruiker had.

edit:

helemaal gaaf is ook om een soort graaf te maken waarin alle stromen in de website te zien zijn, maar dat lijkt me helemaal lastig (ook de techniek, iemand tips?)

[ Voor 12% gewijzigd door FrankvR op 16-12-2004 18:06 ]

[BasieP]

hier staan mijn site, met daarop wat kleine stats, volgens mij is dit wel vrij duidelijk, en mbv java kan je ook pie-charts maken

[FrankvR]

BasieP schreef op donderdag 16 december 2004 @ 18:05:
hier staan mijn site, met daarop wat kleine stats, volgens mij is dit wel vrij duidelijk, en mbv java kan je ook pie-charts maken

je gebruikt alleen grafiekjes, en geen afzonderlijke-gebruiker-informatie, en dat is juist het belangrijkste

[Verwijderd]

FrankvR schreef op donderdag 16 december 2004 @ 18:07:
[...]


je gebruikt alleen grafiekjes, en geen afzonderlijke-gebruiker-informatie, en dat is juist het belangrijkste

Dat kan toch op dezelfde manier?

[FrankvR]

in staafgrafiekjes of cirkeldiagrammen? nee lijkt me niet nee

[Verwijderd]

Bijvoorbeeld op welke pagina's hij het langst is geweest etc..

[FrankvR]

maar de stroom is daarmee toch niet te laten zien?

[Creepy]

wat dacht je van gewoon een tabel met daarin per regel welke pagina hij heeft bezocht, hoelang en op welk moment gesorteerd op tijd?
Geen mooie grafiekjes wel super functioneel

Maar wat is nu precies je probleem?

[FrankvR]

Creepy schreef op donderdag 16 december 2004 @ 21:10:
wat dacht je van gewoon een tabel met daarin per regel welke pagina hij heeft bezocht, hoelang en op welk moment gesorteerd op tijd?
Geen mooie grafiekjes wel super functioneel

Maar wat is nu precies je probleem?

Dat is inderdaad een mogelijkheid, maar je ziet minder in 1 oogopslag. Meestal kan een plaatje dingen wat duidelijiker laten zien.

ander probleem:
flowchart van de hele website, dus een graaf met tussen alle punten lijnen, die aantonen hoeveel bezoekers ertussengaan, heeft iemand daar een voorbeeld voor?

[Skaah]

[google=jpgraph]

[Verwijderd]

Als je een patserige visualisatie wilt, dan teken je toch een graaf?

Snel in elkaar gehackt voorbeeld met paint:


Zoiets misschien. Ik moet eerlijk toegeven dat ik niet echt een rigoureuze theorie achter deze graaf heb bedacht, dus details van de visualisatie zul je zelf moeten bedenken. Of je kunt een zoeken met Google, misschien (dikke kans) dat er al visualisatiemethoden voor bedacht zijn (of anders CiteSeer of scholar.google.com voor wetenschappelijke papers).

Moeilijk te maken? Jazeker . Maar het bevat denk ik wel de informatie die je wil...

[pierre-oord]

Kaping modus: Ik zoek eigenlijk nedstat maar dan in PHP en Mysql

Ontopic: Ik kan je dus helaas niet helpen. Ik vind het idee van hierboven overigens wel mooi, alles is het lastig omdat de kans dat mensen exact dezelfde route afleggen neit zo groot is. Maar als je getallen zet bij de pagina's als aantal bezoekers, kun je wel een aardig idee vormen. Als iedereen rechtstreeks op de catid pagina's zou komen, zonder langs browse.php te gaan, dan weet je dat het via google is gegaan bijvoorbeeld.

[ripexx]

Als ik het verhaal zo lees dan schiet mij maar een ding te binnen en dat is draaitabellen. Om dynamisch allemaal plaatjes aan te gaan maken schiet je niets mee op. Wil je vele en complexe data inzichtelijk maken dan zijn afbeeldingen leuk maar de context moet ook duidleijk zijn. Dat je het surf gedrag van een specifieke gebruiker wil volgen is prima maar wat heb je aan een gebruiker? Je kan veel beter uit zoeken waar men heen gaat als ze op de index/startpagina binnenkomen en als ze direct op een pagina binnen komen.

Verder kan je het een en ander grafisch weergeven maar doe dan een iets zoals:

[index 100%]
   |
   +- [pagina_1 25%]
   |    |
   |    +- [pagina_1_1 [5%]
   |    +- [pagina_1_2 [4%]
   |
   +- [pagina_2 10%]
   |    |
   |    +- [pagina_2_1 [3%]
   | 
   +- [....]

Alleen dan wat netter en mooier. Daarnaast is het van belang om te weten wat je wil laten zien. Voor T.Net zou dat bijvoorbeeld nieuws en pricewatch zijn. Terwijl V&A minder belangrijk is. Als er dan veel terecht komt bij V&A kan je gaan kijken hoe je bijvoorbeeld nieuws en pricewatch duidelijk naar voren laat komen.

Wat betreft de duur die een gebruiker op een pagian blijft is ook relatief. Je zal dan toch naar gemiddeldes en groeperingen moeten en wil je dat goed weergeven zal je weer moeten gaan werken met draaitabellen. Aan de hand van die gegevens maak je dan een Grafiek enz. hiervoor zijn dure en professionele tools beschikbaar (Crystal reports/ Business Object) maar Excel kan het ook. Voordeel van Excel is dan je daar geod kan stoeien met je modellen. Als die goed uitgewerkt zijn kan je ze in een vastere vorm presenteren.

[FrankvR]

voor de duidelijkheid:
ik wil dus twee dingen

1.
Van 1 individuele gebruiker die een speciale acties heeft ondernomen, zijn route weten met alles erop en eraan.
Bijvoorbeeld, een gebruiker stelt een vraag, omdat hij het antwoord niet op de website kan vinden, terwijl het antwoord wel op de website staat. Dan kan ik in zijn route kijken, waar hij is geweest, welke keuzes hij heeft gemaakt, zodat ik kan zorgen dat in het vervolg iemand het wel vind.

2.
Van groepen gebruikers weten welke stromen er binnen de website zijn. Als iedereen meteen de zoekmachine op de site gebruikt, maar daarna verdwijnt, weet ik dus dat men in het algemeen niet vind wat men zoekt.

ripexx schreef op zaterdag 18 december 2004 @ 01:52:
Als ik het verhaal zo lees dan schiet mij maar een ding te binnen en dat is draaitabellen.

Ik weet niet wat draaitabellen zijn (cirkeldiagrammen???)

pierre-oord schreef op zaterdag 18 december 2004 @ 00:36:
Kaping modus: Ik zoek eigenlijk nedstat maar dan in PHP en Mysql.

Ik heb dus nu een soort netstat gemaakt, in PHP en MySQL, maar niet alleen voor 1 pagina, maar voor de hele website.

[Creepy]

FrankvR schreef op zaterdag 18 december 2004 @ 12:20:
voor de duidelijkheid:
ik wil dus twee dingen

1.
Van 1 individuele gebruiker die een speciale acties heeft ondernomen, zijn route weten met alles erop en eraan.
Bijvoorbeeld, een gebruiker stelt een vraag, omdat hij het antwoord niet op de website kan vinden, terwijl het antwoord wel op de website staat. Dan kan ik in zijn route kijken, waar hij is geweest, welke keuzes hij heeft gemaakt, zodat ik kan zorgen dat in het vervolg iemand het wel vind.

De benodigde data sla je zelf al op en het lijkt me een kleine moeite om een tabel uit te draaien met de volgorde vna de bezochte pagina's.
Wat is hier nu nog precies je probleem? Je hebt nu al een aantal voorzetjes gekregen voor de weergave hiervan en een echt programmeer/ontwikkel probleem zie ik hier niet meer in.

2.
Van groepen gebruikers weten welke stromen er binnen de website zijn. Als iedereen meteen de zoekmachine op de site gebruikt, maar daarna verdwijnt, weet ik dus dat men in het algemeen niet vind wat men zoekt.

Je kan met de data die je hebt toch per pagina uitdraaien wat de vorige en volgende pagina is geweest van de bezoekers (met aantallen of percentages erbij). Zo kan je mooi zien Wat het gros van de bezoekers op een pagina doet. Download eens een demo van ClickTracks. Dit pakket geeft dat vrij simpel weer.

[...]

Ik weet niet wat draaitabellen zijn (cirkeldiagrammen???)

Dat is best wel op te zoeken met google lijkt me


Pierre-oord: een topic kapen doe je maar ergens anders, zeker als je het met een script request doet

[ripexx]

FrankvR schreef op zaterdag 18 december 2004 @ 12:20:
Van 1 individuele gebruiker die een speciale acties heeft ondernomen, zijn route weten met alles erop en eraan.
Bijvoorbeeld, een gebruiker stelt een vraag, omdat hij het antwoord niet op de website kan vinden, terwijl het antwoord wel op de website staat. Dan kan ik in zijn route kijken, waar hij is geweest, welke keuzes hij heeft gemaakt, zodat ik kan zorgen dat in het vervolg iemand het wel vind.

De vraag is hoe nuttige zoiets is. Met een paar bezoekers is dat nog wel te doen maar als je het hebt over 100.000 bezoekers per maand dan wordt het al een hell of a job Opzich is het wel een goede manier maar het is dus maar de vraag is of het rendabel is. In iederegeval zijn er genoeg manieren aan gegeven om hier wat mee te doen. En of je het nu door flash, GD of iets anders laat doen maakt niet zoveel uit.

Van groepen gebruikers weten welke stromen er binnen de website zijn. Als iedereen meteen de zoekmachine op de site gebruikt, maar daarna verdwijnt, weet ik dus dat men in het algemeen niet vind wat men zoekt.

Dat is een jusite conclusie, je kan dat ook opslaan welke zoek termen er gebruikt worden en wat de resulaten daarvan zijn.

Ik weet niet wat draaitabellen zijn (cirkeldiagrammen???)

Zoek op google en in Excel mar eens naar pivot tables. Als je een maal door hebt wat je hier mee kan dan denk ik niet dat je snel naar een vast systeem wilt. Juist pivot tables maken het mogelijk om dynamisch te groeperen en selecteren. Je moet er alleen voor op passen dat je de data goed aanleverd. Waar ik werk maken we gebruik van pivot tables waarbij er 50.000+ activiteiten worden ingeladen vanuit een web omgeving. (25MB+ aan data). En dat werkt prima. De gegevens voor deze data wordt in een batch job in een platte database tabel weggeschreven. Zodat er wel selecties op tijd/periode kunnen plaats vinden. De data ziet er voor de activiteiten analyse ongeveer zo uit:

Activiteit | Klant  | Offerte | enz
email      | klant1 | off_1.2 | enz
bezoek     | klant1 | off_1.2 | enz
bezoek     | klant2 |         | enz
telefoon   | klant1 | off_1.2 | enz

Alleen dan vele malen uitgebreider. Je vertaald het relationele model naar een platte structuur. Drop dit in Excel en gaan rommelen met pivoit tables. En kijk maar eens wat voor een leuke totalen overzichten etc kan maken.