Progressie in een groep meten

[Verwijderd]

Ik zit met een vraagstuk waar ik niet helemaal uitkom, en hoop dat ik wat intelligentie kan crowdsourcen hier :-)

Het vraagstuk. Ik schrijf het wellicht wat abstract op; het gaat vooral om de systematiek.

In een huis komen mensen binnen. Sommigen komen dagelijks, andere wekelijks, weer anderen komen met onregelmatige intervallen. Bij het eerste bezoek geeft een bezoeker een score van 1 tot 10. De intentie is om elke 6 maandeneen nieuwe score te vragen, en te kijken of er verandering is. De praktijk is dat mensen een tijdje niet komen waardoor de score bijvoorbeeld na 7 of 8 maanden ingevuld wordt, of juist na een kortere periode, bijvoorbeeld na 4 of 5 maanden.

So far, so good. Per mens kan je heel duidelijk zien of en hoeveel verandering in score is er geweest. Maar nu willen we het over alle bezoekers weten, en daar loop ik spaak. De scores in de tijd en per mens zijn als in onderstaande tabel.

jan

feb

mrt

apr

mei

jun

jul

aug

sep

oct

nov

dec

A

6

8

7

B

7

7

C

6

8

D

7

Hoe kan ik iets zeggen over de hele groep? Als je uitgaat van de intentie om per half jaar iets in te vullen, dan kan je bijvoorbeeld zeggen: de groep die in het 1e kwartaal is begonnen (A, B, C) scoorde gemiddeld 6,3. Maar, een half jaar later zijn er nog maar 2 (A en C), want B heeft pas na 7 maanden iets ingevuld.

Mijn wens is om over de hele groep progressie (dan wel regressie) te kunnen monitoren. Wie kan mij daar een handvat voor geven?

[gambieter]

Als je maar zo weinig datapunten en lange intervallen hebt, dan verwacht ik niet dat je zinvolle statistiek zult kunnen doen. Ook zal je geen normale verdeling hebben.

Mogelijk kun je zeggen dat je het per 6 maanden gaat bekijken, en dan non-parametrisch testen (bijvoorbeeld unpaired met een Mann-Whitney U test, of paired met een Wilcoxon Signed Ranks test).

Dit lijkt me typisch iets wat je met een statisticus moet bespreken

[ Voor 9% gewijzigd door gambieter op 01-11-2012 15:35 ]

[Verwijderd]

Had het er wellicht bij moeten zeggen: het gaat om een groep van 5000 tot 7000 mensen En gaat inderdaad om de grote lijn, wellicht kunnen we inderdaad per half jaar kijken. Dat is tenslotte ook de gewenste meetinterval.

Ik ga eens zoeken naar de termen die je noemt, thanks.

[gambieter]

Als het om 5000-7000 mensen gaat, dan lijkt me een non-parametrische test wel te doen; als je paired kan doen dan is dat mooi, maar anders unpaired.

[Ardana]

Ik ben een absolute leek op gebied van statistiek, maar mag je de stijging/daling niet per maand uitrekenen? Dan kun je altijd na 6 maanden een vergelijking trekken.

[naitsoezn]

Geen statisticus hier, dus misschien ga ik wel wat op teentjes trappen met deze opmerking, maar zolang je maar gewoon duidelijk zegt hoe je meet en wat je doet, kun je het lastig verkeerd doen toch?

Als je bijvoorbeeld zeker weet dat elke bezoeker (ooit) weer terugkomt, kun je bijvoorbeeld ervoor kiezen om in tijden dat een bezoeker geen beoordeling geeft, de laatst gegeven beoordeling te gebruiken voor de huidige maand. Of, als je al data hebt over een langere periode, zou je kunnen interpoleren tussen twee datapunten van één bezoeker om de tussenliggende beoordelingen te verkrijgen. Zo heb je voor elke maand 5000-7000 beoordelingen en kun je prima per maand de vooruitgang / achteruitgang berekenen...Of, als je registreert of een bezoeker wel of niet langs is geweest, kun je z'n laatst gegeven beoordeling alleen gebruiken voor de huidige maand als hij / zij langs is geweest oid...

[Verwijderd]

Hoe geavanceerd wil je je analyse hebben?

De simpelste methode is om per maand (of b.v. per 3 maanden) een gemiddelde te berekenen over alle bezoekers, en daarbij dan maar aan te nemen dat je personen gemiddeld allemaal op dezelfde schaal scoren. Met 5000-7000 personen is de kans redelijk dat het allemaal wel uitmiddelt.

Het volgende bevat nogal wat vakjargon, maar daar kan ik weinig aan doen. Wil je deze analyse beter doen, dan zou je een linear mixed model kunnen gebruiken. Je model is dan dat je score verklaard wordt vanuit "jaar" (met eventueel daarin genest "seizoen" of "maand"), "persoon", en eventueel nog een hele serie parameters met betrekking tot de personen, zoals geslacht, leeftijd, gezinssamenstelling etc, mocht je die data hebben. En, als niet elke klant een identieke behandeling krijgt, liefst ook nog de "gastheer" en andere factoren met betrekking tot de "behandeling" die de klant precies krijgt. Alle termen met betrekking tot personen neem je als random parameters op in je model (immers, de personen zijn niet meer dan een random sample uit je totale populatie van bezoekers), je tijdsfactor neem je als fixed parameter op en daarvan schat je dus de effecten. Ook zou je zo verschillen tussen medewerkers kunnen schatten, en zelfs bijvoorbeeld of de tevredenheid van een klant na behandeling X beter is dan na behandeling Y, etc. Deze geschatte effecten zullen je dan vanzelf je progressie danwel degressie laten zien en bovendien informatie geven over wat je kan doen om klanttevredenheid op te voeren.

Mocht je bovenstaande kunnen begrijpen en dit willen doen, dan red je dat niet met excel. Maar gelukkig is er een freeware pakket voor statistische analyse, genaamd R, waarbij je met de module "lme4" dit soort dingen kan doen.

Er is echter 1 groot probleem: klanten die echt slecht scoren, komen waarschijnlijk nooit meer terug terwijl blije klanten wel terug komen. Om die reden zullen gemiddelde scores over de tijd vanzelf oplopen. Dat kan ongewenst zijn (maar kan ook daadwerkelijk evolutie van je klantenpool zijn en daarmee wel gewenst zijn). Daar zou je voor kunnen corrigeren door alle scores van klanten die na bijvoorbeeld een jaar nog niet terug gekomen zijn, in hun geheel uit de dataset te gooien. Ook zou je je model kunnen gebruiken om outliers te identificeren en deze, indien nog redelijk in aantal ten opzichte van de volledige dataset, te verwijderen.

[ Voor 23% gewijzigd door Verwijderd op 06-11-2012 15:58 ]

[Verwijderd]

Thanks, dat helpt! We willen vooral de vooruitgang of achteruitgang bij klanten zien; de verwachting is dat de gemiddelde toestand over de groep ongeveer gelijk blijft. In dit geval komen namelijk degenen die veel progressie boeken niet meer terug. Vergelijkbaar met het ene grote probleem dat je schetst, maar dan aan de andere kant

Heb in elk geval genoeg termen om te zoeken, dank daarvoor! Kan even duren maar ik geef een update als we er uit zijn.

[Verwijderd]

Hm, begrijp ik nu dat je de progressie van je klanten op een of andere taak wil onderzoeken, en niet de progressie van (de geleverde service van) je bedrijf? Want dat had ik anders opgevat... Als het je meer gaat om de progressie van je klanten dan om de progressie van je bedrijf, dan wil je de tijdsfactor wellicht relatief nemen. Bijvoorbeeld het cumulatieve aantal uren dat ze in je bedrijf hebben doorgebracht, in plaats van een bezoekdatum. En wellicht als een van de co-factoren de intensiteit van de oefening die ze ondergaan ofzo.

En als het je gaat om de gemiddelde progressie van een evoluerend klantenbestand waarbij mensen op een laag niveau binnenkomen en op een hoog niveau vertrekken, dan zou je moeten kijken naar de klant-(relatieve)tijdsinteractie in je model. Allemaal goed te doen, maar zoals altijd in statistiek is uitvinden wat je precies wil weten, het meeste werk!

[Verwijderd]

Het gaat inderdaad om progressie van de klanten. De groep is heel divers, en de aangeboden diensten ook. Er wordt al redelijk wat aan gegevens bijgehouden (vanuit operationele en management-behoefte), maar nu komt er een meetinstrument bij en willen we kijken of we over de hele groep klanten wat kunnen zeggen.

Welke parameters meegenomen worden is nu nog niet precies bekend; allicht een tijdsfactor, maar inderdaad ook intensiteit, contacturen, aantal bezoeken, etc, en de rits aan persoonlijke gegevens. Maar eerst kijken of we de progressie goed in beeld kunnen krijgen, dan gaan we daarna zoeken waar dat dan eventueel uit te verklaren valt.