Onderzoek naar "recommendations" bij aankoop theaterkaarten

[MrAcid]

Tweakers! Momenteel ben ik bezig met een (eind)sprint om mijn master Bedrijfskunde aan de VU af te ronden. Daarvoor heb ik een onderzoek online gezet, waarvoor ik zoveel mogelijk respondenten nodig heb.

Mochten jullie ergens een keer 10 verloren minuten hebben (die heb je, want je leest dit ), zouden jullie dan zo vriendelijk willen zijn om even mijn vragenlijst in te vullen? Het gaat over theaterbezoek en de aankoop van kaartjes daarvoor. Specifiek gaat het dan over het gebruik van een aanbevelingssysteem dat op basis van eerdere aankopen een voorstel doet voor mogelijk interessante voorstellingen die je zou kunnen bezoeken. Denk aan wat Amazon.com doet en inmiddels vele, vele andere bedrijven/shops.

In principe kan het door iedereen worden ingevuld, ongeacht of je een (frequent) theaterganger bent!

Je vindt het onderzoek hier: http://bit.ly/OnderzoekMaarten

Het precieze doel van het onderzoek kan ik vooraf niet prijsgeven, dat zou wellicht de resultaten beïnvloeden. Achteraf kan ik dat uiteraard wel uit de doeken doen en jullie verblijden met de resultaten.

Voor het geval je wilt reageren op het onderzoek, heel graag. Zowel inhoudelijk als qua vraagstelling zijn opmerkingen welkom. Mocht je inhoudelijk willen reageren dan is onderstaande stelling, afkomstig uit het onderzoek, wel een aardig startpunt:

Al met al is het gebruik van een aanbevelingssysteem bij de aankoop van mijn theaterkaarten een goed idee.

Alvast enorm bedankt voor je medewerking!

Opmerking vooraf: Hoewel er vragen tussen zitten die sterk op elkaar lijken zijn deze niet hetzelfde. Aan de deelnemers het verzoek om elke vraag als "losse vraag" te beantwoorden.

NB: toestemming voor dit topic is verkregen via de moderators van SF, dank daarvoor.

[Verwijderd]

Ik ben hem op dit moment aan het invullen, maar loop vast bij... vraag 1.
Het idee goed naar de screenshot te moeten kijken, de opening 'ziet er als volgt uit' ipv 'laat de volgende resultaten zien' en het gevoel wat ik erbij heb doet me denken dat ik vragen zal moeten beantwoorden over de presentatie van de data. De vragen lijken echter te richten op de functionaliteit van het systeem, ofwel, zijn de suggesties logisch aan de hand van de historie.
De vraag zal leidend zijn, dus ik antwoord inzake functionaliteit. Overigens komen niet alle namen mij zo bekend voor, een genre-aanduiding zou mij helpen eventueel items nader te bekijken.

Kom ik bij scherm 2...

Voor je gevoel precies dezelfde vragen - en je had bij vraag 1 al het idee dat er behoorlijk wat validatie werd gedaan.

Nee... Sorry...
Er is té veel ruis aan informatie, in de presentatie en onduidelijkheid over wat nu precies bedoeld wordt. Ik ben aardig vergevingsgezind bij enquetes om te kijken of ik het kan afleiden uit de opzet, maar pardon my French: dit is een puinhoop.

Je zal even een paar stappen terug moeten doen, en even goed voor jezelf afwegen welke informatie je wil verkrijgen. Dit is de eerste survey in tijden, waarbij ik op vraag 2 afhaak, en dan eigenlijk om het simpele feit dat ik té graag wilde weten of vraag 2 beter in elkaar stak na het compleet onduidelijk zijn van vraag 1.

Meer kan ik er niet van maken. Het is goed bedoeld, ik ben niet degene die je een beoordeling geeft uiteindelijk, dus doe er iets mee voordat het beoordeeld wordt waar het echt telt

Na het schrijven van dit commentaar maar even random data ingevuld om door te kunnen, maar what the hell?
Scherm 3... Scherm 4...
Wéér dezelfde vragen met een woordje anders, en dezelfde screenshot. Ik krijg een aardig gevoel dat het me duidelijk wordt wat je bedoelt met het precieze doel niet kunnen prijsgeven.
Dan wederom: sorry, maar uit de vraagstellingen ga je dan geen resultaten trekken. Je wil de impact van de bewoordingen weten en het gaat totaal niet om theaterbezoek - wat ook de reden is dat dat gordijn zo slecht in elkaar zit. Niemand gaat hier de vragen serieus lopen beantwoorden, het is too obvious.

En dan moet je bedenken dat ik dat als aanname doe om te verklaren waarom de enquête zo onwaarschijnlijk slecht in elkaar steekt - dus ik hoop nu maar echt dat het je inderdaad niet om het theatersysteem gaat. Zo wel, dan is het bedroevender dan bedroevend.

[ Voor 79% gewijzigd door Verwijderd op 03-08-2011 00:36 ]

[Tsurany]

"Dit aanbevelingssysteem is deskundig op het gebied van theatervoorstellingen"
Hoe moet ik dat weten? Ik zie een screenshot met een paar bekende en een paar onbekende shows en kan het helemaal niet aanpassen aan mijn voorkeuren. Dan kan jij toch beter zelf objectief kijken wat voor shows het zijn en kijken of het klopt? Dit is een vraag die bedoeld is om te testen of mensen die voorstellingen kennen, meer niet.

"Ik heb vertrouwen in dit aanbevelingssysteem"
Op basis van een enkele screenshot vertrouwen hebben in een systeem? Nee, pas als ik zie dat hij mij goede suggesties geeft op basis van MIJN wensen, dan heb ik misschien vertrouwen.

"Door gebruik te maken van het aanbevelingssysteem kom ik tot betere keuzes van theatervoorstellingen die ik wil bezoeken"
Hoe moet ik dat weten als ik enkel een dom plaatje zie? Als het systeem goed werkt dan kan het mij helpen, werkt het systeem niet goed dan niet. Hoe kan ik dat op basis van een enkel plaatje beoordelen?

"Al met al is het gebruik van het aanbevelingssysteem bij de aankoop van mijn theaterkaarten een goed idee"
Een aanbevelingssysteem in het algemeen is een goed idee, of dit systeem dat is kan ik niet beoordelen op basis van een plaatje.

"Ik zal in de nabije toekomst zeker theaterkaarten kopen die door dit systeem worden aanbevolen"
Nee want ik heb geen enkele mogelijkheid mijn eigen keuzes in te voeren en ik heb geen idee wat voor resultaat daar uit komt.


En dit geld voor praktisch alle vragen die ik tegen kom. Ik vind het echt een zwak onderzoek als je op deze manier input verzameld en ik zou van een master opleiding echt een veel hoger niveau verwachten om eerlijk te zijn. Ik kan gewoon op geen enkele vraag antwoord geven simpelweg omdat je mij een plaatje geeft waar ik niks mee kan.

[SgtElPotato]

Met Tsurany.

Ik kan geen mening geven over het systeem a.d.h.v. een enkel plaatje. ( Wat er m.i. ook nog redelijk amateuristisch / simpel / snel opgezet uitziet ).

Als er een test site opgezet zou zijn, zouden we beter antwoord kunnen geven.

[ Voor 5% gewijzigd door SgtElPotato op 03-08-2011 00:45 ]

[Gomez12]

Ik hoop maar dat je onderzoek gaat over hoe hoog je de bounce-rate van een enquete kan krijgen, want iedereen die al uit zichzelf zou willen meewerken hangt al bij de 1e pagina.

[TERW_DAN]

Ik heb de enquete net ook gestart, maar ik krijg de hele tijd dezelfde vragen? Klopt dat?

[MrAcid]

De punten waar ik op wil/kan reageren:
- Het gaat niet om dit aanbevelingssysteem. Het gaat om het gebruik van een aanbevelingssysteem bij een theater waarbij op basis van je in het verleden bezochte voorstellingen voor een nieuw seizoen suggesties gedaan worden.
- Daarop aansluitend: de weergegeven voorstellingen zijn gekozen met het idee dat deze voor een zo groot mogelijke groep herkenbaar zijn en ze zo in een beter beeld kunnen krijgen wat een dergelijk systeem doet. Lang niet iedereen is hiermee bekend maar op deze manier kan ik het toch aan mensen vragen omdat ze zich ter plekke in de situatie kunnen inleven.
- Ja, er zitten vragen tussen die "hetzelfde" zijn. Hetzelfde tussen aanhalingstekens, want ze zijn wel degelijk anders. Dit is overigens zeer gebruikelijk in onderzoek bij een sociale wetenschap. Het draagt bij aan de validiteit.

Voor de mensen die hem al hebben ingevuld: hartelijk dank! Ook bedankt voor de kritiek hierboven overigens er zitten zeker punten bij die in de toekomst anders/beter kunnen.

[marrk]

Gewoon een vraagje vanuit de recsys hoek... Dit is de eerste keer dat ik iets lees/hoor over aanbevelingen bij theatervoorstellingen.
Ik heb een beetje mijn vraagtekens bij hoe technisch haalbaar het is om hier aanbevelingen te doen. Ik denk dat voor collaborative filtering algoritmes er te weinig overlap is tussen gebruikers en dat voor content-based er te veel subjectieve/emotionele eigenschappen van theatervoorstellingen zijn om goed aanbevelingen te kunnen doen.
Ik ben overigens ook afgehaakt bij de tweede pagina, omdat ik echt heul niets weet van theater. Dus die aanbevelingen op waarde inschatten kan ik niet echt. Dat ik er heul niets van weet is wel de reden dat ik zo'n systeem wel zie zitten overigens. Sterkte ermee!

[MrAcid]

marrk schreef op woensdag 03 augustus 2011 @ 10:33:
Gewoon een vraagje vanuit de recsys hoek... Dit is de eerste keer dat ik iets lees/hoor over aanbevelingen bij theatervoorstellingen.
Ik heb een beetje mijn vraagtekens bij hoe technisch haalbaar het is om hier aanbevelingen te doen. Ik denk dat voor collaborative filtering algoritmes er te weinig overlap is tussen gebruikers en dat voor content-based er te veel subjectieve/emotionele eigenschappen van theatervoorstellingen zijn om goed aanbevelingen te kunnen doen.
Ik ben overigens ook afgehaakt bij de tweede pagina, omdat ik echt heul niets weet van theater. Dus die aanbevelingen op waarde inschatten kan ik niet echt. Dat ik er heul niets van weet is wel de reden dat ik zo'n systeem wel zie zitten overigens. Sterkte ermee!

Goeie punten inderdaad, het is heel lastig om dit (goed) te doen voor theaters!

Enkele moeilijkheden die optreden:
- Voorstellingen lopen maar één seizoen
- Voorstellingen raken uitverkocht en er komt geen nieuwe voorraad
- Artiesten kunnen ineens een hele andere wending met een voorstelling nemen: een naam/groep is lang niet altijd een garantie voor de inhoud

Daardoor is collaborative filtering (persoon A koopt product X en Y, persoon B koopt Y en vindt X dus misschien ook leuk) inderdaad erg lastig te doen. Mede ook omdat je aan het begin van het seizoen, wanneer de kaarten in de verkoop gaan, eigenlijk al een aanbeveling klaar wil hebben liggen. Er is dan alleen nog geen data beschikbaar over dat nieuwe seizoen. Dit is overigens deels te verhelpen door bezoekers een paar weken voor het daadwerkelijk kopen de voorstellingen alvast "klaar te laten zetten" in een winkelmandje.

Bij een content-based approach (je gaat dan de voorstellingen kenmerken meegeven, bijvoorbeeld in de vorm van tags en gaat op basis daarvan vergelijkbare voorstellingen naar voren halen) loop je tegen het probleem aan dat het subjectief "kan" zijn hoe een voorstelling beoordeeld wordt. Ook weet je niet goed wat het precies is dat mensen aanspreekt in een voorstelling. Gaan ze naar Hans Teeuwen voor het absurdisme en vinden ze dan Mike & Thomas ook leuk of gaan ze erheen omdat het zo grof/plat is en moet je dus een andere cabaretvoorstelling aanbevelen?

Ideeën hierover hoor ik ook graag, want dat is zeker interessant voor een eventueel vervolg!

[Verwijderd]

MrAcid schreef op woensdag 03 augustus 2011 @ 10:24:

- Ja, er zitten vragen tussen die "hetzelfde" zijn. Hetzelfde tussen aanhalingstekens, want ze zijn wel degelijk anders. Dit is overigens zeer gebruikelijk in onderzoek bij een sociale wetenschap. Het draagt bij aan de validiteit.

Voor de mensen die hem al hebben ingevuld: hartelijk dank! Ook bedankt voor de kritiek hierboven overigens er zitten zeker punten bij die in de toekomst anders/beter kunnen.

Eh, validatie doe je door een andere vraagstelling met vrijwel dezelfde betekenis, liefst met tegenovergestelde uitkomst. Geeft de 'eens' vraag een 4/5, dan zou de 'oneens' anders geformuleerde vraag 2/5 op moeten leveren.
Dat het hier 4x gebeurt met in alle vragen steeds 1 woord anders, doet lijken alsof je de impact van woordgebruik wil meten. Ik blijf erbij dat als je dat wil doen, je het beter moet maskeren (liefst zelfs aansluiten bij een werkelijk onderzoek). Het lijkt me sterk dat mensen gezien de enorme gelijkenis van de vragen in 1 van de 4x een andere samenstelling van antwoorden geeft. En volgens mij heb je daarmee de bruikbaarheid van je resultaten al ondermijnd voor je begonnen bent

[TERW_DAN]

marrk schreef op woensdag 03 augustus 2011 @ 10:33:
Ik heb een beetje mijn vraagtekens bij hoe technisch haalbaar het is om hier aanbevelingen te doen. Ik denk dat voor collaborative filtering algoritmes er te weinig overlap is tussen gebruikers en dat voor content-based er te veel subjectieve/emotionele eigenschappen van theatervoorstellingen zijn om goed aanbevelingen te kunnen doen.

Ik denk dat je daar inderdaad wel een puntje hebt, maar ik zie op zich wel mogelijkheden, mits je database maar groot genoeg is om de aanbevelingen ergens mee te kunnen onderbouwen.
Aanbevelingen zul je moeten baseren op iets. Maar omdat we daar niets van weten is deze enquete niet in te vullen (daarom ben ik ook al afgehaakt op de 2e pagina). Als dat puur is op basis van genre dan sla je de plank nogal mis imho, maar of dat ook zo is kan ik niet beoordelen aan de hand van 1 screenshotje.

[Tsurany]

MrAcid schreef op woensdag 03 augustus 2011 @ 10:24:
De punten waar ik op wil/kan reageren:
- Het gaat niet om dit aanbevelingssysteem. Het gaat om het gebruik van een aanbevelingssysteem bij een theater waarbij op basis van je in het verleden bezochte voorstellingen voor een nieuw seizoen suggesties gedaan worden.

Waarom neem je dan specifiek dit systeem als voorbeeld? Met deze vragen impliceer je dat het om dit systeem gaat. Zeker als het over vertrouwen gaat hebben, dat aspect hoort bij een specifiek systeem en niet bij een idee. Hoe moet ik bepalen of ik vertrouwen heb bij aanbevelingssystemen in het algemeen als ik hun resultaten niet ken?

- Daarop aansluitend: de weergegeven voorstellingen zijn gekozen met het idee dat deze voor een zo groot mogelijke groep herkenbaar zijn en ze zo in een beter beeld kunnen krijgen wat een dergelijk systeem doet. Lang niet iedereen is hiermee bekend maar op deze manier kan ik het toch aan mensen vragen omdat ze zich ter plekke in de situatie kunnen inleven.

En wat bereik je daar mee? Jij kiest wat voorstellingen en dat moeten we gebruiken om de betrouwbaarheid te toetsen?

- Ja, er zitten vragen tussen die "hetzelfde" zijn. Hetzelfde tussen aanhalingstekens, want ze zijn wel degelijk anders. Dit is overigens zeer gebruikelijk in onderzoek bij een sociale wetenschap. Het draagt bij aan de validiteit.

Het irriteert de mensen die zo'n onderzoek invullen enorm. Ook de reden dat ik ben afgehaakt. Ik heb zulk soort vragen vaak genoeg meegemaakt bij onderzoeken, toen kreeg ik echter wel betaald voor de vragenlijsten in te vullen.

[marrk]

MrAcid schreef op woensdag 03 augustus 2011 @ 10:43:
[...]

Goeie punten inderdaad, het is heel lastig om dit (goed) te doen voor theaters!

Enkele moeilijkheden die optreden:
- Voorstellingen lopen maar één seizoen
- Voorstellingen raken uitverkocht en er komt geen nieuwe voorraad
- Artiesten kunnen ineens een hele andere wending met een voorstelling nemen: een naam/groep is lang niet altijd een garantie voor de inhoud

Daardoor is collaborative filtering (persoon A koopt product X en Y, persoon B koopt Y en vindt X dus misschien ook leuk) inderdaad erg lastig te doen. Mede ook omdat je aan het begin van het seizoen, wanneer de kaarten in de verkoop gaan, eigenlijk al een aanbeveling klaar wil hebben liggen. Er is dan alleen nog geen data beschikbaar over dat nieuwe seizoen. Dit is overigens deels te verhelpen door bezoekers een paar weken voor het daadwerkelijk kopen de voorstellingen alvast "klaar te laten zetten" in een winkelmandje.

Bij een content-based approach (je gaat dan de voorstellingen kenmerken meegeven, bijvoorbeeld in de vorm van tags en gaat op basis daarvan vergelijkbare voorstellingen naar voren halen) loop je tegen het probleem aan dat het subjectief "kan" zijn hoe een voorstelling beoordeeld wordt. Ook weet je niet goed wat het precies is dat mensen aanspreekt in een voorstelling. Gaan ze naar Hans Teeuwen voor het absurdisme en vinden ze dan Mike & Thomas ook leuk of gaan ze erheen omdat het zo grof/plat is en moet je dus een andere cabaretvoorstelling aanbevelen?

Ideeën hierover hoor ik ook graag, want dat is zeker interessant voor een eventueel vervolg!

Het eerste en derde punt wat je noemt waren de punten die ik ook zag inderdaad. Dat tweede punt had ik niet eens bij stilgestaan, maar dat is ook een lastige.
Ik heb zelf een scriptie geschreven over aanbevelingen bij films, waarbij ik probeerde de collaborative filtering en content-based soort van te verenigen. Tegenwoordige collaborative filtering algoritmes maken vaak gebruik van dimensie reductie van de user-item rating matrix (dus de matrix met in de kolommen de gebruikers, in de rijen de items en in de cellen de waardering, of het wel of niet kopen van iets), waarbij ik heb geprobeerd die dimensies te koppelen aan dimensies die ik via een kwalitatieve studie heb vastgesteld. En dit is eigenlijk echt amper gelukt...
Ik denk dat als ik het opnieuw zou doen (of voor een eventueel promotie-onderzoek), ik nog meer kwalitatief bezig zou zijn. Dus een keer recensenten vragen, of focus groups doen, om uit te vinden wat voor 'aspecten' van theater (of in mijn geval dus film) een rol spelen in voorkeursvorming. Je noemt zelf al 'absurdisme' en 'grof/plat' en dat zijn denk ik aspecten die een belangrijke rol kunnen spelen, dus dat zijn dan sowieso aspecten waar (in mijn ogen) een systeem rekening mee moet houden. En eigenlijk is het ook wel prima om een expert (of misschien zelfs de artiest zelf) de voorstellingen te laten raten op een aantal van die attributen en op basis daarvan aanbevelingen te doen.

Onderzoeksmethodologische vraagjes overigens ook (sjah, als halve psycholoog moet ik daar ook altijd iets over zeggen):
-Heb je een manipulatie/baseline in je studie? Ik snap dat je hem niet wilt uitleggen voor mensen die de vragenlijst nog in moeten vullen, dus een ja/nee volstaat.
-Je hebt inderdaad wel heel erg vaak 'dezelfde' vragen. Je hoeft niet elke vraag 3x te valideren, 1 of 2 vragen 1x valideren is meestal al prima. Mensen die vreemde dingen doen, vallen er bij de factor analyse toch al wel uit.

[Gomez12]

Tja, aparte manier van enqueteren denk ik dan.

MrAcid schreef op woensdag 03 augustus 2011 @ 10:24:
De punten waar ik op wil/kan reageren:
- Het gaat niet om dit aanbevelingssysteem. Het gaat om het gebruik van een aanbevelingssysteem bij een theater waarbij op basis van je in het verleden bezochte voorstellingen voor een nieuw seizoen suggesties gedaan worden.

De vragen op pagina 1 :
- Dit aanbevelingssysteem is deskundig op het gebied van theatervoorstellingen
- Ik heb vertrouwen in dit aanbevelingssysteem
- Door gebruik te maken van het aanbevelingssysteem kom ik tot betere keuzes van theatervoorstellingen die ik wil bezoeken
- Al met al is het gebruik van het aanbevelingssysteem bij de aankoop van mijn theaterkaarten een goed idee
- Ik zal in de nabije toekomst zeker theaterkaarten kopen die door dit systeem worden aanbevolen

Maar het gaat echt niet om dit aanbevelingssysteem, ook al vraag je op pagina al 3x specifiek naar dit systeem.
Mij ben je even kwijtgeraakt.

[JvW]

Ingevuld. En veel succes gewenst met de eindsprint.

Wel moet ik zeggen dat de enquête inderdaad doet vermoeden dat het specifiek om dit systeem gaat. En met dat ene plaatje kun je zelfs daar weinig van zeggen.

Overigens ben ik niet zo'n voorstander van een dergelijk systeem. Ik mag me graag zelf verdiepen in de beschikbare voorstellingen. Wellicht dat het voor personen die minder vaak naar het theater gaan wel een zekere meerwaarde heeft.

[marrk]

JvW schreef op woensdag 03 augustus 2011 @ 11:38:
[...]
Overigens ben ik niet zo'n voorstander van een dergelijk systeem. Ik mag me graag zelf verdiepen in de beschikbare voorstellingen. Wellicht dat het voor personen die minder vaak naar het theater gaan wel een zekere meerwaarde heeft.

Ahja, das ook nog een punt. Er zijn ook gewoon minder theatervoorstellingen dan films of muziek... dus de moeite die je bespaart met zo'n systeem is het lezen van een programmaboekje. Ik denk dat ik zelfs als theater-hater (zo erg is het niet, maar het rijmt te lekker om niet op te schrijven) de voorkeur zou geven aan het programmaboekje.

[MrAcid]

marrk schreef op woensdag 03 augustus 2011 @ 11:14:
[...]
En eigenlijk is het ook wel prima om een expert (of misschien zelfs de artiest zelf) de voorstellingen te laten raten op een aantal van die attributen en op basis daarvan aanbevelingen te doen.

Een expert zou inderdaad een oplossing zijn. Ik heb echter ook wel met mensen in de theaterwereld gesproken en het is vaak heel lastig om op voorhand een duidelijk beeld te hebben van hoe de inhoud van een voorstelling eruit gaat zien. Dat is sterk afhankelijk van de regisseur van een stuk, de acteurs die meespelen, uiteraard het script en nog een aantal factoren. Je hebt daar dus best wel specialistische kennis van de theaterwereld voor nodig: dat kan een duur geintje worden in een branche waar alleen maar bezuinigd wordt.

Onderzoeksmethodologische vraagjes overigens ook (sjah, als halve psycholoog moet ik daar ook altijd iets over zeggen):
-Heb je een manipulatie/baseline in je studie? Ik snap dat je hem niet wilt uitleggen voor mensen die de vragenlijst nog in moeten vullen, dus een ja/nee volstaat.
-Je hebt inderdaad wel heel erg vaak 'dezelfde' vragen. Je hoeft niet elke vraag 3x te valideren, 1 of 2 vragen 1x valideren is meestal al prima. Mensen die vreemde dingen doen, vallen er bij de factor analyse toch al wel uit.

- Nee
- Dit blijf ik een lastig punt vinden. De vragen komen uiteraard niet zomaar uit de lucht vallen. Ik maak gebruik van in andere onderzoeken gebruikte schalen die getest zijn en een hoge cronbach alpha halen voor de betrouwbaarheid. Als ik daar in ga hakken/schrappen loop ik natuurlijk de kans dat ik achteraf niet meer kan schaven (vragen weglaten uit de schaal op basis van factor analyse) en mijn constructen niet betrouwbaar genoeg zijn.