Drietal demo's testen voor het stemmen op kunst.

[MrVegeta]

Ik ben bezig met het maken van een platform waar online op kunst kan worden gestemd. Om een leuke manier die goed werkt te bedenken heb ik een drietal concepten ontwikkeld. Deze concepten heb ik ontwikkeld tot kleine demo's en graag zou ik van jullie daar ook nog wat input over willen hebben.

Ik heb een Google Form gemaakt die ik al via social media heb gedeeld en daardoor al aardig wat feedback verkregen, maar omdat dit een kwantitatief "onderzoek" is zijn meer resultaten natuurlijk beter.

Hier is de link naar het Google form: http://tinyurl.com/l6nswgk het testen en invullen duurt ongeveer 5 tot max 10 minuten (naarmate hoeveel feedback je wilt geven, meer is beter). De demo's zijn trouwens puur als demo gemaakt dus qua code zitten er nog een aantal fouten in. Het gaat vooral om het testen van het concept.

De resultaten worden bijgehouden in een Google sheet die ik met jullie wil delen wanneer ik wat extra resultaten heb verkregen (wil niet iemand beïnvloeden).

Hoewel ik natuurlijk hier graag in verder discussieer zou ik het ook waarderen als feedback in het formulier kan worden geplaatst voor de resultaten.

Mochten jullie het Google form kunnen/willen delen met anderen buiten Tweakers dan wordt dit natuurlijk ook gewaardeerd. De doelgroep voor dit is enorm breed.

Er is toestemming gegeven voor deze enquête door de modjes.

[ Voor 16% gewijzigd door MrVegeta op 03-06-2014 13:05 ]

[Yofresh]

Tip 1: Niet je eigen voorkeur in de OP noemen. Dit bevoordeelt mensen meteen. Hoe meer openminded feedback je wil, hoe minder je je eigen mening erover moet geven

[CH4OS]

Het gaat dan ook om de input via het Google formulier. An sich maakt het dan toch niet uit, dat de TS zijn voorkeur in de OP uitspreekt? Dat hij daar een voorkeur in heeft, is immers aan hem, niet aan mij als eindgebruiker. Wellicht ken ik hem niet eens, als ik met een gebruikersblik ga kijken.

[Yofresh]

Als hij de onbevooroordeelde mening van de GoT`ers wil, is dit wel een probleem. Wellicht niet, maar als je het dan toch serieus aan wil pakken met een enquete, dan kan je beter zorgen voor een juiste manier van enquetering.

[newbreed]

Tip: Omschrijf even wat precies je gewenste eindresultaat is in de ranking van werken.

Het is onmogelijk om nu te bepalen wat de beste methode is, indien je niet bekend maakt hoe de rating in zijn werk gaat. Moet er uiteindelijk 1 kunstwerk als beste kunstwerk betiteld worden? Moet de rest in een soort ranking volgen? Wil je weten welke soort werken men als mooi beschouwt?

Wat is je doel?

[MrVegeta]

De demo's zijn trouwens puur als demo gemaakt dus qua code zitten er nog een aantal fouten in. Het gaat vooral om het testen van het concept.

Ik wil vooral weten waarom een methode wel of niet werkt. Het gaat er dus niet zozeer om wat de beste methode is qua ranking, maar wat is het leukste om te gebruiken. Mijn doel is om een besluit te nemen welke methode "lekker werkt".

Uit de feedback tot nu toe blijkt dat de like/dislike en drag&drop ongeveer evenveel voorkeur hebben *uit ongeveer 50 resultaten).

@Chaos en Yofresh, ben het er inderdaad wel mee eens dat ik die voorkeur er uit moest halen. Als ik dit aan iemand op straat zou vragen ga ik ook niet zeggen "Nummer 2 is mijn favoriet".

[ Voor 16% gewijzigd door MrVegeta op 03-06-2014 14:07 ]

[Fish]

ik vind vooral nummer 2 ongelovelijk slecht want die 2 like en dislike knoppen zitten wel erg ver uit elkaar en zijn ook niet benaderbaar met het toetsenbord

[newbreed]

MrVegeta schreef op dinsdag 03 juni 2014 @ 14:06:
[...]


Ik wil vooral weten waarom een methode wel of niet werkt. Het gaat er dus niet zozeer om wat de beste methode is qua ranking, maar wat is het leukste om te gebruiken. Mijn doel is om een besluit te nemen welke methode "lekker werkt".

Uit de feedback tot nu toe blijkt dat de like/dislike en drag&drop ongeveer evenveel voorkeur hebben *uit ongeveer 50 resultaten).

@Chaos en Yofresh, ben het er inderdaad wel mee eens dat ik die voorkeur er uit moest halen. Als ik dit aan iemand op straat zou vragen ga ik ook niet zeggen "Nummer 2 is mijn favoriet".

Of de methode wel, of niet werkt is afhankelijk van je doelstelling. Alle 3 de methodes zijn geschikt om keuzes te maken en zijn duidelijk voor een gebruiker. Wat je doel van het onderzoek is, is bepalend voor de beste methode. Ze zijn namelijk niet onderling uitwisselbaar. De uitkomst van de 3 methoden zijn niet met elkaar te vergelijken. Eventuuel zou je een analyse kunnen doen van de wijze waarop mensen een keuze maken en wat de achterliggende psychologie is en je zou een gedragsstudie moeten doen van de wijze waarop besluitvorming tot stand komt. Ik vermoed echter dat dit niet het onderwerp is.


Nu is je uitkomst helemaal niets waard, want je ben appels met peren aan het vergelijken.
Om in de zelfde analogie te blijven; dit is wat je aan het onderzoeken bent:

1. Verschillende soorten fruit, selecteer er 5 die je het lekkerst vindt. Uitkomst = Van alle stuks fruit zijn die 5 het lekkerst. Mogelijk dat meerdere soort fruit ook lekker zijn, maar in ieder geval minder lekker dan de 5 geselecteerde.

2. 1 stuk Fruit. Wel lekker, of niet lekker. Uitkomst = Selectie van fruit die gekenmerkt zijn als wel of niet lekker.

3. 3 verschillende soorten fruit, kies de lekkerste / minst vieze. Uitkomst= Van de gepresenteerde stukken fruit was 1 van de 3 het lekkerst. Hoe deze zich onderling verhouden is niet duidelijk. Mogelijk dat meerdere soorten fruit lekker zijn en zelfs lekkerder dan fruit dat is aangemerkt als lekker.

Bij alle 3 de methodes kan een gebruiker voorkeuren aangeven en vanuit een gebruikersperspectief is het duidelijk hoe de interface werkt. Welke methode de voorkeur geniet is 100% afhankelijk van het te behalen doel.

[MrVegeta]

newbreed schreef op dinsdag 03 juni 2014 @ 15:13:
[...]
Nu is je uitkomst helemaal niets waard, want je ben appels met peren aan het vergelijken.

Ik ben de verschillende manier van fruit sorteren aan het vergelijken. Ik ben het met je eens dat het belangrijk is hoe de resultaten worden behandeld uit het stemmen (daar heb ik al veel feedback op gekregen), maar het is toch prima mogelijk om een onderzoek naar user interaction te doen? Ik denk dat je er teveel achter zoekt op het moment.

Om in de zelfde analogie te blijven; dit is wat je aan het onderzoeken bent:

Ik ben aan het onderzoeken of het duidelijk is wat de gebruiker moet doen, hoe hij of zij dat ervaart. Bij alle 3 manieren zijn prima oplossingen te vinden voor het behandelen van de resultaten, maar alle 3 verschillen ze wel in hoe die resultaten worden opgehaald.

[ Voor 24% gewijzigd door MrVegeta op 03-06-2014 15:29 ]

[newbreed]

MrVegeta schreef op dinsdag 03 juni 2014 @ 15:27:
[...]


Ik ben de verschillende manier van fruit sorteren aan het vergelijken.

Maar als alle 3 de methoden tot een andere uitkomst leiden, dan kan je deze niet met elkaar vergelijken

maar het is toch prima mogelijk om een onderzoek naar user interaction te doen?

Dat is zeker mogelijk, maar ik mis vragen in je enquete die verwijzen naar de user interaction.In dat geval zou ik daar specifiek naar vragen. Een enquete is overigens niet het meest geschikt om dit te analyseren, of in ieder geval niet genoeg voor een eenduidige analyse.
De tijd die nodig is om een selectie te maken zou een factor kunnen zijn, een andere mogelijkheid is eye tracking (gaat misschien wel wat ver).

Als je het toch via een enquete wil doen. vraag naar specifieke kenmerken van de sorteringswijze:

1. Hoe snel kwam je tot het gewenste resultaat?
2. Hoe makkelijk is de opdracht te herhalen?
3. Kan je in het geval van een fout makkelijk corrigeren?
4. Hoe efficient is de wijze van sorteren?

Je kan niet verwachten dat een gebruiker zelf na gaat denken over al deze criteria door hem simpelweg de 3 sorteringswijzen voor te leggen en te vragen, "wat vind je er van?". Meestal krijg je dan niet erg concrete antwoorden als "De esthetische coherentie is niet optimaal".

De manier waarop je een dergelijke test inzet is:

1. Doe taak X, waarbij je duidelijk definieert wat het uiteindelijke resultaat moet zijn.
   • Presenteer methode A;
   • Presenteer methode B;
   • Presenteer methode C;
2. Vergelijk de onderlinge resultaten.

Ik wil je het vuur niet aan de schenen leggen, maar je komt met je onderzoekswijze niet tot een resultaat dat iets betekent. Ik ben dagelijks bezig met dergelijke analyses en ontwerp software.
Als je de moeite neemt om dit onderzoekje op te zetten kan je er beter iets bruikbaars uit halen. In het huidige geval kan je beter zelf iets kiezen en jezelf een hoop tijd besparen.

[MrVegeta]

newbreed schreef op dinsdag 03 juni 2014 @ 16:28:

Als je het toch via een enquete wil doen. vraag naar specifieke kenmerken van de sorteringswijze:

1. Hoe snel kwam je tot het gewenste resultaat?
2. Hoe makkelijk is de opdracht te herhalen?
3. Kan je in het geval van een fout makkelijk corrigeren?
4. Hoe efficient is de wijze van sorteren?

Dit zijn inderdaad erg goede vragen. Ik wil graag (wanneer de resultaten binnen en voldoende zijn) dieper gaan testen op een bepaalde methode, en dan zal ik zeker deze dingen testen.

De manier waarop je een dergelijke test inzet is:

1. Doe taak X, waarbij je duidelijk definieert wat het uiteindelijke resultaat moet zijn.
   • Presenteer methode A;
   • Presenteer methode B;
   • Presenteer methode C;
2. Vergelijk de onderlinge resultaten.

Ik wil straks een aantal mensen observeren terwijl zij de test uitvoeren, dan wil ik er dieper op in gaan. Dat had ik nu misschien ook al kunnen doen.

Ik wil je het vuur niet aan de schenen leggen, maar je komt met je onderzoekswijze niet tot een resultaat dat iets betekent. Ik ben dagelijks bezig met dergelijke analyses en ontwerp software.
Als je de moeite neemt om dit onderzoekje op te zetten kan je er beter iets bruikbaars uit halen. In het huidige geval kan je beter zelf iets kiezen en jezelf een hoop tijd besparen.

Geen probleem, ik doe dit voor een schoolopdracht dus kritisch hier naar kijken is zeker belangrijk. Door dit zo te doen heb ik in ieder geval veel geleerd voor de volgende keer en het vervolg.

Zelf een keuze maken zonder onderbouwing zijn ze niet zo happy mee, dat ik een onderbouwing gebruik die in de methode wellicht niet 100% klopt geeft in ieder geval aan dat ik er aan denk .

[_Thanatos_]

Dat drag&drop werkt alvast niet... Als ik een schilderij naar een vak sleep, wordt ie enorm groot, als een soort backdrop.

[MrVegeta]

Die feedback heb ik vaker gehoord van mensen die IE gebruiken

[_Thanatos_]

MrVegeta schreef op zondag 08 juni 2014 @ 12:43:
Die feedback heb ik vaker gehoord van mensen die IE gebruiken

En ik gebruik niet eens IE, dus daaraan zal het niet liggen

[ Voor 7% gewijzigd door _Thanatos_ op 10-06-2014 02:55 ]

[MrVegeta]

Conclusie
Dit resulteert tot de volgende conclusie. De keuze gaat behoorlijk gelijk op tussen de drag&drop methode en de like/dislike methode. Het originele idee blijkt het minst populair te zijn. Onder de verschillende groepen blijkt dat de niet CMD studenten enthousiast zijn over de like/dislike methode en onder de CMD en de werkende groep is de drag&drop methode populair.

Drag & Drop
40
Like/Dislike
29
ChooseOne
20

Van de achtendertig deelnemers die interesse in kunst hebben kreeg de ChooseOne methode van negen deelnemers de voorkeur. Achttien deelnemers gaven de drag&drop methode op als hun voorkeur en twaalf deelnemers gaven de like/dislike de voorkeur. Als er wordt gekeken naar de deelnemers die neutral waren (dus wellicht interesse hebben in kunst) dan kregen beide de ChooseOne en like/dislike methode vijf stemmen en de drag&drop kreeg er negen.

Er is gekozen om de drag&drop methode verder te ontwikkelen. Deze methode kreeg ook binnen de WiseMonkeys de voorkeur en ook was de opdrachtgever er erg enthousiast over. Wel wordt er verder over de methode nagedacht en wordt er gekeken naar hoe gebruikers er mee om gaan om de ervaring te verbeteren.

Vandaag de resultaten verwerkt. Op zich niet veel opmerkelijks gevonden (wel veel inhoudelijke feedback gekregen). Er was geen correlatie qua studie/werk te vinden en een methode. Onder de deelnemers die geïnteresseerd zijn in kunst ging de voorkeur uit naar de drag&drop methode.