Mogelijk voor Opt Out van A/B testing

[balfnl]

Titel zegt het eigenlijk wel.

Zoals onder andere te zien in https://gathering.tweakers.net/forum/list_messages/2050908 vallen de A/B tests van Tweakers niet altijd goed (en dit is volgens mij ook niet de eerste keer).

Het is nu niet mogelijk om niet deel te nemen aan een A/B test en naar mijn mening zou het een mooie feature zijn om aan te geven dat je niet mee wil doen aan zo'n test

[ikloon]

We hebben geen plannen om een dergelijke functie te introduceren.

A/B-testen is een van de instrumenten die we gebruiken om te bepalen welke van onze aannames over functies, ontwerpen en lay-outs daadwerkelijke verbeteringen zijn. Het doen van een A/B test is een goede methode is om gebruikersgedrag inzichtelijk te maken. We zien het als een integraal onderdeel van de manier waarop we T.net ontwikkelen.

Als we een deel van onze bezoekers toestaan zich voor dergelijke experimenten af te melden, worden we blind voor het gedrag van deze groep. Dit betekent dat we bij het analyseren van de resultaten niet langer het volledige plaatje hebben en dus tot de verkeerde conclusies kunnen komen. Dat vinden we ongewenst.

Naast A/B testen is het geven van je mening/feedback/opbouwende kritiek voor ons natuurlijk ook waardevol. Ook deze feedback nemen we mee in onze overwegingen en beslissingen.

[Flamesz]

Kan het mogelijk zijn een opt out te krijgen per test zodra je er deel aan neemt? Dan zijn er geen groepen die het niet zien, en kan je de opt out ook als deel van de feedback op individuele tests nemen.

[418O2]

Flamesz schreef op woensdag 3 februari 2021 @ 11:07:
Kan het mogelijk zijn een opt out te krijgen per test zodra je er deel aan neemt? Dan zijn er geen groepen die het niet zien, en kan je de opt out ook als deel van de feedback op individuele tests nemen.

Dan vallen dus alle 'conservatieve' gebruikers weg en dan is een A-B test niet meer representatief.

[Flamesz]

418O2 schreef op woensdag 3 februari 2021 @ 11:10:
[...]

Dan vallen dus alle 'conservatieve' gebruikers weg en dan is een A-B test niet meer representatief.

Dan vallen conservatieve gebruikers weg als ze een verandering erg genoeg vinden dat ze een aantal menu's doorklikken om een specifieke verandering voor hen terug te draaien. Dat lijkt mij op zichzelf sterke feedback. Als zulke gebruikers een keer niet de moeite nemen om een test uit te zetten heb je nog sterkere positieve feedback.

[balfnl]

418O2 schreef op woensdag 3 februari 2021 @ 11:10:
[...]

Dan vallen dus alle 'conservatieve' gebruikers weg en dan is een A-B test niet meer representatief.

Mwah, dat hoeft nou ook weer niet per se. In dit specifieke scenario zou je mij zeker als conservatief kunnen beschouwen. Ik vind het namelijk beide varianten een stap achteruit met betrekking tot gebruiksvriendelijkheid.

@ikloon dat heb ik uiteraard ook in het feedback topic gezet. Wat ik dan wel weer jammer vind is dat er daar aangegeven wordt dat er iets mee gedaan gaat worden en dat vooralsnog nog steeds niet zo is.

On topic: als ik iets ervaar als een verbetering dan zal ik ook niet opt-outen.

Wat dat betreft denk ik dat de aangedragen oplossing van @Flamesz een aardige middenweg is.

[418O2]

Flamesz schreef op woensdag 3 februari 2021 @ 11:21:
[...]


Dan vallen conservatieve gebruikers weg als ze een verandering erg genoeg vinden dat ze een aantal menu's doorklikken om een specifieke verandering voor hen terug te draaien. Dat lijkt mij op zichzelf sterke feedback. Als zulke gebruikers een keer niet de moeite nemen om een test uit te zetten heb je nog sterkere positieve feedback.

Mwoah, zo sterk is dat niet. Als iemand na 1 x kijken besluit "het niet te willen" (je hebt overigens weinig te willen in deze) dan heb je daar weinig aan.

[crisp]

balfnl schreef op woensdag 3 februari 2021 @ 11:23:
[...]

@ikloon dat heb ik uiteraard ook in het feedback topic gezet. Wat ik dan wel weer jammer vind is dat er daar aangegeven wordt dat er iets mee gedaan gaat worden en dat vooralsnog nog steeds niet zo is.

Er is aangegeven dat de test ergens deze week zal aflopen, als er voldoende data verzameld is.

[Mschamp]

ikloon schreef op woensdag 3 februari 2021 @ 11:04:
We hebben geen plannen om een dergelijke functie te introduceren.

A/B-testen is een van de instrumenten die we gebruiken om te bepalen welke van onze aannames over functies, ontwerpen en lay-outs daadwerkelijke verbeteringen zijn. Het doen van een A/B test is een goede methode is om gebruikersgedrag inzichtelijk te maken. We zien het als een integraal onderdeel van de manier waarop we T.net ontwikkelen.

Als we een deel van onze bezoekers toestaan zich voor dergelijke experimenten af te melden, worden we blind voor het gedrag van deze groep. Dit betekent dat we bij het analyseren van de resultaten niet langer het volledige plaatje hebben en dus tot de verkeerde conclusies kunnen komen. Dat vinden we ongewenst.

Naast A/B testen is het geven van je mening/feedback/opbouwende kritiek voor ons natuurlijk ook waardevol. Ook deze feedback nemen we mee in onze overwegingen en beslissingen.

Maar nu lijkt de test me ook niet representatief: mensen die het kunnen lossen het zelf op via custom CSS, die verzamelde data is dus ook waardeloos. Dan lijkt opt Out toch echt een beter alternatief (of eerst intern bekijken of een layout wel werkbaar is, ik had eerst de variant met de titels rechts, en kan daarvan echt niet inzien hoe dat ooit getest is). Daarnaast zitten er ook nog veel fouten in die voor foute info zorgen: bij meer dan 1 download verschijnt de tekst niet, "Meer nieuws van vandaag" maar alles er onder is nieuws van gisteren, ... Naast onoverzichtelijk maakt dit ook een amateuristische indruk. Zag toen ik nog aan het kijken was voor een abo dat bij Hero staat: "Bètatoegang bij grote releases van Tweakers" heb nu toch echt het gevoel dat iedereen deel is van de Beta.

[sebasmeer]

crisp schreef op woensdag 3 februari 2021 @ 12:24:
[...]

Er is aangegeven dat de test ergens deze week zal aflopen, als er voldoende data verzameld is.

Dan hoop ik dat deze test een negatieve performance geeft op de nieuwe layout boven aan de homepage. Het laatste nieuws is juist het meest belangrijke item wat nu erg onprettig leest in de versie die ik voorgeschotelt krijg.

[crisp]

sebasmeer schreef op woensdag 3 februari 2021 @ 14:07:
[...]

Dan hoop ik dat deze test een negatieve performance geeft op de nieuwe layout boven aan de homepage. Het laatste nieuws is juist het meest belangrijke item wat nu erg onprettig leest in de versie die ik voorgeschotelt krijg.

Ik ben zelf ook heel benieuwd naar de cijfermatige inzichten. Persoonlijk vind ik deze versies ook niet ideaal. Ik denk dat de kritiek ook duidelijk is en dat zal ook zeker meegenomen worden in het vervolgtraject.

[balfnl]

crisp schreef op woensdag 3 februari 2021 @ 12:24:
[...]

Er is aangegeven dat de test ergens deze week zal aflopen, als er voldoende data verzameld is.

oke oke fair enough dat is iets inderdaad

[sebasmeer]

crisp schreef op woensdag 3 februari 2021 @ 14:17:
[...]

Ik ben zelf ook heel benieuwd naar de cijfermatige inzichten. Persoonlijk vind ik deze versies ook niet ideaal. Ik denk dat de kritiek ook duidelijk is en dat zal ook zeker meegenomen worden in het vervolgtraject.

Helemaal niets mis mee om dingen te testen. Meten is weten! Data driven decisions kan je enkel maken als je ook daadwerkelijk de data hebt.
Daarom is een opt out voor A/B tests niet logisch. Dit moet gewoon mogelijk zijn en is zelfs essentieel voor een nog betere site.

Het is alleen maar goed dat de community dit direct merkt, omdat het zoveel geeft om Tweakers.net

[ Voor 10% gewijzigd door sebasmeer op 03-02-2021 15:42 ]