Toon posts:

Mogelijk voor Opt Out van A/B testing

Pagina: 1
Acties:

  • balfnl
  • Registratie: Juli 2013
  • Laatst online: 23-03 20:02
Titel zegt het eigenlijk wel.

Zoals onder andere te zien in https://gathering.tweakers.net/forum/list_messages/2050908 vallen de A/B tests van Tweakers niet altijd goed (en dit is volgens mij ook niet de eerste keer).

Het is nu niet mogelijk om niet deel te nemen aan een A/B test en naar mijn mening zou het een mooie feature zijn om aan te geven dat je niet mee wil doen aan zo'n test :)

  • ikloon
  • Registratie: Juni 2010
  • Laatst online: 13:58

ikloon

Product Owner
We hebben geen plannen om een dergelijke functie te introduceren.

A/B-testen is een van de instrumenten die we gebruiken om te bepalen welke van onze aannames over functies, ontwerpen en lay-outs daadwerkelijke verbeteringen zijn. Het doen van een A/B test is een goede methode is om gebruikersgedrag inzichtelijk te maken. We zien het als een integraal onderdeel van de manier waarop we T.net ontwikkelen.

Als we een deel van onze bezoekers toestaan zich voor dergelijke experimenten af te melden, worden we blind voor het gedrag van deze groep. Dit betekent dat we bij het analyseren van de resultaten niet langer het volledige plaatje hebben en dus tot de verkeerde conclusies kunnen komen. Dat vinden we ongewenst.

Naast A/B testen is het geven van je mening/feedback/opbouwende kritiek voor ons natuurlijk ook waardevol. Ook deze feedback nemen we mee in onze overwegingen en beslissingen.

“Internet is een internationaal verschijnsel” (minister Piet-Hein Donner, 6 sept 2011)


  • Flamesz
  • Registratie: Oktober 2010
  • Laatst online: 13:57
Kan het mogelijk zijn een opt out te krijgen per test zodra je er deel aan neemt? Dan zijn er geen groepen die het niet zien, en kan je de opt out ook als deel van de feedback op individuele tests nemen.

  • 418O2
  • Registratie: November 2001
  • Laatst online: 13-09-2022
Flamesz schreef op woensdag 3 februari 2021 @ 11:07:
Kan het mogelijk zijn een opt out te krijgen per test zodra je er deel aan neemt? Dan zijn er geen groepen die het niet zien, en kan je de opt out ook als deel van de feedback op individuele tests nemen.
Dan vallen dus alle 'conservatieve' gebruikers weg en dan is een A-B test niet meer representatief.

  • Flamesz
  • Registratie: Oktober 2010
  • Laatst online: 13:57
418O2 schreef op woensdag 3 februari 2021 @ 11:10:
[...]

Dan vallen dus alle 'conservatieve' gebruikers weg en dan is een A-B test niet meer representatief.
Dan vallen conservatieve gebruikers weg als ze een verandering erg genoeg vinden dat ze een aantal menu's doorklikken om een specifieke verandering voor hen terug te draaien. Dat lijkt mij op zichzelf sterke feedback. Als zulke gebruikers een keer niet de moeite nemen om een test uit te zetten heb je nog sterkere positieve feedback.

  • balfnl
  • Registratie: Juli 2013
  • Laatst online: 23-03 20:02
418O2 schreef op woensdag 3 februari 2021 @ 11:10:
[...]

Dan vallen dus alle 'conservatieve' gebruikers weg en dan is een A-B test niet meer representatief.
Mwah, dat hoeft nou ook weer niet per se. In dit specifieke scenario zou je mij zeker als conservatief kunnen beschouwen. Ik vind het namelijk beide varianten een stap achteruit met betrekking tot gebruiksvriendelijkheid.

@ikloon dat heb ik uiteraard ook in het feedback topic gezet. Wat ik dan wel weer jammer vind is dat er daar aangegeven wordt dat er iets mee gedaan gaat worden en dat vooralsnog nog steeds niet zo is.

On topic: als ik iets ervaar als een verbetering dan zal ik ook niet opt-outen.

Wat dat betreft denk ik dat de aangedragen oplossing van @Flamesz een aardige middenweg is.

  • 418O2
  • Registratie: November 2001
  • Laatst online: 13-09-2022
Flamesz schreef op woensdag 3 februari 2021 @ 11:21:
[...]


Dan vallen conservatieve gebruikers weg als ze een verandering erg genoeg vinden dat ze een aantal menu's doorklikken om een specifieke verandering voor hen terug te draaien. Dat lijkt mij op zichzelf sterke feedback. Als zulke gebruikers een keer niet de moeite nemen om een test uit te zetten heb je nog sterkere positieve feedback.
Mwoah, zo sterk is dat niet. Als iemand na 1 x kijken besluit "het niet te willen" (je hebt overigens weinig te willen in deze) dan heb je daar weinig aan.

  • crisp
  • Registratie: Februari 2000
  • Laatst online: 14:02

crisp

Devver

Pixelated

balfnl schreef op woensdag 3 februari 2021 @ 11:23:
[...]

@ikloon dat heb ik uiteraard ook in het feedback topic gezet. Wat ik dan wel weer jammer vind is dat er daar aangegeven wordt dat er iets mee gedaan gaat worden en dat vooralsnog nog steeds niet zo is.
Er is aangegeven dat de test ergens deze week zal aflopen, als er voldoende data verzameld is.

Intentionally left blank


  • Mschamp
  • Registratie: April 2014
  • Laatst online: 23-03 16:29
ikloon schreef op woensdag 3 februari 2021 @ 11:04:
We hebben geen plannen om een dergelijke functie te introduceren.

A/B-testen is een van de instrumenten die we gebruiken om te bepalen welke van onze aannames over functies, ontwerpen en lay-outs daadwerkelijke verbeteringen zijn. Het doen van een A/B test is een goede methode is om gebruikersgedrag inzichtelijk te maken. We zien het als een integraal onderdeel van de manier waarop we T.net ontwikkelen.

Als we een deel van onze bezoekers toestaan zich voor dergelijke experimenten af te melden, worden we blind voor het gedrag van deze groep. Dit betekent dat we bij het analyseren van de resultaten niet langer het volledige plaatje hebben en dus tot de verkeerde conclusies kunnen komen. Dat vinden we ongewenst.

Naast A/B testen is het geven van je mening/feedback/opbouwende kritiek voor ons natuurlijk ook waardevol. Ook deze feedback nemen we mee in onze overwegingen en beslissingen.
Maar nu lijkt de test me ook niet representatief: mensen die het kunnen lossen het zelf op via custom CSS, die verzamelde data is dus ook waardeloos. Dan lijkt opt Out toch echt een beter alternatief (of eerst intern bekijken of een layout wel werkbaar is, ik had eerst de variant met de titels rechts, en kan daarvan echt niet inzien hoe dat ooit getest is). Daarnaast zitten er ook nog veel fouten in die voor foute info zorgen: bij meer dan 1 download verschijnt de tekst niet, "Meer nieuws van vandaag" maar alles er onder is nieuws van gisteren, ... Naast onoverzichtelijk maakt dit ook een amateuristische indruk. Zag toen ik nog aan het kijken was voor een abo dat bij Hero staat: "Bètatoegang bij grote releases van Tweakers" heb nu toch echt het gevoel dat iedereen deel is van de Beta.

  • sebasmeer
  • Registratie: November 2007
  • Laatst online: 20-03 13:43
crisp schreef op woensdag 3 februari 2021 @ 12:24:
[...]

Er is aangegeven dat de test ergens deze week zal aflopen, als er voldoende data verzameld is.
Dan hoop ik dat deze test een negatieve performance geeft op de nieuwe layout boven aan de homepage. Het laatste nieuws is juist het meest belangrijke item wat nu erg onprettig leest in de versie die ik voorgeschotelt krijg.

  • crisp
  • Registratie: Februari 2000
  • Laatst online: 14:02

crisp

Devver

Pixelated

sebasmeer schreef op woensdag 3 februari 2021 @ 14:07:
[...]

Dan hoop ik dat deze test een negatieve performance geeft op de nieuwe layout boven aan de homepage. Het laatste nieuws is juist het meest belangrijke item wat nu erg onprettig leest in de versie die ik voorgeschotelt krijg.
Ik ben zelf ook heel benieuwd naar de cijfermatige inzichten. Persoonlijk vind ik deze versies ook niet ideaal. Ik denk dat de kritiek ook duidelijk is en dat zal ook zeker meegenomen worden in het vervolgtraject.

Intentionally left blank


  • balfnl
  • Registratie: Juli 2013
  • Laatst online: 23-03 20:02
crisp schreef op woensdag 3 februari 2021 @ 12:24:
[...]

Er is aangegeven dat de test ergens deze week zal aflopen, als er voldoende data verzameld is.
oke oke fair enough :P dat is iets inderdaad

  • sebasmeer
  • Registratie: November 2007
  • Laatst online: 20-03 13:43
crisp schreef op woensdag 3 februari 2021 @ 14:17:
[...]

Ik ben zelf ook heel benieuwd naar de cijfermatige inzichten. Persoonlijk vind ik deze versies ook niet ideaal. Ik denk dat de kritiek ook duidelijk is en dat zal ook zeker meegenomen worden in het vervolgtraject.
Helemaal niets mis mee om dingen te testen. Meten is weten! Data driven decisions kan je enkel maken als je ook daadwerkelijk de data hebt.
Daarom is een opt out voor A/B tests niet logisch. Dit moet gewoon mogelijk zijn en is zelfs essentieel voor een nog betere site.

Het is alleen maar goed dat de community dit direct merkt, omdat het zoveel geeft om Tweakers.net (y)

[Voor 10% gewijzigd door sebasmeer op 03-02-2021 15:42]

Pagina: 1


Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee