Keuze voor abonnees om A/B testen te zien of niet

[Bastien]

Is het mogelijk om voor abonnees een keuzeoptie te maken of ze wel of niet lastig gevallen willen worden met A/B testen? Zeg maar net zoals de reclameoptie die te schakelen is.

Lijkt mij een aardige feature voor de betalingen die we elke maand doen.

[Oon]

Dit zou ook een harde optie moeten zijn wmb, dus niet 'in de pool van A/B testers ja of nee', maar 'met 100% zekerheid wel of niet deelnemen aan testversies'. Ik zou juist wel willen testen, zoals nu ook die nieuwe frontpage, maar ik kan me voorstellen dat er soms een nieuwe feature is die zo lastig mee om te gaan is dat je 't weer uit wil kunnen zetten.

Die extra stap kunnen ze dan ook meteen meten, als na uitrol van een nieuwe feature bij 80% van de abonnees die knop van Ja naar Nee gaat dan weet je meteen heel zeker dat de feature niet gewenst is.

[wildhagen]

Maakl dit alsjeblieft optioneel voor abonnees ja.

Ik betaal aardig wat geld voor een abonnement, ik wil dan niet lastiggevallen worden met een totaal onleesbare/onbruikbare FP, en zelf allerlei workarounds moeten implementeren om weer een fatsoenlijke FP terug te krijgen.

Prima dat je wil testen, maar laat zeker abonnees gewoon zélf kiezen of ze daaraan mee willen werken of niet.

[Kiswum]

Is er vandaag ook een A/B test gaande? De font lijkt wel 2 tandjes hoger te liggen. Ik ben niet blind, maar met deze lettertype lijkt het er wel op dat ik in die groep ben beland.

[Bastien]

Kiswum schreef op maandag 13 september 2021 @ 17:12:
Is er vandaag ook een A/B test gaande? De font lijkt wel 2 tandjes hoger te liggen. Ik ben niet blind, maar met deze lettertype lijkt het er wel op dat ik in die groep ben beland.

Zie [Feedback] Frontpage test

[Raven]

Niet abonnees ook graag, de FP ziet er nu niet uit, vooral op een wat smallere windowbreedte

[ Voor 6% gewijzigd door Raven op 13-09-2021 17:47 ]

[5pë©ïàál_Tèkén]

T-mo schreef op maandag 1 februari 2021 @ 18:10:
Cookie 'SSLB' op 0 zetten lijkt ook te werken en houdt het hopelijk langer vol..

Quoten uit een gesloten topic is tricky. Anyway, cookie aanpassen en hopen dat het zo blijft. Niet cookies weggooien . Dat is de beste workaround die ik heb. Voor de rest ben ik het in aanstootgevende mate eens met TS - AUB geen AB testen meer.

[DaFeliX]

Ik denk niet dat het wenselijk is om gebruikers de mogelijkheid te geven om zich af te melden van A/B-testing. Een A/B-test geeft waarde doordat een grote groep mensen wordt getest, en dus "iedereens" mening wordt gemeten. Als een specifieke groep zich afmeldt, zullen hun meningen niet worden meegenomen, terwijl ze waarschijnlijk juist een sterke mening hebben.

Stel dat je nu in de FP A/B test zit, je afmeld voor het testen omdat het je niets vind. Het gevolg is dat jouw mening dat de test niet geslaagd is, niet wordt meegenomen in de resultaten. Als genoeg mensen dit doen, lijkt het dat de test succesvol was en wordt het resultaat geïmplementeerd. Dat lijkt me juist het tegenovergesteld van wat je wil.

Overigens ben ik niet degene die bepaald of deze feature op de roadmap komt

[Bastien]

Hoe kan ik mijn mening geven dan? Het wordt telkens aangehaald, die mening van mij en anderen, maar er wordt niets gevraagd, enkel opgedrongen. Enkel door de site niet meer te bezoeken zoals nu geef ik dus mijn mening? Beetje rare manier van testen, maar goed.

Maar over jouw bezwaar: ik heb uiteraard geen cijfers van de verhouding wel /niet abo, maar ongetwijfeld is de laatste groep veel groter. Dus de bezwaren en/of loftuitingen komen toch wel. Zie ook het topic van nu.

Maar we wachten een reactie af van iemand die wel beslissen mag.

[Oon]

DaFeliX schreef op dinsdag 14 september 2021 @ 08:55:
Stel dat je nu in de FP A/B test zit, je afmeld voor het testen omdat het je niets vind. Het gevolg is dat jouw mening dat de test niet geslaagd is, niet wordt meegenomen in de resultaten. Als genoeg mensen dit doen, lijkt het dat de test succesvol was en wordt het resultaat geïmplementeerd. Dat lijkt me juist het tegenovergesteld van wat je wil.

Dat is toch echt helemaal jullie keuzen of dat zo is.

Ik weet niet welke tool voor A/B testen Tweakers nu gebruikt, maar als je daarin niet kan meten hoeveel mensen zich afmelden voor een test (of A/B tests in het algemeen) dan is het misschien tijd om uit het stenen tijdperk te komen en moderne tooling te gaan gebruiken waarin dat wel gewoon vastgelegd kan worden en die minder schadelijk is voor de gebruikerservaring?
Je kan dan misschien niet meten hoe de nieuwe frontpage gebruikt wordt, maar dat mensen het de moeite waard vinden om zich expliciet af te melden is net zo waardevol als alle gegevens die je van zo'n zelfde gebruiker zou ontvangen, want die zouden toch het grootste deel verbergen met custom CSS of niet gebruiken.


Zoals ik in mijn andere comment ook al aangaf, je kan toch zeker wel hele waardevolle data halen uit zo'n toggle als je dat wil, kan me absoluut niet voorstellen dat jullie die mogelijkheid als developers van een platform met een IT-focus niet uit kunnen vogelen

[edeboeck]

DaFeliX schreef op dinsdag 14 september 2021 @ 08:55:
Ik denk niet dat het wenselijk is om gebruikers de mogelijkheid te geven om zich af te melden van A/B-testing. Een A/B-test geeft waarde doordat een grote groep mensen wordt getest, en dus "iedereens" mening wordt gemeten. Als een specifieke groep zich afmeldt, zullen hun meningen niet worden meegenomen, terwijl ze waarschijnlijk juist een sterke mening hebben.

Stel dat je nu in de FP A/B test zit, je afmeld voor het testen omdat het je niets vind. Het gevolg is dat jouw mening dat de test niet geslaagd is, niet wordt meegenomen in de resultaten. Als genoeg mensen dit doen, lijkt het dat de test succesvol was en wordt het resultaat geïmplementeerd. Dat lijkt me juist het tegenovergesteld van wat je wil.

Overigens ben ik niet degene die bepaald of deze feature op de roadmap komt

Je hebt een punt, maar persoonlijk denk ik dat het nog méér wenselijk is dat de FP van de site die je allicht dagelijks frequenteert, jou niet op de zenuwen werkt... zeker niet voor een periode van 3 weken... en al helemaal niet als je ervoor betaalt. Ik probeer me meestal uit de discussies te houden i.v.m. de koers van Tweakers de laatste jaren (al lukt me dat niet altijd ), maar deze wijziging ging er wat mij betreft zó over dat ik het niet heb kunnen laten. In het betreffende topic gelukkig de cookie-hack gezien die @5pë©ïàál_Tèkén hier ook al meegaf. Als ik die hack niet had geweten, had ik T.net véél minder bezocht deze 3 weken, zo simpel is het.

We hoeven de discussie niet op de spits te drijven, maar men kan zich afvragen in hoeverre deze A/B test geen transacties schendt: zo betalen heel wat tweakers voor custom CSS, maar kon (kan?) dat niet werken in de nieuwe versie.

Tot slot: als een heleboel tweakers de cookie-hack gebruiken, wat zegt dit dan over de A/B test?

[5pë©ïàál_Tèkén]

DaFeliX schreef op dinsdag 14 september 2021 @ 08:55:
Ik denk niet dat het wenselijk is om gebruikers de mogelijkheid te geven om zich af te melden van A/B-testing. Een A/B-test geeft waarde doordat een grote groep mensen wordt getest, en dus "iedereens" mening wordt gemeten. Als een specifieke groep zich afmeldt, zullen hun meningen niet worden meegenomen, terwijl ze waarschijnlijk juist een sterke mening hebben.

Stel dat je nu in de FP A/B test zit, je afmeld voor het testen omdat het je niets vind. Het gevolg is dat jouw mening dat de test niet geslaagd is, niet wordt meegenomen in de resultaten. Als genoeg mensen dit doen, lijkt het dat de test succesvol was en wordt het resultaat geïmplementeerd. Dat lijkt me juist het tegenovergesteld van wat je wil.

Ik denk dat het zoeken/krijgen van iemands goed/afkeuring minder zwaar weegt dan het 'recht' van de gebruiker om passief een website te bezoeken (en dus nergens deel aan neemt). Net zoals we stemrecht hebben in plaats van stemplicht. De (re)actieve community van Tweakers lijkt mij groot genoeg om er een representatieve groep uit te kunnen selecteren. Dat zal niet perfect zijn maar voor mijn gevoel in ieder geval beter dan de huidige koers. Nu wordt het recht van niet stemmen ontnomen, daar zou ik ook van balen.

Ik word ook redelijk doodgegooid met 'hoe ervaar je het bezoek van deze website?' onderzoeks popups (waar al dan niet iets mee valt te winnen). Waarom zouden we deze pop ups wel weg kunnen klikken maar moeten we deelnemen aan deze A/B test? Wat ik denk te zien in je redenering is dat alle andere onderzoeken dan niet goed zijn want niet iedereens mening wordt dan gemeten.

Wij kunnen vanuit onze test-tool helaas geen manier bieden om niet deel te nemen aan de test.

98% van de lezers zouden je op je ogen geloven. Dan komt er iemand langs die laat zien dat het prima mogelijk is om niet deel te nemen. Voor mij komt het verhaal van co-creatie, samen denken en feedback verwerking dan minder sterk over. *ahum*

[ Voor 12% gewijzigd door 5pë©ïàál_Tèkén op 14-09-2021 21:50 ]

[DaFeliX]

edeboeck schreef op dinsdag 14 september 2021 @ 21:30:
[...]
Je hebt een punt, maar persoonlijk denk ik dat het nog méér wenselijk is dat de FP van de site die je allicht dagelijks frequenteert, jou niet op de zenuwen werkt... zeker niet voor een periode van 3 weken... en al helemaal niet als je ervoor betaalt.

Oh, helemaal mee eens. Ik ben zelf van mening dat een A/B-test 'ongemerkt' moet zijn, want als jij als bezoeker door hebt dat je meedoet aan een A/B-test, is de data niet langer zuiver. Wat dat betreft vind ik het onhandig dat we de frontpage als A/B-test hebben gedaan. Mijn beredenering schreef ik dan ook vanuit dat perspectief; kleine tests die je als bezoeker nauwelijks door hebt (en geen major overhauls zoals de frrontpage A/B-test)

edeboeck schreef op dinsdag 14 september 2021 @ 21:30:
[...]

Tot slot: als een heleboel tweakers de cookie-hack gebruiken, wat zegt dit dan over de A/B test?

Weinig goeds, en dat is precies mijn punt ook: Wanneer bezoekers zich gaan afmelden voor tests beïnvloed dit de data. Daarom zou ik zeggen dat het niet slim is om mensen te kunnen laten uitschrijven. Wel is zo'n cookie "hack" minder makkelijk, en daardoor zullen er wss minder mensen uit de test vallen, en de data minder beïnvloeden dan een toegankelijke "ja/nee" knop.

[RodeStabilo]

Denk niet dat het de gemiddelde bezoeker veel kan schelen of die data juist is of niet, afgaande op de gemiddelde redactie in het eerdere topic. Dat is toch echt een probleem van tweakers hq.

[DaFeliX]

5pë©ïàál_Tèkén' schreef op dinsdag 14 september 2021 @ 21:44:
[...]

Ik denk dat het zoeken/krijgen van iemands goed/afkeuring minder zwaar weegt dan het 'recht' van de gebruiker om passief een website te bezoeken (en dus nergens deel aan neemt). Net zoals we stemrecht hebben in plaats van stemplicht. De (re)actieve community van Tweakers lijkt mij groot genoeg om er een representatieve groep uit te kunnen selecteren. Dat zal niet perfect zijn maar voor mijn gevoel in ieder geval beter dan de huidige koers. Nu wordt het recht van niet stemmen ontnomen, daar zou ik ook van balen.
[...]

Ik denk dat we best wel iets kunnen doen met "voortesten" door een groep representatieven, maar de uiteindelijke validatie haal je beter uit een A/B test imo. Dit omdat 'bewust testen', ander gedrag laat zien dan 'onbewust getest worden'.

Verder realiseren we ons best dat de data niet heilig is, en staren we ons daar niet blind op, maar het geeft wel goede indicaties. Uiteindelijk blijft het mensenwerk

[DaFeliX]

RodeStabilo schreef op woensdag 15 september 2021 @ 08:17:
Denk niet dat het de gemiddelde bezoeker veel kan schelen of die data juist is of niet, afgaande op de gemiddelde redactie in het eerdere topic. Dat is toch echt een probleem van tweakers hq.

Bezoekers zijn gebaat bij juiste gegevens, zij het indirect. Dit omdat deze gegevens voor een deel bepalen wat we wel/niet doen, en hoe we dat dan (niet) doen.

We hebben direct contact met een groep van de gebruikers op bijv het forum en tijdens meetups e.d.; maar een grote groep gebruikers 'zien' we alleen digitaal. Van die gebruikers willen we ook graag weten hoe zij de website gebruiken, en wat zij belangrijk vinden. A/B-testing is daar een handig hulpmiddel bij.

[RodeStabilo]

DaFeliX schreef op woensdag 15 september 2021 @ 08:40:
[...]


Bezoekers zijn gebaat bij juiste gegevens, zij het indirect. Dit omdat deze gegevens voor een deel bepalen wat we wel/niet doen, en hoe we dat dan (niet) doen.

Indirect krijg je een prima signaal dat gebruikers het niet willen als ze zich via het aanpassen van een cookie zelf maar uitschrijven. Dat is het nadeel van devven voor deze site, op vivaforum was dit denk ik niet gebeurd.

Inderdaad niet de manier waarop jij dat als ontwikkelaar graag zou willen, maar ja zoals ik al zei, dat boeit de bezoeker niet echt.

[Verwijderd]

Ach de bejaarde dino's vinden alle wijzigingen vervelend dus op zich kan je ze wel uit de A/B ploeg halen. Scheelt weer.

Maarja die komen wel zeiken als de verandering definitief wordt dus daar heb je wellicht een extra stagiair voor nodig.

[ Voor 4% gewijzigd door DaFeliX op 15-09-2021 11:37 . Reden: taal ]

[Kiswum]

Voor de betalende klant, mag/moet je verwachten dat hun product in goede staat blijft. Met de FP die onlangs als een verrassing werd getoond, zou ik dat niet kunnen waarderen en wil ik de mogelijkheid hebben om mij snel af te kunnen melden.

Nu was er alleen via een cookie truc de mogelijkheid om uit de test te gaan of door met een nieuwe browser te hopen om in een andere groep uit te komen.

Tweakers moet blij zijn als ze hierdoor geen imago schade hebben opgelopen, want veel websites hadden de mogelijkheid om hier een nieuwsartikel over te schrijven. Ik weet zeker dat veel journalisten het wel hebben gezien, maar Tweakers het voordeel van de twijfel hebben gegeven, maar dat voordeel zal niet blijvend zijn.

Tweakers, wees zuinig met je lezers, maar vooral zuinig op je abonnees.

[RodeStabilo]

Kiswum schreef op woensdag 15 september 2021 @ 10:49:
Voor de betalende klant, mag/moet je verwachten dat hun product in goede staat blijft.

Ik vraag me ten sterkste af of je , vanwege een abonnement, enige rechten kan ontlenen aan wat dan ook. Je hebt geen SLA of wat dan ook met Tweakers.net afgesloten.

Je krijgt wat perks, maar dat is het dan wel.

[ Voor 6% gewijzigd door RodeStabilo op 15-09-2021 10:50 ]

[Kiswum]

RodeStabilo schreef op woensdag 15 september 2021 @ 10:50:
[...]

Ik vraag me ten sterkste af of je , vanwege een abonnement, enige rechten kan ontlenen aan wat dan ook. Je hebt geen SLA of wat dan ook met Tweakers.net afgesloten.

Je krijgt wat perks, maar dat is het dan wel.

Ik ben sinds deze zomer na zo'n 6 jaar geen abonnee meer, maar ik denk wel dat ik toen een overeenkomst afsloot. Als het aanbod sterk veranderd, dan kun je wellicht wel direct opzeggen, net als bij een prijsverhoging van een provider.

Als de FP voor 3 weken hetzelfde bleef, dan kan dat een reden zijn om niet meer om een prettige manier een site te bezoeken, waarvoor je geld hebt betaald.

[DaFeliX]

Modbreak:

Laten we de discussie over de FP test hier niet voeren, daarvoor kun je beter in [Feedback] Frontpage test terecht. Laten we het over 't featureverzoek zelf houden: TS wil zich kunnen afmelden voor alle A/B tests