jelle. schreef op woensdag 10 april 2024 @ 11:52:
[...]
We bieden geen opt-out aan voor A/B-tests. De reden daarvan is dat dit een blinde vlek in onze resultaten zou creëren. Alleen met een representatieve groep gebruikers kunnen we betrouwbare conclusies uit onze tests trekken. Als het voor jou en misschien vele andere gebruikers de gebruikerservaring verslechtert, dan zullen we dat ook terugzien in de resultaten. Maar als we precies die gebruikers missen in onze tests, dan trekken we verkeerde conclusies en maken we (even heel kort door de bocht) het product juist slechter in plaats van beter.
Er worden in dit topic verscheidene manieren gedeeld om de huidige A/B-test te omzeilen. Ons verzoek is om dit niét te doen en eventuele aanpassingen in je cookies of browser console ongedaan te maken, zodat de resultaten die we zien, ook representatief zijn voor alle (type) gebruikers van de Pricewatch.
We begrijpen dat het niet voor iedereen fijn is om willekeurig aan een test toegewezen te worden en zijn ons bewust van de verandering die dit kan betekenen voor jullie gebruikerservaring in de Pricewatch. Allereerst bedankt voor jullie geduld hierin

We lezen elke dag de feedback in dit topic en nemen die ook mee in onze evaluatie. Meningen zijn echter niet hetzelfde als daadwerkelijk gedrag en we zijn zeer terughoudend in het bediscussiëren van een lopende test om mogelijke beïnvloeding te voorkomen. Ook daarom kondigen we tests vooraf niet aan.
Feedback is altijd welkom, mits het op een constructieve manier wordt gegeven. Juist die feedback heeft er bijvoorbeeld voor gezorgd dat we een testvariant hebben ontwikkeld die we eerder niet overwogen hadden. Dus ook dank daarvoor!
Momenteel draait er een tweede testronde en dat zal nog 6 dagen duren, zodat we over een langere periode statistisch significante resultaten hebben kunnen verzamelen. De komende maanden zal de Pricewatch in elk geval qua weergave veranderen. We kunnen nog niet zeggen hoe precies, want dat is iets wat we nu aan het onderzoeken zijn, oa met deze test. Maar dan weten jullie in elk geval dat dat eraan komt en we zullen periodiek ook updates hierover geven

Dat is allemaal een hele goede reden, maar je gaat hier volgens mij het punt helemaal voorbij.
Het probleem is niet zo zeer dát er een A/B test is, maar dat één van de versies hier gewoonweg compleet stuk is.
Hier worden niet twee verschillende layouts getest, maar er worden meerdere bestaande functies stuk gemaakt (producten/uitvoeringen overview, selecteerbare detail filters, noem maar op ze staan hierboven)
Ik neem aan dat, als jullie een update uitrollen waarin meerdere bugs zitten, deze ook gewoon gefixt worden.
Als jullie een A/B test doen waar meerdere bugs inzitten krijg je toch ook geen relevante test data? Je irriteert mensen alleen maar door bestaande functionaliteit kapot te maken, zonder .plan met uitleg waardoor veel verwarring en ergernis ontstaat.
Tweakers spenderen extra tijd en moeite om jullie op de hoogte te brengen van de problemen door middel van bug reports (of dit topic als ze dat kunnen vinden)
Het lijkt me niet meer dan logisch om een A/B test af te kappen als blijkt dat één van de versies niet goed getest is en inherent kapot is. (of zet je stug de test door als FP niet meer weergegeven wordt??)
Het hele verhaal klinkt in mijn oren imho heel erg als het hele tweakers plus verhaal. Jullie zijn te bang om de hand in eigen boezem te steken en toe te geven dat er iets fout is gegaan. Schuilt je achter een lang verhaal met uitleg die niet de kern van het verhaal raakt, om over een paar maanden (of jaren) tot dezelfde conslusie te komen als de community
Fix de bug of stop de A/B test. Dit is geen gewone A/B test maar een unit-test die je laat uitvoeren door de community.
Schuil je niet achter een lang verhaal wat het belangrijkste punt niet dekt.
Zorg er voor dat je processen op orde zijn waardoor je niet tientallen bugs de productie in slingert om dan maar community members af te branden en te zeggen dat ze de cookies niet stuk mogen maken.
Als het naar behoren zou werken zou dit niet nodig zijn. Trek daar je conclusies dan uit!
Truth is like a language with no native speakers left.
Its poetry is speechless and it can’t be caught in human being’s breath.