Hahn schreef op maandag 13 september 2021 @ 20:48:
[...]
Wat mensen denken en wat mensen doen zijn héél verschillende zaken. Jij bekijkt alles vanuit logica, maar mensen zijn geen logische wezens.
Het doel van een A/B-test is harde resultaten krijgen. Bijvoorbeeld: "Meer artikelen lezen".
Als ik jou een poll voorleg met 2 verschillende designs, en jij vindt optie 2 mooier/leuker/beter dan optie 1, dan stem jij voor optie 2. Maar dat zegt
he-le-maal niks over of optie 2 inderdaad ervoor zou zorgen dat jij meer artikelen gaat lezen. Jij hebt alleen je mening gegeven in die poll, maar je mening boeit niet, hoeveel artikelen jij leest, dat is wat ze willen meten.
Tja daar zijn we het dan over oneens. Als ik me erger aan een pagina dan klik ik hem dicht en ga er al helemaal niet voor stemmen... sterker nog ik doe er alles aan om een wel leesbare pagina te krijgen.
Mij dus een pagina voorschotelen die lekker kijkt en leest is een win win en dat is met een poll prima te bereiken. Zo gaat een half blind iemand echt niet voor een onleesbaar lettertype met de helft van de grotte kiezen... Die kiest voor wat hij/zij beter vind lezen en duidelijker vind in de layout.
Wat jij bedoeld heeft meer effect op vindbaarheid van content en hoe goed de titel geformuleerd is en hoe goed het artikel geschreven is want ook daar klink ik er een hoop door weg of negeer ik ze volledig. (denk aan plus artikelen die ik gewoon negeer omdat ze niets toevoegen.
Sterker nog ik ben momenteel de plus elementen gewoon aan het blokkeren:
Over data dichtheid gesproken....
Hahn schreef op maandag 13 september 2021 @ 20:48:
Geen idee waarom je begint over 3e varianten, dat doet er ook totaal niet toe.
Maar ik leg het je graag uit hoe ze denken data te gaan vergaren met een A/B-test:
- Je pakt een hele grote groep mensen en verdeelt die random in 2 groepen
- De eerste groep laat je de huidige versie zien (control, ofwel A)
- De tweede groep laat je een andere versie zien (variation, ofwel B)
- Bij beide groepen kijk je naar verschillende meetpunten: hoeveel artikelen klikken ze open, hoe lang blijven ze op de pagina, reageren ze wel of niet, delen ze artikelen, whatever je maar denkt dat relevant is
- Na x aantal uur/dagen/weken (3-4 weken is heel gebruikelijk) vergelijk je de data van A met de data van B
- Als je het goed gedaan hebt, de groep eerlijk random hebt verdeeld, een grote genoege groep hebt gepakt, en de omstandigheden verder precies hetzelfde waren, dan kan je daaruit eerlijke conclusie trekken.
Zo zou het heel goed kunnen zijn dat A (de oude versie) ervoor zorgde dat mensen gemiddeld 3 artikelen openklikten, en 2 minuten en 20 seconden per artikel spendeerden, en dat in B (de nieuwe versie) mensen gemiddeld 3,5 artikelen openklikten en 2 minuten en 40 seconden spendeerden. Dan heb je je artikel-open-ratio verbeterd met 16,7% en de leestijd verlengt met 14,3%.
Zijn dat goede resultaten? Dat ligt maar net aan je doel.
En voordat je begint met "Maar dat geldt niet voor iedereen!": nee, natuurlijk geldt dat niet voor iedereen. Maar dat is met alles. In jouw poll-idee zou 50,1% ook winnen, en dan heeft die andere 49,9% ook pech. Het gaat om de grote getalen en gemiddelden. Cijfers, feiten en data. Geen meningen.
Maar met deze data heb je dus helemaal geen valide input omdat als je mij variant B voorschoteld en ik die niet overzichtelijk vind en ik alles weer terug zet of aanpas denk je data te krijgen die dus vervuild is. Ook weet je niet of ik met variant C meer/minder gelezen had omdat ik daar misschien wel/niet duidelijk vind.
Er zijn mensen die zweren bij de windows 8.1/10 interface er zijn mensen die de windows 11 interface gewelding vinden. ik vind het allemaal gedrochten en voor mij verlaagd het de productivitie bij alle 3 en daarom gebruik ik nog een windows 7 interface omdat de productiviteit hoger is. oftewel ik krijg meer gedaan met een windows 7 interfac4e oftewel ik kan meer lezen bijvoorbeeld.
Hoop dat je ziet waar ik heen wil. Dit levert incomplete data op. Ik kan misschien wel even veel artikelen lezen maar misschien doe ik daar 30 minuten langer over. Dat maakt het per definitie slechter en een site heeft echt geen baat mij voorbij een bepaald punt op de site te houden en alles langer te laten duren door productiviteit/leesbaarheid/vindbaarheid naar beneden te halen. Dus tenzij je al een compleet profiel heb, je elke dat dezelfde hoeveelheid topics binnen dezelfde interesses heb gaat dit gewoon een hele lange test moeten zijn wil je er maar iets uit halen.
Nieuws van vandaag:
20:44 Zoom introduceert volgend jaar realtime vertaalfunctie voor twaalf talen 2
20:02 China verbiedt techbedrijven om links naar concurrerende diensten te blokkeren 19
19:48 Apple iOS & iPadOS 14.8 en drie andere downloads 22
19:15 Steve Wozniak start ruimtevaartbedrijf Privateer Space 50
18:42 Google werkt aan Handoff-achtige Push-functie voor Chrome OS en Pixel-telefoons 3
17:43 Mozilla maakt het makkelijker om Firefox in te stellen als standaardbrowser 64
17:07 'WhatsApp werkt aan optie om spraakberichten automatisch te transcriberen' 24
16:42 Total War: Warhammer III is uitgesteld tot begin 2022 21
16:24 Ruimtestation ISS krijgt nieuwe Raspberry Pi's voor experimenten van jongeren 36
15:48 'Olympus Europa is getroffen door BlackMatter-ransomware' 17
15:07 Iers rapport: slechts 2 procent van GDPR-zaken tegen Big Tech is afgerond 28
14:03 Nintendo verlaagt adviesprijs Switch van 330 naar 300 euro 105
13:40 EA brengt gratis proefversie van F1 2021 uit voor consoles en voegt circuit toe 46
11:57 T-Mobile biedt Datavrije Muziek niet meer aan en vergroot sommige databundels 130
10:48 IKEA-document toont nieuwe Symfonisk-tafellamp met verwisselbare lampenkap 48
10:19 Nederlandse overheid waarschuwt niet-vitale bedrijven voor digitale aanvallen 62
09:13 Discord-muziekbot Rythm stopt woensdag na sommatie van YouTube 112
08:38 Epic Games gaat in beroep tegen uitspraak in monopoliezaak tegen Apple 160
07:47 Kuo: iPhone 13 Pro en 13 Pro Max krijgen een 1TB-versie 153
06:00 Achtergrond - AV-receivers en 4k120-issue - Hoe staat het met de HDMI 2.1-bug? Plus 112
06:00 Best Buy Guide - Smartphone Best Buy Guide - September 2021 142
Zoals je kan zien heb ik vandaag maar 1 bericht open geklikt. Gister daatintegen al 2 en dat was een zondag met doorgaans een fractie van de berichten.
De berichten vandaag zijn dus totaal buiten mijn interesses maar volgens de test is de nieuwe layout zegt de data zoals die volgens jou geanalyseerd wordt dat de nieuwe layout tot minder clicks leid. Als de gehele week er niets is volgens mijn interesses wor dat een lastig datasetje.
En dat terwijl het niet eens wat zegt over de belabberde layout. Maar dat had natuurlijk ook andersom kunnen zijn. weken veel interessant niets zoals einde van het jaar 2020 veel nieuwe tech dan lees is werkelijk soms wel 10 uur per dag. als je dan net zon bagger test voorgeschoteld krijgt zullen ze wel denken WOW deze layout is goud waard terwijl het nog steeds een zak #$^%& is.
Volgens mij dus gewoon een niet heel nuttige set data die hier uit gaat komen. Maarja we gaan we zien waar het schip strant. De Frontpage is al steeds minder boeiend omdat andere sites het nieuws dagen eerder hebben en ook nog eens betere kennis van zaken lijken te hebben en de reviews beter uitgevoerd worden met meer details. De enige toegevoegde waarde hier is nog de forums. Maar dat zien ze dan weer niet terug in deze test.
Maargoed ik heb zon vermoeden dat we het niet eens gaan worden maar mijn ongenoegen over deze ''test'' en alle voorgaande ''tests'' zoals deze mag wel duidelijk zijn